llama.app的编译安装以及模型蒸馏-Ubuntu+nvidia 3060最终成功篇
操作系统是Ubuntu 22.04.5，搭配Nvidia 8G的显卡，用户是ubuntu，尽量用普通用户操作 先上去看： nvidia-smi root@ollama:~# nvidia-smi Command 'nvidia-smi' not found,...
Category: 蒸馏
大模型蒸馏总结篇-unsloth的安装和使用
在 AI 炼丹界有一句至理名言：“数据决定上限，模型只是逼近这个上限。” Unsloth “硬目标”蒸馏步骤 这种方法在工业界极其流行：用顶级大模型（GPT-4 或 Qwen-72B）生成海量高质量语料，然后用 Unsloth 对小模型（Qwen-0....