llama.app的编译安装以及模型蒸馏-Ubuntu+nvidia 3060最终成功篇
操作系统是Ubuntu 22.04.5，搭配Nvidia 8G的显卡，用户是ubuntu，尽量用普通用户操作 先上去看： nvidia-smi root@ollama:~# nvidia-smi Command 'nvidia-smi' not found,...
Category: 大模型
大模型蒸馏总结篇-unsloth的安装和使用
在 AI 炼丹界有一句至理名言：“数据决定上限，模型只是逼近这个上限。” Unsloth “硬目标”蒸馏步骤 这种方法在工业界极其流行：用顶级大模型（GPT-4 或 Qwen-72B）生成海量高质量语料，然后用 Unsloth 对小模型（Qwen-0....
Ollama 多模型并行运行：Qwen、Llama、DeepSeek 配置实战
凌晨三点，我盯着终端里滚动的日志，第十七次切换模型。ollama run deepseek-coder 处理代码，ollama run qwen2.5 翻译文档，ollama run llama3.2 回答通用问题。每次切换都要等上十几秒，显卡风扇呼呼作响，...
MoneyPrinterTurbo：一键生成高清短视频的AI神器
在当今短视频盛行的时代，内容创作者面临的最大挑战之一是如何高效产出高质量的短视频内容。MoneyPrinterTurbo应运而生，作为一款基于AI技术的开源短视频生成工具，它能够全自动完成从文案创作到视频合成的整个流程，大大降低了视频制作的门槛和时间成本。...
VibeVoice实现90分钟、多角色播客生成，拓展语音合成新边界
编者按：AI 自动生成播客早已不是新鲜事，但常见的 AI 播客只局限于几分钟的双人对话，这是因为传统语音生成模型大多基于离散化方法，更擅长生成短句、单一音色、结构规整的语音内容。近日，微软亚洲研究院提出了一种全新的语音生成模型 VibeVoice。...
全面解读：Google Gemma 4开源
今天凌晨，Google DeepMind 发布了新一代开源模型 Gemma 4：以 30B 左右的参数，逼近其他头部开源模型 Gemma 是 Google 的开源模型系列，和闭源旗舰 Gemini 共享底层技术，权重完全公开，任何人可以下载、修改、部署。...
凌晨四颗钻石，谷歌Gemma 4突袭发布！31B模型击败大20倍的对手
凌晨，谷歌 DeepMind 的 CEO Demis Hassabis 在 X 上发了四颗钻石 emoji，神秘感拉满。 几个小时后，谜底揭晓。谷歌正式发布了 Gemma 4系列，包含 E2B、E4B、26B-A4B、31B4 种型号，...
用普通笔记本跑大模型，不再是梦
快速阅读：Google的TurboQuant算法被移植进llama.cpp后，MacBook Air（M4， 16GB）终于能在20000 tokens上下文下运行Qwen 3.5-9B，而此前直接崩溃。这不是什么颠覆，但确实把“不可能”变成了“可以接受的慢”。 ...
马斯克亲自点赞，Kimi动了十一年没人敢碰的东西
科技博主Avi Chawla在X上发了一条长帖，详细拆解了月之暗面Kimi团队刚刚发布的一篇技术报告。 帖子发出后不久，马斯克本人在下面回复了一句：“月之暗面做出了令人印象深刻的结果”（Impressive work from Kimi....
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型越做越大，层数越堆越多。 但有一个问题一直没人正面解决：堆得越深，后面的层越来越不管用。 Kimi刚刚发了一篇论文，把这个问题挖出来，给出了解法，在自家48B大模型上验证有效，所有测试任务全部提升。 论文代码已开源： https://github....