用普通笔记本跑大模型,不再是梦
快速阅读:Google的TurboQuant算法被移植进llama.cpp后,MacBook Air(M4, 16GB)终于能在20000 tokens上下文下运行Qwen 3.5-9B,而此前直接崩溃。这不是什么颠覆,但确实把“不可能”变成了“可以接受的慢”。 ...
快速阅读:Google的TurboQuant算法被移植进llama.cpp后,MacBook Air(M4, 16GB)终于能在20000 tokens上下文下运行Qwen 3.5-9B,而此前直接崩溃。这不是什么颠覆,但确实把“不可能”变成了“可以接受的慢”。 ...
科技博主Avi Chawla在X上发了一条长帖,详细拆解了月之暗面Kimi团队刚刚发布的一篇技术报告。 帖子发出后不久,马斯克本人在下面回复了一句:“月之暗面做出了令人印象深刻的结果”(Impressive work from Kimi....
大模型越做越大,层数越堆越多。 但有一个问题一直没人正面解决:堆得越深,后面的层越来越不管用。 Kimi刚刚发了一篇论文,把这个问题挖出来,给出了解法,在自家48B大模型上验证有效,所有测试任务全部提升。 论文代码已开源: https://github....
快速阅读:Sebastian Raschka整理了从2024年初到2026年春天发布的40多个开源大模型的架构图谱。这些模型几乎都在做同一件事:想办法让注意力机制便宜一点、快一点、跑得更长,同时保住性能。收敛的是设计语言(MoE、QK-Norm、滑窗注意力成了标配),...
最近几年,大模型赛道好不热闹。 叫得上名字的几乎数都数不过来:从 GPT、Llama、Gemma、Mistral,到 DeepSeek、Qwen、Kimi、GLM、MiniMax 等等,新模型几乎以周更的速度出现。 但问题是,当架构创新越来越多时,理解它们反而变得越来越困难。...
给你们看样东西: 这是基于 AutoClaw 打造的 Agent 军团,用的智谱最新的🦞模型GLM-5-Turbo 以及🦞套餐,能做到 7✖️24 小时不间断工作。 目前已经入职了开发总监、产品总监、测试总监、内容总监、市场总监、全栈总监。...
快速导读:一篇在技术圈引起热议的帖子,揭示了一个普遍的误解:很多人以为自己电脑跑本地大模型卡顿是硬件不行,但大量一线玩家的真实经验是,仅仅把启动器从流行的Ollama换成更底层的llama.cpp,性能就能白拿30%以上的提升。你以为的硬件瓶颈,很可能只是工具瓶颈。 ...
过去的一年里,我们看到了无数令人惊艳的 AI 视频片段。但如果你是一个真正的影视或视频创作者,在实际干活时,大概率会遇到一种深深的割裂感。 现有的聊天框式AI 工具太简单,虽然容易上手,但你无法对分镜、光影、角色一致性做精细控制,很难做出一支作品级的长视频;...
上次出完Windows教程之后,有不少粉丝问有没有Mac教程,mac安装非常简单,但考虑到小白可能连Terminal都没用过,也没敲过任何命令,还是详细写一写!首先介绍下Terminal终端,它就是输入一些命令的地方。把四个手指放在触摸板上合拢,...
【环球网科技综合报道】3月17日消息,面对开学季学生和家长普遍遭遇的“开学综合症”,千问APP对学习能力进行全面升级,对症下药。例如,新增AI讲教材、错题本以及错题重练自动整理,同步升级拍题答疑、作业批改等能力,帮助学生和家长更快适应新学期学习节奏。 此次升级聚焦三大场景。...