模型部署 – XROBOT

凌晨三点，我盯着终端里滚动的日志，第十七次切换模型。ollama run deepseek-coder 处理代码，ollama run qwen2.5 翻译文档，ollama run llama3.2 回答通用问题。每次切换都要等上十几秒，显卡风扇呼呼作响，...

用普通笔记本跑大模型，不再是梦

快速阅读：Google的TurboQuant算法被移植进llama.cpp后，MacBook Air（M4， 16GB）终于能在20000 tokens上下文下运行Qwen 3.5-9B，而此前直接崩溃。这不是什么颠覆，但确实把“不可能”变成了“可以接受的慢”。 ...

快速导读：一篇在技术圈引起热议的帖子，揭示了一个普遍的误解：很多人以为自己电脑跑本地大模型卡顿是硬件不行，但大量一线玩家的真实经验是，仅仅把启动器从流行的Ollama换成更底层的llama.cpp，性能就能白拿30%以上的提升。你以为的硬件瓶颈，很可能只是工具瓶颈。 ...

目录准备运行环境下载模型代码和文件安装依赖配置模型启动推理服务测试模型准备运行环境硬件要求： GLM-4.5对计算资源要求较高，尤其是GPU。例如运行GLM-4....

AI技术实战分享AI技术，公众号同名今天推荐的这个项目可以让我们轻松在本地运行Llama2、Gemma等多种开源大模型，github地址放在文末。该项目吸引作者的几个特点：支持使用CPU，普通个人电脑可运行。一键安装，超级简单，支持windows/linux/mac。...