QLoRA（Quantized LoRA）详解
前言 QLoRA[1]的作者Tim Dettmers是一个在模型量化颇有建树的大佬，而且参加了谷歌的BLOOM的工程化建设。模型量化和大模型的PEFT（Parameter-Efficient Fine-Tuning）有一个共同点是它们都希望模型计算能够更快。...
Month: April 2026
一文读懂CPU、GPU、TPU、NPU都是什么？
数字时代，人工智能AI和机器学习技术的快速发展，人们的生活和工作模式正在经历一场前所未有的变革，CPU、GPU、TPU、NPU等作为科技领域重要组件，都可看作是机器的大脑，在各自领域发挥着重要作用，各有千秋。...
llama.app的编译安装以及模型蒸馏-Ubuntu+nvidia 3060最终成功篇
操作系统是Ubuntu 22.04.5，搭配Nvidia 8G的显卡，用户是ubuntu，尽量用普通用户操作 先上去看： nvidia-smi root@ollama:~# nvidia-smi Command 'nvidia-smi' not found,...
大模型蒸馏总结篇-unsloth的安装和使用
在 AI 炼丹界有一句至理名言：“数据决定上限，模型只是逼近这个上限。” Unsloth “硬目标”蒸馏步骤 这种方法在工业界极其流行：用顶级大模型（GPT-4 或 Qwen-72B）生成海量高质量语料，然后用 Unsloth 对小模型（Qwen-0....
小模型时代来临~ 如何用ollama跑多个小模型提升并发性能, 用ollama吧
要想发挥OLLAMA的真正实力🎯, 还是要与JBoltAI搭配食用才能发挥其最大价值🤑😂, JBoltAI欢迎亲的随时关注哟🤩😚~ 为什么要在一台机器上同一个小模型跑多个? ollama的大模型最高并发上限是20个, 那么如果我们想进一步提高大模型的并发性能,...
Ollama 多模型并行运行：Qwen、Llama、DeepSeek 配置实战
凌晨三点，我盯着终端里滚动的日志，第十七次切换模型。ollama run deepseek-coder 处理代码，ollama run qwen2.5 翻译文档，ollama run llama3.2 回答通用问题。每次切换都要等上十几秒，显卡风扇呼呼作响，...
一路飙到 3.2 万 Star 的 Claude Code 最佳实践，开源了
最近 GitHub 上有个仓库一路飙到 3.2 万 Star，叫 claude-code-best-practice。 开源地址：https://github....
新手小白也能使用InfiniteTalk搭建属于自己的数字人
数字人视频制作最难的是两点：口型要准、全身/表情要自然一致。传统“口型对嘴”方法通常只改嘴巴区域，导致表情割裂、身体僵硬；而直接用通用 I2V 模型做长视频，又容易漂移、掉 ID、颜色偏移。...
这可能是目前最强的 UI/UX 工程化 Skill：UI-UX Pro Max Skill 上手实测
如果你经常让 AI 写界面，你大概率遇到过这两个痛点： AI 代码能跑，但 UI 看起来“像 demo” 你必须手动描述大量设计细节（配色、字体、间距、交互规则），描述不全就跑偏 UI-UX Pro Max Skill 的定位非常明确：它是一个高度集成的“设计工程工具”，...
PandaWiki – 开源的AI知识库搭建系统
PandaWiki是什么 PandaWiki 是开源的AI知识库搭建系统，基于 AI 大模型的能力，帮助用户快速构建智能化的产品文档、技术文档、FAQ 和博客系统。核心功能包括 AI 辅助创作、AI 问答和 AI 搜索，显著提升知识管理的效率和智能化水平。...