【大模型后训练专题】 QLoRA微调原理及实战项目
前面QLoRA主要在讲“怎么在全精度模型上优雅地加一个低秩增量 ΔW”。工业界真实场景里依然存在着两个很常见的问题： 显存实在不够，8B / 14B 模型都快撑不住了，LoRA微调依然爆显存，如何进一步解决？ LoRA 只是往权重上“加一个低秩偏移”，...
Category: 模型训练
拒绝”炼丹”玄学：一文读懂 LoRA、P-Tuning 与全量微调的核心差异
简介： 本文通俗解析大模型微调核心方法：全量微调（效果好但显存昂贵、易遗忘）、LoRA（冻结原权重，低秩矩阵高效适配，适合注入领域知识）、P-Tuning（学习软提示，擅长安排风格与指令）。厘清术语差异，给出实战选型建议与关键参数调优要点，助开发者跨越入门门槛。...
QLoRA（Quantized LoRA）详解
前言 QLoRA[1]的作者Tim Dettmers是一个在模型量化颇有建树的大佬，而且参加了谷歌的BLOOM的工程化建设。模型量化和大模型的PEFT（Parameter-Efficient Fine-Tuning）有一个共同点是它们都希望模型计算能够更快。...
一文读懂CPU、GPU、TPU、NPU都是什么？
数字时代，人工智能AI和机器学习技术的快速发展，人们的生活和工作模式正在经历一场前所未有的变革，CPU、GPU、TPU、NPU等作为科技领域重要组件，都可看作是机器的大脑，在各自领域发挥着重要作用，各有千秋。...
llama.app的编译安装以及模型蒸馏-Ubuntu+nvidia 3060最终成功篇
操作系统是Ubuntu 22.04.5，搭配Nvidia 8G的显卡，用户是ubuntu，尽量用普通用户操作 先上去看： nvidia-smi root@ollama:~# nvidia-smi Command 'nvidia-smi' not found,...
大模型蒸馏总结篇-unsloth的安装和使用
在 AI 炼丹界有一句至理名言：“数据决定上限，模型只是逼近这个上限。” Unsloth “硬目标”蒸馏步骤 这种方法在工业界极其流行：用顶级大模型（GPT-4 或 Qwen-72B）生成海量高质量语料，然后用 Unsloth 对小模型（Qwen-0....
一张图看懂40个开源大模型：2024-2026年，LLM架构正在收敛还是分裂
快速阅读：Sebastian Raschka整理了从2024年初到2026年春天发布的40多个开源大模型的架构图谱。这些模型几乎都在做同一件事：想办法让注意力机制便宜一点、快一点、跑得更长，同时保住性能。收敛的是设计语言（MoE、QK-Norm、滑窗注意力成了标配），...
从零起步：全面指南教你训练强大的AI模型
导读 ChatGPT面世以来，各种大模型相继出现。那么大模型到底是如何训练的呢，在这篇文章中，我们将尽可能详细地梳理一个完整的 LLM 训练流程，包括模型预训练（Pretrain）、 Tokenizer 训练、指令微调（Instruction Tuning）等环节。 1....
从零开始：如何用Python训练一个AI模型（超详细教程）
引言 人工智能（AI）——一个熟悉又神秘的词汇。我们常听说它可以生成诗歌、编写代码、创作艺术，甚至回答各种问题。然而，当你想亲手实现一个“AI 模型”时，却可能感到无从下手。这篇教程正是为你准备的，将带你从零开始，逐步掌握从“AI 新手”到“能够搭建 AI 模型”的核心技能。...
HuggingFace发布超200页“实战指南”，“手把手”教你训练大模型
机器之心 2025-11-09 19:47发布于北京机器之心官方账号 近期，HuggingFace 发布的超过 200 页的超长技术博客，系统性地分享训练先进 LLM 的端到端经验。 博客的重点是 LLM 开发过程中「混乱的现实」。它坦诚地记录了哪些方法有效、哪些会失败，...