【大模型后训练专题】 QLoRA微调原理及实战项目
前面QLoRA主要在讲“怎么在全精度模型上优雅地加一个低秩增量 ΔW”。工业界真实场景里依然存在着两个很常见的问题： 显存实在不够，8B / 14B 模型都快撑不住了，LoRA微调依然爆显存，如何进一步解决？ LoRA 只是往权重上“加一个低秩偏移”，...
Category: LoRA
QLoRA（Quantized LoRA）详解
前言 QLoRA[1]的作者Tim Dettmers是一个在模型量化颇有建树的大佬，而且参加了谷歌的BLOOM的工程化建设。模型量化和大模型的PEFT（Parameter-Efficient Fine-Tuning）有一个共同点是它们都希望模型计算能够更快。...