如何理解 DeepSeek 最新提出的 mHC 架构?

我尝试着用让你爷爷奶奶都能理解的方式来描述mHC架构。

如果想理解mHC,先要知道HC(Hyper-Connections);如果想理解HC,先要知道Residuals(残差);要理解Residuals,先要知道深度神经元网络(Deep Neural Network)。

所以,有这样的一个认知递进:

Deep Neural Network -> Residuals -> HC -> mHC

好吧,还是有点复杂,可能你爷爷奶奶没兴趣听下去,但是你可以继续看下去,在本文结尾有直接给爷爷奶奶解释的版本。

什么是深度神经元网络(Deep Neural Network,DNN)

这个太多介绍了,在这个问题中,只需要知道DNN是由很多层构成的,因为层数多,所以Deep,而且,每一层都以表示为一个函数

y=f(x)

x是这一层的输入,y是这一层的输出。

可以想想,当很多f函数叠加在一起,就可以表达复杂的函数关系,这也是DNN比较强大的原因。

但是,原本的输入,在每一层的传递过程中,特征会逐渐衰减,这给机器训练带来很大挑战。

打个比方:在一个大型公司里,CEO下达指令给CTO,CTO下达指令到VP,VP下达指令到Director,Director下达指令到Team Lead,Team Lead下达指令到基层组员,在这个指令传递链条中,原本CEO的想法会被模糊化,很容易被曲解,最后基层组员所理解的CEO最初想法可能大相径庭。

于是,有了——残差。

什么是残差(Residuals)

残差的概念是,把上面每一层的函数做一下修改,变成这样:

y=f(x)+x

也就是,每一层给下一层的输出y,不只是这一层操作过的f(x),而且包含这一层的输入x。

还是拿大型公司打比方:

现在CEO给CTO下了指令,CTO在理解了CEO的指令之后,除了把自己的理解给下一层的VP,还把CEO原本的指令一起给了VP,这样VP不光拿到了CTO的指令,还有CEO原本的指令。

同样,CTO给VP下达指令的之后,VP不光给Director自己的理解,也把CTO给的指令传给VP

……

依次类推,VP、Director、Team Lead直到基层组员,不光能够直到上一层理解的指令,还知道上上一层的指令。

这样,每一层获得的信息更大,避免信息衰减,原本CEO的想法更保真地传递给基层。

什么是HC(Hyper-Connections)

在DeepSeek论文里的这张图,中间的部分就是HC,但这是简单起见只展示了一层HC的架构,实际上HC可以跨越多层。

还是拿大型公司打比方:

为了进一步提高指令传递有效性,不只是越级传达,还可以有更多样的指令传递渠道。

比如,CEO传递给CTO的指令,CTO可以选择性传递,技术无关的信息,CTO就降低权重传递给下面的VP,和技术相关的信息,CTO就增加权重传递给VP。

CTO甚至还可以选择把重要指令直接越级传递给Director甚至Team Lead层,只要他觉得这非常重要。

毫无疑问,HC是Residuals的强化版,预期可以产生更保真的信息传递。

什么是mHC(Manifold-Constrained Hyper-Connections)

要理解mHC,先要理解什么是Manifold(流形)

什么是流形(Manifold)

Manifold是一个数学概念,用最简单的化描述就是:近看是N-1维的东西,实际是N维东西的投影,这就是N维流形

举例来说,地图就是流形,因为地球实际上是圆的,地形也是有高低起伏的,是三维世界的东西,但是,看地球上的局部地区的时候,可以看成是二维的地图。

重点就是,虽然我以二维方式表达三维地球并不是全貌,但是看起来也能有我这个维度需要的所有信息,可以看得懂。

对于神经元网络中的数据空间,也存在这种N维数据可以在低维度看起来是连续平滑的流形。

那么,什么是mHC

我们再来看DeepSeek论文中的图,最右侧就是mHC,对比HC就很清楚了。

还是拿大型公司来打比方。

在HC状态下,层级之间的壁垒是被打破了,信息传递更加充分了,但是容易带来不稳定性。

设想一下,CEO直接给一个编程的基层组员下达指令,这个组员肯定会很疑惑,大家不在一个层面上啊,你CEO掌握的是公司方向,我基层程序员解决的是具体bug,换句话说,CEO的流形和基层组员的流形根本不搭。

mHC就是给HC施加一些约束,比如,CEO的KPI之一是『提高产品质量』,那这个流形基层程序员可以看懂,对应于『减少Bug』,可以看得懂;但是,CEO的另一个KPI是『扩大融资额』,这就和基层程序员的工作完全不相关,看不懂啊,就不要听CEO哔哔这些了。

CEO有自己的世界观和地图,但是这种流形如果无法被其他层理解,那就不要做为那一层的参考了,或者,要换成那一层能理解的样子,这样才有参考意义。

总之,mHC就是给HC一些约束,让多样的信息流动也有一些约束,避免不稳定性。

写在最后

这次DeepSeek只是一篇论文,并没有对应的模型发布来验证这个想法,后续应该能看到产品发布,不过,这个『Deep Neural Network -> Residuals -> HC -> mHC』演化如此自然,感觉就是水到渠成。

值得一提,Residuals、HC和mHC全都由中国人贡献!

最后,给出你爷爷奶奶也能理解的mHC版本:

就像织毛衣一样,以前手工织毛衣只用一根线,效率不高。然后,我们发明一种机器,使用多股线一起编织(HC),这样效率就高多了,但是容易多根线头之间容易缠绕。现在用mHC方法,添加了一个智能理线器来防止线缠绕。这样一来,我们织出的毛衣更加结实耐用,而且更加美观。

==== Trisimo崔思莫 大模型话题下的优秀答主 ===

字节的HC超连接,占有六到七成贡献,提出了新的技术范式。

DeepSeekmHC流形约束超连接,占有三到四成贡献,大大提升了大模型上的可用性,补齐了稳定性和经济性。

大概可以理解为:字节豆包搞出来一个核聚变方案,DeepSeek给他套了一个托卡马克环。(mHC这个词看起来就像核工业里面的名词。笑)

字节的HC,是一种高爆美学,初衷为了解决预/后层归一化问题(这是残差连接的一个顽疾,在炸膛和钝化中做选择)。

残差连接(无论是 Pre-Norm 还是 Post-Norm)都有一个共同的局限:它们预先定义了层输入与输出之间的连接强度,而不是让神经网络自主学习最优的连接比例。

字节提出了全新的“物种”,在所有人都还在传统的 Residual Connection里打转时,字节跳动第一个跳出来说:要搞加法?为什么不能是矩阵乘法?

这是HC的一个爽点。

​证明了“可行性”,字节不仅提出了想法,还在 1B 和 7B 这种中小规模的模型上跑通了,证明了这种疯狂的架构不仅能跑,而且收敛速度还能快 1.8 倍。

但由于缺乏约束,它会“开锅炸膛”,最大的坑是显存带宽,HC连接矩阵自由生长,导致信号在多层堆叠后出现“指数级爆炸”。

​字节虽然在 7B 模型上跑通了,但 DeepSeek 在跑 27B 甚至更大模型时发现,原始的 HC 跑到 1.2万 步左右就会“开锅”(Loss 突然飞升,梯度乱跳)。

这车好是好车,就是开久了会掉坑里,还会滋滋冒烟。(在27B模型下, 原始 HC 由于缺乏约束,其复合映射的增益强度峰值达到了3000)

​DeepSeek 指出 HC 的核心问题是破坏了“残差连接的恒等映射”,于是引入 Sinkhorn 投影算法把矩阵框死在“双随机流形”里,这就是m流形,这个词的来源。

HC 虽然参数少,但特别吃显存带宽。DeepSeek 为了能让这个技术在超大模型上用得起,搞了 Kernel FusionDualPipe


从残差连接(加法)→字节HC(无约束的矩阵乘法)→DeepSeek mHC (流形约束的矩阵乘法)

这是一个经典→跳跃→优化的一个历史流变。