剖析 mHC 多流残差：选择性路由与后层的恒等混合

多流残差设计拓宽了模型的计算通路，但额外容量并未被充分调用。研究者解构 DeepSeek-V4-Flash 的四流 mHC 结构发现，各模块通常仅读写其中两条流，且流间混合多集中于浅层；若将第 22 至 42 层的混合器换为恒等映射，困惑度仅微增 1.9%。多流协作的真实冗余被量化摊开，也为结构精简留下了可见空间。