深度学习的归纳偏置之辩：从卷积到注意力，是解放还是新的束缚？

在深度学习的演进史中，归纳偏置（inductive bias）始终是决定模型泛化能力的隐形之手。从早期卷积神经网络（CNN）的局部连通性和权值共享，到如今Transformer依赖完全的自注意力机制，人们常将这种转变描述为‘从强归纳偏置走向弱归纳偏置’的解放。然而，这种叙事可能是一种深刻的误解。当我们仔细剖析Transformer的训练动态和泛化行为时，会发现它并未抛弃归纳偏置，而是将偏置从‘显式的结构约束’迁移到了‘隐式的参数化分布’之中。这种迁移非但没有削弱偏置的强度，反而在某些维度上构成了比CNN更顽固的先验——一种对数据间长程依赖模式的无差别信任。

经典的CNN通过局部感受野和权重共享，内置了空间平移等变性——图像中一只猫无论出现在左上角还是右下角，其局部特征提取器都能以相同的方式响应。这种偏置是物理世界空间同质性的忠实投影，也是CNN在小样本视觉任务上长期保持优势的基石。然而，这种强偏置也带来了视野局限和全局建模能力的匮乏：必须通过堆叠深层来扩大感受野，而每一层的局部性依然限制了信息的高效路由。与之相比，Transformer的多头自注意力机制允许每个token直接与所有其他token交互，理论上建模任意距离的依赖关系。从表面看，这是对先验假设的彻底抛却，让模型‘从数据中学习一切’。但问题在于，没有任何架构能够完全中立地学习——自注意力的softmax分布本身就是一个预设的、可微的‘路由选择器’，它默认所有token对都有潜在关联，并依赖大规模数据来逐步稀释这种‘一视同仁’的初始状态。

如果我们从信息论和训练样本效率的角度审视，便能发现Transformer的归纳偏置其实更为激进。在训练早期，随机初始化的注意力矩阵近似于均匀分布，这意味着模型必须依赖大量样本来学习哪些长程关联是有意义的，而哪些是噪声。这一过程所需的样本复杂度，远高于CNN凭借局部先验就能快速锁定的边缘与纹理组合。换句话说，CNN将‘空间近邻相关’这一信息作为硬编码，而Transformer则必须从数据中学到这一规律——但它同时也具备了学习‘远距离却强相关’的能力。这种能力的代价，是一种更为广义的平滑性偏置：它假设所有位置之间的关系都可以通过可学习的加权和来表达。这一假设在语言和时序数据中已被证明有效，但在图像或物理系统等具有明显局部生成机制的数据上，却容易导致对局部结构的建模效率低下。因此，我们看到的并非‘偏置减少’，而是偏置的转型：从刚性的几何先验，转向柔性的、参数化的拓扑先验。

由此可以得出一个独立且反潮流的观点：Transformer之所以在许多任务上超越CNN，并非因为其偏置更少、更‘通用’，而是因为其偏置的形态更适合于从海量多模态数据中捕捉高阶统计关系。但这不意味着Transformer是终局。恰恰相反，未来的架构设计应当主动地、可解释地将特定领域的知识以‘软偏置’的形式注入Transformer，例如通过相对位置编码、局部注意力窗口或稀疏注意力模式。这并非倒退，而是意识到‘零偏置’是神话，真正的挑战在于设计那些既能加速学习又不阻塞合意模式的偏置。深度学习的下一场革命，或许不是再发明一种全新的注意力变体，而是重新学会如何有意识地选择并驾驭这些深植于架构中的先验假设——因为正是这些看不见的束缚，决定了模型在陌生环境中的命运。