一、数据崇拜与知识遗忘
当代机器学习的主流叙事是数据崇拜:只要喂入足够多的样本,神经网络便能自行提炼规律。这种信念在ImageNet和Transformer的辉煌战绩下几乎成为信仰。然而,我们是否想过,数据本身并不蕴含知识,它只提供统计上的相关性。模型从海量像素中学会区分猫狗,却无法理解‘猫有胡须’这一生物学事实;它能生成流畅的文本,却对‘太阳从西边升起’这种悖论无动于衷。对比上世纪符号主义对逻辑规则的执着,今天的机器学习走向了另一个极端:彻底放弃先验知识,将一切交给梯度下降。这种分裂不是技术路线的分歧,而是对‘智能本质’认知的断裂。
二、泛化:从记忆到理解的鸿沟
支持向量机时代,我们追求结构风险最小化;深度学习时代,我们依靠正则化与大数据来抑制过拟合。但无论哪种方法,泛化都被视为一种数学性质——是模型在未知分布上的平均表现。然而,这种定义掩盖了一个致命问题:分布本身是随环境漂移的。一个在晴天数据上训练的目标检测器,遇到雨天便会崩溃;一个在新闻语料上训练的对话模型,面对科学问题就胡言乱语。我们称之为‘分布外’或‘鲁棒性不足’,实则揭示了模型从未获得因果结构,只是记住了训练数据中的相关模式。真正的泛化不是插值,而是通过有限样本推断出深层规律。这需要一个根本性的转变:从拟合函数转向构造解释。
三、知识在哪里?三种范式的对比
我们不妨对比三种路径:符号主义认为知识是显式规则,可以被逻辑推导;联结主义认为知识隐式分布在高维参数中,通过激活模式涌现;而统计学习则把知识等同于概率分布。这三种范式的矛盾集中体现在‘迁移学习’上。符号系统可以轻易地在新领域应用规则,但脆弱且无法处理模糊性;联结系统能处理模糊性,却很难将学到的‘特征’转化为可表述的知识;统计模型则只能在同分布下有效,一旦迁移便性能骤降。更有趣的是,人类学习一个新概念,往往只需要几个例子,因为我们会将新概念嵌入已有的因果框架。当前机器学习缺少这种‘以知识为锚’的机制。深度对比之下,我认为未来的突破不在于更大的模型或更多的数据,而在于让模型具备主动构造假设、然后通过数据验证假设的能力——这是科学的范式,不是统计的范式。
四、提出新观点:生成式约束下的动态学习
基于上述对比,我提出一个独立观点:‘生成式约束+动态知识演化’应成为下一代机器学习框架的基石。所谓生成式约束,不是传统正则化那种惩罚项,而是用一组可微分、可组合的常识规则或因果先验来约束模型的解空间。比如,在训练一个物理模拟器时,约束模型输出的轨迹满足能量守恒;在训练一个语言模型时,约束它生成的文本满足一致性公理。这些约束并非固定不动,而是随任务反馈不断演化——模型不仅优化参数,还优化约束本身的结构。这本质上打破了数据、模型、知识三者的割裂:知识不再是被数据淹没的无用先验,而是被数据修正的活假设;模型也不再是黑箱映射,而是一个具有内部理论的结构化系统。这种做法会牺牲一些短期测试精度,但会大幅提升真实世界中的适应性和可解释性。
五、结语:拥抱分裂,才能走向统一
机器学习的百年争论(如果从图灵算起)始终在经验主义和理性主义之间摇摆。数据崇拜让我们收获了工程奇迹,却也让我们忘记了知识的力量。本文并非否定深度学习的贡献,而是指出:当模型规模触及算力上限、当数据红利日渐枯竭,我们必须重新审视知识在智能中的位置。一个真正的智能体应当像科学家一样,用数据生成假设,用假设指导实验,再以实验修正假设。这种闭环需要数据驱动与知识驱动从分裂走向协同。我所提出的‘生成式约束’只是一个粗陋的起点,但方向明确:机器学习不应只学习映射,而应学习世界模型。在那之前,我们所有看似智能的系统,不过是高维空间中的精妙插值器。