我花了一个月时间调一个图像分类模型，准确率从91%推到94%，然后卡死了。我试了所有正则化技巧、换骨干网络、调学习率，最后发现只是把某个数据增强的力度加大了一点，又涨了0.3%。那一刻我突然意识到：我根本不知道模型学到了什么，我只不过是在跟验证集玩一场漫长的心理博弈。
我们现在谈论深度学习，总是绕不开大数据、大算力、大模型。但真正在实验室或者小公司里摸爬滚打的人都会有另一种体验：你拼命堆显卡，结果只是把过拟合的时间点往后推了几百个epoch。有人说这是工程问题，以后会有更强的硬件、更聪明的优化器。我不同意。这是认知问题——我们至今没有一个理论能解释为什么随机梯度下降在非凸损失函数里能走那么远。就连Hinton自己都说，深度学习是个'黑魔法'。我们一边享受它的威力，一边拼命给它编造合理性，仿佛承认不知道原理就会天塌下来。
更讽刺的是，工业界反而比学术界更诚实。推荐系统、语音助手、自动驾驶，这些落地场景里没人关心模型是不是真的'理解'了停车标志，只要它在该停的地方停下就好。于是我们发明了'测试时训练'、'对抗样本防御'，看起来是在解决安全，其实是在修补对理解的恐惧。我做过一个对比实验：用同一个ResNet50分别训练在干净数据和加入10%噪声的数据上，然后提取中间层特征做可视化。干净数据模型的注意力图乱七八糟，可测试准确率反而更高。噪声数据模型看起来更符合人类的'视觉逻辑'，但泛化一塌糊涂。这说明我们的直觉跟机器学习的本质是错位的——机器不需要你认为的'有意义'，它只需要统计上成立。
另一件让我耿耿于怀的事是：深度学习最成功的领域，恰恰是那些人类根本没法给出清晰规则的领域。图像识别、语音转写、蛋白质折叠。而一旦涉及强逻辑推理，比如抽象推理ARC数据集，即使给了海量样例，效果依然惨不忍睹。我怀疑深度学习从未真正产生过'概念'，它只是在做高维空间的平滑插值。你问一个模型'椅子'是什么，它不会有任何关于可坐、有靠背、能承重的意识，它只是找到了像素集合里的一团流形。所以当有人鼓吹大模型要具备通用智能时，我总是忍不住想：我们可能只是把海市蜃楼拍成了高清照片，然后对着照片说'看，这就是绿洲'。
最后说点个人感受。我做实验那段时间，熬夜守在终端前看loss曲线，常常觉得自己像个给神明上香的古人——你做的所有事情都只是为了触发一次概率事件，而不是真正理解那个过程。有一次模型终于收敛，训练集准确率99.8%，验证集98.1%，我高兴了两分钟，然后一种虚无感涌上来：我到底做出了什么？一个可以发布给别人用的黑箱？如果这就是深度学习的常态，那我们得承认，它的强大恰恰来自于它的盲目。而我们的工作，不过是小心翼翼地调整盲杖敲击地面的节奏罢了。这没什么不好，但别骗自己说这是在追求'理解'。
