先说一个让我推翻自己认知的项目
去年给一家 regional 银行做客户流失预测。老板要求必须用 XGBoost，说准确率必须上 92%。我吭哧吭哧调了俩礼拜参数，用 230 个特征，20 万条样本，五折交叉验证训练出来 AUC 0.91，准确率 91.7%。结果上线之后一个季度，实际命中率只有 38%，比原来的逻辑回归还低 11 个百分点。后来查原因：特征里有“近三个月月均消费金额”和“最后消费距今天数”，这两个变量在训练集里缺失值我用中位数填充的，但上线后新用户的缺失模式变了。这就是我踩的第一个坑——数据泄漏的变体，不是时间泄漏，而是缺失值分布漂移。传统统计方法里，我们会老老实实分训练集/测试集做多重插补，反而不会把缺失本身当成信息。
第二个坑：过拟合不是看曲线，而是看业务逻辑
大部分教程教你看学习曲线，看训练集和验证集误差差距。但实际业务里，有更隐蔽的过拟合：特征之间隐藏的时序依赖。我当时用了一个数据集，包含用户某个月点击某功能页面的次数，和这个月是否流失。脑子一抽用了个随机森林，默认参数 500 棵树，深度不限制。训练集 AUC 0.97，测试集 0.85，差距不算夸张。但我把特征重要性打印出来，排第一的竟然是“本周页面停留时间”。业务上说不通——谁流失前还天天看页面？后来发现这个特征是从日志里 join 出来的，而日志只记录了活跃用户，不活跃用户根本没记录，导致这个特征天然区分了“还在用”和“已经弃坑”。这本质上就是标签泄漏，但不是你主动把 y 放进 x，而是数据收集逻辑本身带了未来信息。换成传统 Cox 比例风险模型，处理时序事件的自然优势，这个特征会被当成删失处理，根本不会进入模型。
第三个对比：当样本量只有 800 的时候，深度学习就是个笑话
另一个项目是某制造企业预测产线停机故障。数据只收集了 14 个月，可用故障样本 800 多条，特征 47 个。工程师们张口就要上 LSTM，说是时序数据。我硬着头皮训练了一个两层 LSTM（hidden size 64），加 dropout 0.3，early stopping patience 5。验证集 F1 0.49。后来我换成带 L1 正则的逻辑回归，把 47 个特征做 lag 变换、滑窗统计，再手选 12 个业务强相关变量。F1 直接到 0.63，而且模型系数解释性强。故障前置的主因是温度和振动传感器的变化率，不是绝对值。LSTM 学不到这种小样本下的差分模式，因为数据太少了，Attention 根本分配不均。传统统计里有个东西叫“变化点检测”，本质上是假设检验，比神经网络更直接。
第四个坑：所谓“无监督发现”大多数时候是自欺欺人
人人都爱做聚类。K-means 选 K 用肘部法则，确定成 4 类，然后给每类贴标签：大学生、宝妈、程序员、退休老人。结果画像看似清晰，客户反馈也说准。但后来做验证发现，聚类结果严重依赖归一化方法。用 min-max 归一化分的类是“活跃度高低”，用 z-score 分的类才是“人群特征”。同一个数据集，换个预处理，结论完全反了。再用 GMM 试一次，聚出 5 类，其中一个类别数量只有 2%。这种不稳定本质上是因为真实数据里没有明显的球形分布，距离度量本身是错的。独立观点：无监督学习应该只用来做假设生成，不能当结论用。后来我干脆用交叉表+卡方检验来手动找标签组合，反而发现“女性+夜间下单+退货率”这个交叉特征比聚类有用得多。
第五个感悟：特征工程远比调参重要，但传统统计的“假设检验”思维不可抛弃
我整理了自己 2022 年 6 月到 2023 年 5 月做过的 12 个建模项目，凡是最终上线效果好的，全都不是用 AutoML 自动搜出来的特征。也不是我用 Python 的 featuretools 自动生成的。而是我拿着一张数据字典，挨个变量和业务经理聊出来的。最成功的一个特征是对“客户平均月缴费金额”取对数后，再乘以“缴费周期波动系数”，因为业务员告诉我，那些缴费金额稳定但偶尔突然调低的人，流失风险最高。这个特征如果靠算法自动生成，交叉出来几百维，根本选不到。传统统计的 Wald 检验和 AIC 变量选择虽然老套，但能逼你去思考每个变量的经济含义。机器学习那个“算法自己找模式”的理念，在数据量大、信噪比高的时候好用，但我们日常业务里大多是中小数据、弱信号、脏标签。
写这些不是想否定数据挖掘，而是想强调：你用什么模型不重要，重要的是你知道数据从哪来、缺失怎么产生、标签怎么定义、业务时间轴和特征时间轴是否对齐。我现在给自己定了个规矩：新项目先画一张数据流图，标出每个特征的采集时间点和目标事件的发生时间，如果有任何特征的时间点晚于目标事件，直接删掉。这个检查比任何调参都管用。如果你也是做数据挖掘的，建议去翻一下你手头项目的特征构造代码，看看有没有用 join 的时候不小心把未来数据带进来了。别等模型上线了，再在业务上被打脸。