验证集准确率高 上线后预测像瞎猜. 特征泄露: 训练用了当时还不知道的信息—事后质检·当月末库存·用未来标签算的统计. 泄露让模型回测作弊 生产无作弊卷效果断崖. 时间切分·特征审查写关卡 过不了不准上线.
好看回测若不能用当时可获得数据复现 还不能进生产.
只准用当时能看见的
按业务时间切分训练/验证 禁随机打散有时序样本. 特征字典注明可获得时点. 衍生统计只用过去窗口. 标签与特征不同管道生成 避免宽表偷偷带入未来.
- 上线前用当时快照重放 效果掉出阈值即判泄露.
- 业务专家审查特征是否像事后诸葛.
- 监控生产效果 断崖先查泄露再调模型.
审查比刷分重要
XYN 数智化 시스템 预测当建议仍要求特征可解释时点. 泄露过关模型才配进流程 刷分过关第一周输掉信任. 信任输掉再诚实模型也没人开.
列每条特征可获得时点. 写不出时点先删掉再训练.
