一个看着特别牛的爽约预测模型——直到我发现它在偷看未来

在一家健康科技创业公司,我的项目是做一个模型,预测哪些病人会爽约,好让诊所给他们多发提醒。我的第一版 AUC 大概在 0.94,说实话对一个暑期实习生来说这好得有点不真实。我一看特征重要性,有一个特征一家独大:一个预约的“状态(status)”字段。原来这个字段是在就诊之后才更新的,所以它本身就已经编码了这个人到底来没来。典型的泄露——模型是在偷看答案。我把所有在预约时点或之后才写入的特征全删了,只用预约时就已知的东西重建:提前预约时长、历史爽约次数、星期几、距离分档、预约类型。AUC 掉到了 0.71 左右。没那么惊艳,但是真的。我选概率阈值时,是看前台实际有多少发提醒的产能来定的,而不是去最大化准确率,因为类别是不平衡的。我在最终文档里专门把这段泄露的故事写清楚,因为我想让下一个人别再信那个 status 字段。诊所拿风险最高的那一档人跑了个小规模试点,发提醒。我把它定性为一个有潜力的信号,而不是一个已经解决的问题。