見事に見えた無断キャンセル予測モデル——未来を読んでいたと気づくまで

ヘルステックのスタートアップで、私のプロジェクトは、どの患者が予約を無断キャンセルしそうかを予測して、クリニックが追加のリマインダーを送れるようにするモデルでした。最初のバージョンのAUCは0.94前後で、正直、サマーインターンにしては出来すぎだと感じました。特徴量重要度を見ると、1つの特徴量が支配的でした。予約の「status」フィールドです。調べてみると、このフィールドは来院後に更新されていて、その人が実際に来たかどうかをすでに含んでいました。典型的なリーケージで、モデルは答えを読んでいたわけです。予約時刻以降に書き込まれる特徴量をすべて落とし、予約が入った時点で分かるものだけで作り直しました。リードタイム、過去の無断キャンセル回数、曜日、距離のバケット、予約種別です。AUCは約0.71まで落ちました。見栄えは悪くなりましたが、本物です。確率のしきい値は、クラスが不均衡だったので精度の最大化ではなく、受付が実際にさばけるリマインダーのキャパシティを見て決めました。最終ドキュメントにはリーケージの経緯を明示的に書きました。次の人にあのstatusフィールドを信用してほしくなかったからです。クリニックはリスク上位バケットにリマインダーを送る小規模なパイロットを実施しました。私はこれを「解決済みの問題」ではなく「有望なシグナル」として位置づけました。