誰にも信用されていなかった返品ダッシュボードを作り直したら、数字が二重カウントされていた

私のインターンプロジェクトは、あるカテゴリーチームの返品ダッシュボードを「リフレッシュする」というものでした。着手してすぐ、マネージャーから「返品率が高すぎるように見えるから、誰も見ていない」と聞かされました。そこで見た目を整え直すだけでなく、一番上のタイルの裏にあるSQLを追いかけました。返品率は同じ期間内の返品数を注文数で割って計算されていましたが、返品は注文から数週間遅れて発生するので、12月の返品が1月の注文で割られている状態でした。さらに、注文に複数の明細行があると、あるJOINがファンアウトして、複数商品の注文では返品が二重にカウントされていました。私は、各返品を元の注文日にコホートし直し、注文レベルで重複排除するように書き直しました。「怖い」11%は約6.5%まで下がり、これはファイナンスチームが自分たちの数字で見ていた値と一致しました。新しいバージョンをQuickSightで構築し、コホートのロジックについて短いドキュメントを書き、あるコホートで返品が注文を上回ったらフラグを立てるデータ品質チェックも追加しました。マネージャーの働きかけで、カテゴリーチームは週次レビューでこのダッシュボードをまた使い始めました。華やかな仕事ではありませんでしたが、間違った数字は数字がないより悪い、ということを教わりました。