手作業の運送会社料金スプレッドシートを置き換えたスクレイパー+週次レポート

物流系スタートアップで、オペレーションチームは数社の運送会社(carrier)ポータルの配送料金を共有スプレッドシートで管理していました。担当者1人が月曜の午前中ほぼ丸ごと使って、ログインして料金テーブルを読み、貼り付けていく作業です。遅いうえに、たまに数字を打ち間違えることもありました。新卒だった私は、この仕事を引き受けると申し出ました。まず、スクレイピングが許可されていた2社のポータルにログインして料金テーブルをパースするスクレイパーを書き、使えるページがなかった3社目については、先方からメールで送られてくるCSVエクスポートを取り込むことにしました。その上で、スクリプトがすべてを1つのフォーマットに正規化し、毎週月曜の朝7時にオペレーションリードへ週次サマリーをメール送信します。ここでは正確性が非常に重要でした。料金を間違えれば顧客への見積もりを間違えることになるからです。そこでスクレイピング結果を盲信するのではなく、前週比で15%以上変動した料金にはフラグを立てて人間が目視確認する仕組みにしました。私が担当している間にポータル側のHTMLが2回変更され、どちらのときもパーサーが壊れました。そのため、テーブルが空だったり不正な形だったりした場合は、自信満々の間違ったレポートを送る代わりに、私宛にメールを送るチェックを追加しました。結果として、オペレーション担当者の作業を週にざっと3時間削減し、コピペミスも減らせました。