一个在监控面板数据卡住时给 on-call 发消息的 Slack bot

实习期间我们团队维护着一堆内部监控面板,好几次某个面板背后的数据管道悄悄卡住了——一直没人注意到,直到某个经理来问某个数字怎么冻在那儿不动了。我的 mentor 半开玩笑地说,得有人每天早上挨个检查一遍才行。我就问能不能让我用自动化来搞定。我写了个 Python 脚本,挨个去请求每个面板的 API,把最后更新时间和一个阈值做对比,如果某个面板卡住超过了设定的时限,就往我们团队的 Slack 频道发消息,并 @ 那一周值班的 on-call——值班表是从我们的 PagerDuty 排班里拉的。真正麻烦的不是正常流程,而是怎么做到不烦人:一开始它会重复发消息,因为一次慢一点的刷新在那一分钟里看着就像卡住了,所以我加了个缓冲窗口,还加了条『4 小时内不重复提醒』的规则。我把它挂在一台共用机器的 cron 上跑。在我实习的最后一个月它抓到了两次真的卡壳,我们当天就修好了,而不是拖到好几天以后。我特意把它做得极简,这样我走之后 mentor 真的接得住、维护得了。