Журнал разработки

Как AllCars поддерживает объявления о машинах на Кипре надежно свежими

Плановая задача, которая завершилась без ошибок, еще не значит, что она сделала работу. Вот простая идея — watchdogs, — которая помогает каждому объявлению о подержанной машине на Кипре оставаться надежно свежим на AllCars.

Если вы используете AllCars, чтобы смотреть подержанные машины на Кипре, негласный договор такой: «объявления, которые я вижу, настоящие и актуальные». Вы об этом не думаете. А я не могу позволить себе не думать.

Проблема в том, что плановые задачи не всегда честно отчитываются о своей работе. Задача может запуститься вовремя, завершиться без падения, вернуть нулевой код, записать в лог строку «completed» — и все равно не создать ничего полезного. Я видел такое в реальности. И не один раз.

Доверяй артефакту, а не runner

Решение — простая идея из эксплуатационной инженерии: watchdogs. Watchdog не спрашивает: «задача запускалась?». Он спрашивает: «работа действительно сделана?». Три варианта, три разных угла:

Артефакт изменился? Если задача должна обновить файл или таблицу, посмотри, когда его в последний раз трогали. Если он старше расписания плюс щедрый буфер — пора звать человека.

Доля успешных запусков нормальная? Сравни отношение обработанных попыток к общему числу попыток за сегодня со скользящей базой за последние несколько недель. Небольшое падение — просто тихий день. Большое и устойчивое падение значит, что работа не происходит, даже если коды выхода выглядят хорошо.

Расписание действительно сработало? Само расписание тоже не безошибочно — иногда система проглатывает тик. Отдельный наблюдатель подтверждает, что задача хотя бы стартовала в ожидаемом окне.

Почему это важно, когда вы ищете машину

Благодаря этим трем правилам я могу действительно доверять свежести индекса AllCars. Новые объявления появляются через часы, а не через дни. Уведомления по сохраненным поискам приходят тогда, когда должны. Оценка сделки отражает рынок сейчас, а не рынок прошлого вторника.

Пейджер тоже стал спокойнее — он будит меня, когда что-то правда сломалось, а не когда скрипт забыл записать лог. Скучная, без драмы, инженерия. Именно такая и держится.