"""Сторож расписаний: замечает, если задача не отработала вовремя.""" import json import os import sys import time import urllib.request CORE = os.environ.get("CORE_URL", "http://127.0.0.1:9120") # задача → (файл журнала, максимальный интервал в часах) JOBS = { "коннекторы": ("/var/log/hub-connectors.log", 1), "сверка": ("/var/log/hub-reconcile.log", 30), "связка карточек": ("/var/log/hub-linker.log", 30), "дайджест": ("/var/log/hub-digest.log", 30), "инвентаризация": ("/var/log/hub-inventory.log", 30), "экспорт": ("/var/log/hub-export.log", 30), "бэкап базы": ("/var/log/hub-backup.log", 30), "каталог": ("/var/log/hub-catalog.log", 30), "недельный отчёт": ("/var/log/hub-weekly-core.log", 24 * 8), "бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30), "проверка бэкапа PG": ("/var/log/hub-pg-verify.log", 30), "проверка бэкапа ботов": ("/var/log/hub-bots-verify.log", 30), "проверка офсайта": ("/var/log/hub-offsite-verify.log", 24 * 8), "продолжить просмотр": ("/var/log/hub-resume.log", 30), "telegram": ("/var/log/hub-telegram.log", 24), } def notify(etype, title, detail): body = json.dumps({"source": "cron-guard", "type": etype, "entity": {"kind": "задача", "key": f"cron:{title}", "title": title}, "payload": {"detail": detail}}, ensure_ascii=False).encode() req = urllib.request.Request(f"{CORE}/event", data=body, method="POST", headers={"Content-Type": "application/json"}) try: with urllib.request.urlopen(req, timeout=15) as r: return r.status in (200, 201) except Exception: return False def main(): now = time.time() stale, ok, skipped = [], [], [] for name, (path, max_hours) in JOBS.items(): if not os.path.exists(path): skipped.append(name) continue age_h = (now - os.path.getmtime(path)) / 3600 if age_h > max_hours: stale.append((name, round(age_h, 1), max_hours)) else: ok.append((name, round(age_h, 1))) for name, age, limit in stale: notify("service.stale", f"Задача «{name}» не отработала", f"последний запуск {age} ч назад, ожидался не реже {limit} ч") print(f" ⚠️ {name}: {age} ч (предел {limit})") for name, age in ok: print(f" ✅ {name}: {age} ч назад") if skipped: print(f" · ещё не запускались: {', '.join(skipped)}") print(f"итого: в порядке {len(ok)}, просрочено {len(stale)}, без истории {len(skipped)}") return 0 if not stale else 1 if __name__ == "__main__": sys.exit(main())