Files
buryan-infra/ops/hub-core/cron_guard.py
T
buryan-agent a1f0bf4ee3 Проверка офсайт-бэкапа restic: свежесть и целостность
offsite_verify.sh (воскресенье 06:00): берёт все снапшоты, сортирует по
времени, проверяет что последний не старше 48 часов, затем restic check на
2% данных. Результат — событие backup.done/backup.failed.

Проверено: 96 снапшотов, последний свежий, целостность — ошибок нет.
Задача запускается ежедневно в 04:00 (94 запуска в журнале).

Ложная тревога и причина: первая версия показала «136 ч назад» из-за того,
что restic snapshots --latest 1 отдаёт не самый новый по времени снапшот.
Теперь сортировка по time вручную.
2026-10-19 20:58:11 +03:00

74 lines
3.0 KiB
Python

"""Сторож расписаний: замечает, если задача не отработала вовремя."""
import json
import os
import sys
import time
import urllib.request
CORE = os.environ.get("CORE_URL", "http://127.0.0.1:9120")
# задача → (файл журнала, максимальный интервал в часах)
JOBS = {
"коннекторы": ("/var/log/hub-connectors.log", 1),
"сверка": ("/var/log/hub-reconcile.log", 30),
"связка карточек": ("/var/log/hub-linker.log", 30),
"дайджест": ("/var/log/hub-digest.log", 30),
"инвентаризация": ("/var/log/hub-inventory.log", 30),
"экспорт": ("/var/log/hub-export.log", 30),
"бэкап базы": ("/var/log/hub-backup.log", 30),
"каталог": ("/var/log/hub-catalog.log", 30),
"недельный отчёт": ("/var/log/hub-weekly-core.log", 24 * 8),
"бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30),
"проверка бэкапа PG": ("/var/log/hub-pg-verify.log", 30),
"проверка бэкапа ботов": ("/var/log/hub-bots-verify.log", 30),
"проверка офсайта": ("/var/log/hub-offsite-verify.log", 24 * 8),
"продолжить просмотр": ("/var/log/hub-resume.log", 30),
"telegram": ("/var/log/hub-telegram.log", 24),
}
def notify(etype, title, detail):
body = json.dumps({"source": "cron-guard", "type": etype,
"entity": {"kind": "задача", "key": f"cron:{title}", "title": title},
"payload": {"detail": detail}}, ensure_ascii=False).encode()
req = urllib.request.Request(f"{CORE}/event", data=body, method="POST",
headers={"Content-Type": "application/json"})
try:
with urllib.request.urlopen(req, timeout=15) as r:
return r.status in (200, 201)
except Exception:
return False
def main():
now = time.time()
stale, ok, skipped = [], [], []
for name, (path, max_hours) in JOBS.items():
if not os.path.exists(path):
skipped.append(name)
continue
age_h = (now - os.path.getmtime(path)) / 3600
if age_h > max_hours:
stale.append((name, round(age_h, 1), max_hours))
else:
ok.append((name, round(age_h, 1)))
for name, age, limit in stale:
notify("service.stale", f"Задача «{name}» не отработала",
f"последний запуск {age} ч назад, ожидался не реже {limit} ч")
print(f" ⚠️ {name}: {age} ч (предел {limit})")
for name, age in ok:
print(f" ✅ {name}: {age} ч назад")
if skipped:
print(f" · ещё не запускались: {', '.join(skipped)}")
print(f"итого: в порядке {len(ok)}, просрочено {len(stale)}, без истории {len(skipped)}")
return 0 if not stale else 1
if __name__ == "__main__":
sys.exit(main())