offsite_verify.sh (воскресенье 06:00): берёт все снапшоты, сортирует по времени, проверяет что последний не старше 48 часов, затем restic check на 2% данных. Результат — событие backup.done/backup.failed. Проверено: 96 снапшотов, последний свежий, целостность — ошибок нет. Задача запускается ежедневно в 04:00 (94 запуска в журнале). Ложная тревога и причина: первая версия показала «136 ч назад» из-за того, что restic snapshots --latest 1 отдаёт не самый новый по времени снапшот. Теперь сортировка по time вручную.
74 lines
3.0 KiB
Python
74 lines
3.0 KiB
Python
"""Сторож расписаний: замечает, если задача не отработала вовремя."""
|
|
import json
|
|
import os
|
|
import sys
|
|
import time
|
|
import urllib.request
|
|
|
|
CORE = os.environ.get("CORE_URL", "http://127.0.0.1:9120")
|
|
|
|
# задача → (файл журнала, максимальный интервал в часах)
|
|
JOBS = {
|
|
"коннекторы": ("/var/log/hub-connectors.log", 1),
|
|
"сверка": ("/var/log/hub-reconcile.log", 30),
|
|
"связка карточек": ("/var/log/hub-linker.log", 30),
|
|
"дайджест": ("/var/log/hub-digest.log", 30),
|
|
"инвентаризация": ("/var/log/hub-inventory.log", 30),
|
|
"экспорт": ("/var/log/hub-export.log", 30),
|
|
"бэкап базы": ("/var/log/hub-backup.log", 30),
|
|
"каталог": ("/var/log/hub-catalog.log", 30),
|
|
"недельный отчёт": ("/var/log/hub-weekly-core.log", 24 * 8),
|
|
"бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30),
|
|
"проверка бэкапа PG": ("/var/log/hub-pg-verify.log", 30),
|
|
"проверка бэкапа ботов": ("/var/log/hub-bots-verify.log", 30),
|
|
"проверка офсайта": ("/var/log/hub-offsite-verify.log", 24 * 8),
|
|
"продолжить просмотр": ("/var/log/hub-resume.log", 30),
|
|
"telegram": ("/var/log/hub-telegram.log", 24),
|
|
}
|
|
|
|
|
|
def notify(etype, title, detail):
|
|
body = json.dumps({"source": "cron-guard", "type": etype,
|
|
"entity": {"kind": "задача", "key": f"cron:{title}", "title": title},
|
|
"payload": {"detail": detail}}, ensure_ascii=False).encode()
|
|
req = urllib.request.Request(f"{CORE}/event", data=body, method="POST",
|
|
headers={"Content-Type": "application/json"})
|
|
try:
|
|
with urllib.request.urlopen(req, timeout=15) as r:
|
|
return r.status in (200, 201)
|
|
except Exception:
|
|
return False
|
|
|
|
|
|
def main():
|
|
now = time.time()
|
|
stale, ok, skipped = [], [], []
|
|
|
|
for name, (path, max_hours) in JOBS.items():
|
|
if not os.path.exists(path):
|
|
skipped.append(name)
|
|
continue
|
|
age_h = (now - os.path.getmtime(path)) / 3600
|
|
if age_h > max_hours:
|
|
stale.append((name, round(age_h, 1), max_hours))
|
|
else:
|
|
ok.append((name, round(age_h, 1)))
|
|
|
|
for name, age, limit in stale:
|
|
notify("service.stale", f"Задача «{name}» не отработала",
|
|
f"последний запуск {age} ч назад, ожидался не реже {limit} ч")
|
|
print(f" ⚠️ {name}: {age} ч (предел {limit})")
|
|
|
|
for name, age in ok:
|
|
print(f" ✅ {name}: {age} ч назад")
|
|
|
|
if skipped:
|
|
print(f" · ещё не запускались: {', '.join(skipped)}")
|
|
|
|
print(f"итого: в порядке {len(ok)}, просрочено {len(stale)}, без истории {len(skipped)}")
|
|
return 0 if not stale else 1
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|