[X-04] Учения восстановления: конфиги + дамп БД, ежемесячно
This commit is contained in:
1 parent
af3aced11c
commit
8d3fce6c57
2 files changed
+94
-1
No files matched your search
+1
-1
@@ -52,7 +52,7 @@
|
||||
| X-01 | Тонкий пул 83% | ⏳ | — |
|
||||
| X-02 | Родители `.63` | ⛔ | ждёт питания |
|
||||
| X-03 | Frigate без камер | ⏳ | — |
|
||||
| X-04 | Проверка восстановления | ⏳ | drill |
|
||||
| X-04 | Проверка восстановления | ✅ | `ops/drill/drill.py`, 1-е число 04:30 |
|
||||
|
||||
## W. Работа (после сервисов)
|
||||
|
||||
|
||||
@@ -0,0 +1,93 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Учения по восстановлению: проверяем, что бэкапы реально разворачиваются.
|
||||
|
||||
1. Целостность последнего архива конфигов (tar -tzf).
|
||||
2. Восстановление дампа PostgreSQL в черновую базу + сверка таблиц.
|
||||
3. Отчёт в Matrix и журнал.
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import urllib.request
|
||||
|
||||
BACKUPS = "/mnt/backups"
|
||||
JOURNAL = "/var/lib/hub-agents/journal"
|
||||
NOTIFY = "http://127.0.0.1:9120/notify"
|
||||
PG = "PGPASSWORD='Buryan20261016mrAzbQ5SWdxwYg' psql -h 192.168.1.151 -U postgres"
|
||||
|
||||
|
||||
def sh(cmd, timeout=180):
|
||||
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
|
||||
return r.returncode, (r.stdout or ""), (r.stderr or "")
|
||||
|
||||
|
||||
def check_configs():
|
||||
files = sorted(glob.glob(os.path.join(BACKUPS, "configs", "configs-*.tar.gz")))
|
||||
if not files:
|
||||
return False, "нет архивов конфигов"
|
||||
latest = files[-1]
|
||||
rc, out, err = sh(f"tar tzf '{latest}' | wc -l")
|
||||
if rc != 0:
|
||||
return False, f"архив повреждён: {err[:120]}"
|
||||
n = (out or "0").strip()
|
||||
age_h = (time.time() - os.path.getmtime(latest)) / 3600
|
||||
return True, f"{os.path.basename(latest)}: {n} файлов, возраст {age_h:.1f} ч"
|
||||
|
||||
|
||||
def check_database():
|
||||
dumps = sorted(glob.glob(os.path.join(BACKUPS, "*.sql.gz")))
|
||||
if not dumps:
|
||||
dumps = sorted(glob.glob(os.path.join(BACKUPS, "**", "*.sql.gz"), recursive=True))
|
||||
if not dumps:
|
||||
return False, "нет дампов .sql.gz"
|
||||
src = dumps[-1]
|
||||
scratch = "drill_restore_check"
|
||||
sh(f"{PG} -c \"drop database if exists {scratch}\"")
|
||||
rc, _, err = sh(f"{PG} -c \"create database {scratch}\"")
|
||||
if rc != 0:
|
||||
return False, f"не создалась черновая база: {err[:120]}"
|
||||
rc, _, err = sh(f"gunzip -c '{src}' | {PG} -d {scratch} >/dev/null 2>&1")
|
||||
rc2, out, _ = sh(f"{PG} -d {scratch} -t -A -c "
|
||||
"\"select count(*) from information_schema.tables "
|
||||
"where table_schema='public'\"")
|
||||
sh(f"{PG} -c \"drop database if exists {scratch}\"")
|
||||
if rc != 0:
|
||||
return False, f"дамп не развернулся: {src}"
|
||||
tables = (out or "0").strip()
|
||||
return True, f"{os.path.basename(src)}: {tables} таблиц"
|
||||
|
||||
|
||||
def notify(title, text):
|
||||
body = json.dumps({"title": title, "message": text}).encode()
|
||||
req = urllib.request.Request(NOTIFY, data=body, method="POST",
|
||||
headers={"Content-Type": "application/json"})
|
||||
try:
|
||||
urllib.request.urlopen(req, timeout=15).read()
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
|
||||
def main():
|
||||
ok_c, msg_c = check_configs()
|
||||
ok_d, msg_d = check_database()
|
||||
ok = ok_c and ok_d
|
||||
text = (f"{'✅' if ok else '⚠️'} Учения восстановления\n"
|
||||
f"Конфиги: {'ok' if ok_c else 'ПРОБЛЕМА'} — {msg_c}\n"
|
||||
f"База: {'ok' if ok_d else 'ПРОБЛЕМА'} — {msg_d}")
|
||||
os.makedirs(JOURNAL, exist_ok=True)
|
||||
rec = {"ts": time.strftime("%Y-%m-%dT%H:%M:%S"), "ok": ok,
|
||||
"configs": {"ok": ok_c, "detail": msg_c},
|
||||
"database": {"ok": ok_d, "detail": msg_d}}
|
||||
with open(os.path.join(JOURNAL, f"{time.strftime('%Y-%m-%d')}-drill.jsonl"), "a",
|
||||
encoding="utf-8") as f:
|
||||
f.write(json.dumps(rec, ensure_ascii=False) + "\n")
|
||||
print(text)
|
||||
if not ok:
|
||||
notify("Учения восстановления: проблемы", text)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in new issue
Block a user