From 8d3fce6c57de77242bce6a240a4fef71de0dbd33 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Wed, 21 Oct 2026 13:56:15 +0300 Subject: [PATCH] =?UTF-8?q?[X-04]=20=D0=A3=D1=87=D0=B5=D0=BD=D0=B8=D1=8F?= =?UTF-8?q?=20=D0=B2=D0=BE=D1=81=D1=81=D1=82=D0=B0=D0=BD=D0=BE=D0=B2=D0=BB?= =?UTF-8?q?=D0=B5=D0=BD=D0=B8=D1=8F:=20=D0=BA=D0=BE=D0=BD=D1=84=D0=B8?= =?UTF-8?q?=D0=B3=D0=B8=20+=20=D0=B4=D0=B0=D0=BC=D0=BF=20=D0=91=D0=94,=20?= =?UTF-8?q?=D0=B5=D0=B6=D0=B5=D0=BC=D0=B5=D1=81=D1=8F=D1=87=D0=BD=D0=BE?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/STATUS.md | 2 +- ops/drill/drill.py | 93 ++++++++++++++++++++++++++++++++++++++++++++++ 2 files changed, 94 insertions(+), 1 deletion(-) create mode 100644 ops/drill/drill.py diff --git a/ops/STATUS.md b/ops/STATUS.md index affe3d9..f89aa61 100644 --- a/ops/STATUS.md +++ b/ops/STATUS.md @@ -52,7 +52,7 @@ | X-01 | Тонкий пул 83% | ⏳ | — | | X-02 | Родители `.63` | ⛔ | ждёт питания | | X-03 | Frigate без камер | ⏳ | — | -| X-04 | Проверка восстановления | ⏳ | drill | +| X-04 | Проверка восстановления | ✅ | `ops/drill/drill.py`, 1-е число 04:30 | ## W. Работа (после сервисов) diff --git a/ops/drill/drill.py b/ops/drill/drill.py new file mode 100644 index 0000000..8b79768 --- /dev/null +++ b/ops/drill/drill.py @@ -0,0 +1,93 @@ +#!/usr/bin/env python3 +"""Учения по восстановлению: проверяем, что бэкапы реально разворачиваются. + +1. Целостность последнего архива конфигов (tar -tzf). +2. Восстановление дампа PostgreSQL в черновую базу + сверка таблиц. +3. Отчёт в Matrix и журнал. +""" +import glob +import json +import os +import subprocess +import sys +import time +import urllib.request + +BACKUPS = "/mnt/backups" +JOURNAL = "/var/lib/hub-agents/journal" +NOTIFY = "http://127.0.0.1:9120/notify" +PG = "PGPASSWORD='Buryan20261016mrAzbQ5SWdxwYg' psql -h 192.168.1.151 -U postgres" + + +def sh(cmd, timeout=180): + r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout) + return r.returncode, (r.stdout or ""), (r.stderr or "") + + +def check_configs(): + files = sorted(glob.glob(os.path.join(BACKUPS, "configs", "configs-*.tar.gz"))) + if not files: + return False, "нет архивов конфигов" + latest = files[-1] + rc, out, err = sh(f"tar tzf '{latest}' | wc -l") + if rc != 0: + return False, f"архив повреждён: {err[:120]}" + n = (out or "0").strip() + age_h = (time.time() - os.path.getmtime(latest)) / 3600 + return True, f"{os.path.basename(latest)}: {n} файлов, возраст {age_h:.1f} ч" + + +def check_database(): + dumps = sorted(glob.glob(os.path.join(BACKUPS, "*.sql.gz"))) + if not dumps: + dumps = sorted(glob.glob(os.path.join(BACKUPS, "**", "*.sql.gz"), recursive=True)) + if not dumps: + return False, "нет дампов .sql.gz" + src = dumps[-1] + scratch = "drill_restore_check" + sh(f"{PG} -c \"drop database if exists {scratch}\"") + rc, _, err = sh(f"{PG} -c \"create database {scratch}\"") + if rc != 0: + return False, f"не создалась черновая база: {err[:120]}" + rc, _, err = sh(f"gunzip -c '{src}' | {PG} -d {scratch} >/dev/null 2>&1") + rc2, out, _ = sh(f"{PG} -d {scratch} -t -A -c " + "\"select count(*) from information_schema.tables " + "where table_schema='public'\"") + sh(f"{PG} -c \"drop database if exists {scratch}\"") + if rc != 0: + return False, f"дамп не развернулся: {src}" + tables = (out or "0").strip() + return True, f"{os.path.basename(src)}: {tables} таблиц" + + +def notify(title, text): + body = json.dumps({"title": title, "message": text}).encode() + req = urllib.request.Request(NOTIFY, data=body, method="POST", + headers={"Content-Type": "application/json"}) + try: + urllib.request.urlopen(req, timeout=15).read() + except Exception: + pass + + +def main(): + ok_c, msg_c = check_configs() + ok_d, msg_d = check_database() + ok = ok_c and ok_d + text = (f"{'✅' if ok else '⚠️'} Учения восстановления\n" + f"Конфиги: {'ok' if ok_c else 'ПРОБЛЕМА'} — {msg_c}\n" + f"База: {'ok' if ok_d else 'ПРОБЛЕМА'} — {msg_d}") + os.makedirs(JOURNAL, exist_ok=True) + rec = {"ts": time.strftime("%Y-%m-%dT%H:%M:%S"), "ok": ok, + "configs": {"ok": ok_c, "detail": msg_c}, + "database": {"ok": ok_d, "detail": msg_d}} + with open(os.path.join(JOURNAL, f"{time.strftime('%Y-%m-%d')}-drill.jsonl"), "a", + encoding="utf-8") as f: + f.write(json.dumps(rec, ensure_ascii=False) + "\n") + print(text) + if not ok: + notify("Учения восстановления: проблемы", text) + + +if __name__ == "__main__": + main()