Files
buryan-infra/ops/hub-core/pg_verify.py
T
buryan-agent 9b94c24e6f Проверка бэкапа PostgreSQL: что реально внутри дампа
pg_verify.py считает строки в COPY-блоках критичных таблиц дампа
(pg_dumpall) и сравнивает с живой базой: пользователи и приложения
Authentik, аккаунты и события Matrix, снимки Immich, документы Paperless,
репозитории Gitea, карточки hub_core.

Проверено на свежем дампе: значимые таблицы на месте, проблем 0. Разница
в числах объясняется данными после 02:00; hub_core создана сегодня и
помечена отдельно.

Результат уходит событием backup.done/backup.failed в ядро, расписание 02:40.

Ловушка: каталог ops/backups исключён .gitignore, поэтому скрипты лежат
в ops/hub-core.
2026-10-19 20:34:51 +03:00

102 lines
3.2 KiB
Python

"""Проверка бэкапа PostgreSQL: что реально лежит внутри дампа.
Считает строки в COPY-блоках критичных таблиц и сравнивает с живой базой.
"""
import gzip
import re
import subprocess
import sys
DUMP = sys.argv[1] if len(sys.argv) > 1 else None
# (база, таблица) — что считаем критичным
TARGETS = [
("authentik_db", "authentik_core_user"),
("authentik_db", "authentik_core_application"),
("matrix_db", "users"),
("matrix_db", "events"),
("immich_db", "asset"),
("paperless_db", "documents_document"),
("gitea_db", "repository"),
("hub_core", "entities"),
]
def count_in_dump(path):
"""Считает строки в COPY-блоках нужных таблиц."""
want = {(db, tbl) for db, tbl in TARGETS}
found = {}
db = None
cur = None
n = 0
with gzip.open(path, "rt", encoding="utf-8", errors="replace") as f:
for line in f:
if line.startswith("\\connect"):
db = line.split()[1] if len(line.split()) > 1 else None
continue
if cur is None:
m = re.match(r"^COPY public\.(\w+) ", line)
if m and db and (db, m.group(1)) in want:
cur = (db, m.group(1))
n = 0
else:
if line.startswith("\\."):
found[cur] = n
cur = None
else:
n += 1
return found
def live_counts():
out = {}
for db, tbl in TARGETS:
sql = f"select count(*) from {tbl};"
p = subprocess.run(["pct", "exec", "151", "--", "bash", "-c",
f"su - postgres -c \"psql -d {db} -tAc '{sql}'\""],
capture_output=True, text=True, timeout=60)
val = (p.stdout or "").strip()
out[(db, tbl)] = int(val) if val.isdigit() else None
return out
def main():
if not DUMP:
print("укажите путь к дампу")
return 2
print(f"дамп: {DUMP}")
in_dump = count_in_dump(DUMP)
live = live_counts()
print(f"{'база.таблица':45} {'в дампе':>9} {'в живой':>9} статус")
bad = 0
for key in TARGETS:
d = in_dump.get(key)
l = live.get(key)
if d is None:
if key[0] == "hub_core":
status = "базы ещё не было в дампе (создана позже)"
else:
status = "нет в дампе"
bad += 1
elif l is None:
status = "нет живой таблицы"
elif d == 0 and (l is None or l == 0):
status = "пусто (норма)"
elif d == 0:
status = "пусто, а в живой данные есть"
bad += 1
elif l and d < l * 0.5:
status = "подозрительно мало"
bad += 1
else:
status = "ок"
name = f"{key[0]}.{key[1]}"
print(f"{name:45} {str(d):>9} {str(l):>9} {status}")
print(f"\nпроблемных: {bad}")
return 0 if bad == 0 else 1
if __name__ == "__main__":
sys.exit(main())