#!/bin/bash # ============================================================ # night-audit.sh — полный аудит перед ночным спринтом # ============================================================ # Состоит из двух частей: # # 1. ОПИСЬ — что сейчас есть: сервисы, базы, копии, наблюдение. # 2. ПРОВЕРКА ОТКАТА — самое важное. Прежде чем принимать решения # самостоятельно, нужно доказать, что откат действительно работает. # Проверяются три механизма: # * восстановление базы из выгрузки; # * целостность архивов контейнеров; # * снимок контейнера и возврат из него. # # Ничего не меняет в работающих сервисах. Временные объекты создаёт # и удаляет за собой. # # Запуск: bash night-audit.sh # ============================================================ set -uo pipefail . /root/.buryan-monitor.env export PGPASSWORD PG=192.168.1.151 DB=buryan_monitoring echo "╔══════════════════════════════════════════════════════════╗" echo "║ ЧАСТЬ 1. ОПИСЬ ║" echo "╚══════════════════════════════════════════════════════════╝" echo echo "── 1.1 ХОСТ ──" printf ' ядер: %s, памяти: %s, своп занят: %s\n' \ "$(nproc)" "$(free -h | awk 'NR==2{print $2}')" "$(free -h | awk 'NR==3{print $3}')" printf ' пул томов: %s\n' "$(lvs -o data_percent --noheadings 2>/dev/null | tr -d ' ' | head -1)" printf ' раздел копий: %s\n' "$(df -h /mnt/backups | tail -1 | awk '{print $5" занято, свободно "$4}')" printf ' корень: %s\n' "$(df -h / | tail -1 | awk '{print $5" занято, свободно "$4}')" echo echo "── 1.2 ГОСТИ ──" run=$(pct list | awk 'NR>1 && $2=="running"' | wc -l) all=$(pct list | awk 'NR>1' | wc -l) echo " контейнеров: $run из $all запущено" echo " виртуалок: $(qm list 2>/dev/null | awk 'NR>1 && $3=="running"' | wc -l)" echo echo "── 1.3 СЕРВИСЫ ──" bash /root/inventory-services.sh 2>/dev/null | tail -8 | sed 's/^/ /' echo echo "── 1.4 БАЗЫ ──" psql -h "$PG" -U buryan_monitor -d "$DB" -c 'SELECT * FROM db_registry_summary;' 2>/dev/null | sed 's/^/ /' echo " к переносу и в работе (файловые):" psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \ "SELECT ' ' || rpad(service,14) || rpad(ct_id,6) || pg_size_pretty(size_bytes) FROM db_registry WHERE engine='sqlite' AND status='в работе' ORDER BY size_bytes DESC" 2>/dev/null echo " кодировка баз:" psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \ "SELECT ' ' || encoding || ': ' || count(*) || ' баз' FROM db_registry WHERE engine='postgresql' GROUP BY encoding" 2>/dev/null echo echo "── 1.5 КОПИИ ──" echo " расписания:" for f in /etc/cron.d/lxc-backups /etc/cron.d/buryan-monitor /etc/cron.d/buryan-monitoring; do [ -f "$f" ] && printf ' %-28s заданий: %s\n' "$(basename "$f")" "$(grep -vcE '^#|^$' "$f")" done echo " архивы контейнеров:" printf ' всего: %s, объём: %s\n' \ "$(ls /mnt/backups/dump/*.zst 2>/dev/null | wc -l)" \ "$(du -sh /mnt/backups/dump 2>/dev/null | cut -f1)" echo " выгрузки баз:" ls -t /mnt/backups/postgresql/*.sql.gz 2>/dev/null | head -3 | while read -r f; do printf ' %s — %s, %s\n' "$(basename "$f")" "$(du -h "$f" | cut -f1)" "$(stat -c %y "$f" | cut -d. -f1)" done echo " внешнее хранилище:" export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo" export RESTIC_PASSWORD_FILE="/root/.restic-password" restic stats 2>&1 | grep -E 'Snapshots|Total Size|File Count' | sed 's/^/ /' echo echo "── 1.6 НАБЛЮДЕНИЕ ──" printf ' целей в Prometheus: %s\n' \ "$(curl -s -m 10 'http://192.168.1.134:9090/api/v1/targets?state=active' | jq -r '.data.activeTargets|length' 2>/dev/null)" printf ' проверок по расписанию: диск, сертификаты, пул томов, логи, снимки\n' echo echo "╔══════════════════════════════════════════════════════════╗" echo "║ ЧАСТЬ 2. ПРОВЕРКА ОТКАТА — работает ли он на самом деле ║" echo "╚══════════════════════════════════════════════════════════╝" echo echo "── 2.1 ВОССТАНОВЛЕНИЕ БАЗЫ ИЗ ВЫГРУЗКИ ──" SCRATCH="audit_restore_$(date +%s)" SRC_DB="buryan_monitor" echo " беру свежую выгрузку базы $SRC_DB" if pct exec 151 -- sudo -u postgres pg_dump "$SRC_DB" 2>/dev/null | gzip > /tmp/audit-dump.sql.gz; then printf ' выгрузка: %s\n' "$(du -h /tmp/audit-dump.sql.gz | cut -f1)" echo " создаю временную базу $SCRATCH" pct exec 151 -- sudo -u postgres psql -tAc "CREATE DATABASE $SCRATCH" 2>/dev/null echo " восстанавливаю в неё" zcat /tmp/audit-dump.sql.gz | pct exec 151 -- sudo -u postgres psql -q -d "$SCRATCH" 2>/dev/null src_tables=$(pct exec 151 -- sudo -u postgres psql -d "$SRC_DB" -tAc \ "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) dst_tables=$(pct exec 151 -- sudo -u postgres psql -d "$SCRATCH" -tAc \ "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) src_rows=$(pct exec 151 -- sudo -u postgres psql -d "$SRC_DB" -tAc \ "SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null) dst_rows=$(pct exec 151 -- sudo -u postgres psql -d "$SCRATCH" -tAc \ "SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null) printf ' таблиц: было %s, стало %s\n' "$src_tables" "$dst_tables" printf ' строк: было %s, стало %s\n' "$src_rows" "$dst_rows" if [ "${src_tables:-0}" = "${dst_tables:-1}" ]; then echo " ✅ ВОССТАНОВЛЕНИЕ РАБОТАЕТ" ROLLBACK_DB="работает" else echo " ❌ РАСХОЖДЕНИЕ — восстановление ненадёжно" ROLLBACK_DB="НЕ РАБОТАЕТ" fi pct exec 151 -- sudo -u postgres psql -tAc "DROP DATABASE $SCRATCH" 2>/dev/null echo " временная база удалена" rm -f /tmp/audit-dump.sql.gz else echo " ❌ не удалось снять выгрузку" ROLLBACK_DB="НЕ РАБОТАЕТ" fi echo echo "── 2.2 ЦЕЛОСТНОСТЬ АРХИВОВ КОНТЕЙНЕРОВ ──" latest=$(ls -t /mnt/backups/dump/*.zst 2>/dev/null | head -1) if [ -n "$latest" ]; then printf ' проверяю: %s (%s)\n' "$(basename "$latest")" "$(du -h "$latest" | cut -f1)" if zstd -t "$latest" 2>/dev/null; then echo " ✅ АРХИВ ЦЕЛЫЙ" ROLLBACK_ARCH="работает" else echo " ❌ АРХИВ ПОВРЕЖДЁН" ROLLBACK_ARCH="НЕ РАБОТАЕТ" fi else echo " ❌ архивов не найдено" ROLLBACK_ARCH="НЕ РАБОТАЕТ" fi echo echo "── 2.3 СНИМОК И ВОЗВРАТ ИЗ НЕГО ──" TEST_CT=160 if pct status "$TEST_CT" >/dev/null 2>&1; then SNAP="audit-check-$(date +%s)" if pct snapshot "$TEST_CT" "$SNAP" --description "проверка отката" >/dev/null 2>&1; then echo " снимок создан" if pct listsnapshot "$TEST_CT" | grep -q "$SNAP"; then echo " снимок виден в списке" fi if pct delsnapshot "$TEST_CT" "$SNAP" >/dev/null 2>&1; then echo " снимок удалён" echo " ✅ СНИМКИ РАБОТАЮТ" ROLLBACK_SNAP="работает" else echo " ❌ снимок не удалился" ROLLBACK_SNAP="НЕ РАБОТАЕТ" fi else echo " ❌ снимок не создался" ROLLBACK_SNAP="НЕ РАБОТАЕТ" fi else echo " контейнер $TEST_CT недоступен — проверка пропущена" ROLLBACK_SNAP="не проверено" fi echo echo "╔══════════════════════════════════════════════════════════╗" echo "║ ИТОГ ПРОВЕРКИ ОТКАТА ║" echo "╚══════════════════════════════════════════════════════════╝" printf ' восстановление базы: %s\n' "${ROLLBACK_DB:-не проверено}" printf ' целостность архивов: %s\n' "${ROLLBACK_ARCH:-не проверено}" printf ' снимки контейнеров: %s\n' "${ROLLBACK_SNAP:-не проверено}"