Files

186 lines
9.6 KiB
Bash
Executable File

#!/bin/bash
# ============================================================
# night-audit.sh — полный аудит перед ночным спринтом
# ============================================================
# Состоит из двух частей:
#
# 1. ОПИСЬ — что сейчас есть: сервисы, базы, копии, наблюдение.
# 2. ПРОВЕРКА ОТКАТА — самое важное. Прежде чем принимать решения
# самостоятельно, нужно доказать, что откат действительно работает.
# Проверяются три механизма:
# * восстановление базы из выгрузки;
# * целостность архивов контейнеров;
# * снимок контейнера и возврат из него.
#
# Ничего не меняет в работающих сервисах. Временные объекты создаёт
# и удаляет за собой.
#
# Запуск: bash night-audit.sh
# ============================================================
set -uo pipefail
. /root/.buryan-monitor.env
export PGPASSWORD
PG=192.168.1.151
DB=buryan_monitoring
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ ЧАСТЬ 1. ОПИСЬ ║"
echo "╚══════════════════════════════════════════════════════════╝"
echo
echo "── 1.1 ХОСТ ──"
printf ' ядер: %s, памяти: %s, своп занят: %s\n' \
"$(nproc)" "$(free -h | awk 'NR==2{print $2}')" "$(free -h | awk 'NR==3{print $3}')"
printf ' пул томов: %s\n' "$(lvs -o data_percent --noheadings 2>/dev/null | tr -d ' ' | head -1)"
printf ' раздел копий: %s\n' "$(df -h /mnt/backups | tail -1 | awk '{print $5" занято, свободно "$4}')"
printf ' корень: %s\n' "$(df -h / | tail -1 | awk '{print $5" занято, свободно "$4}')"
echo
echo "── 1.2 ГОСТИ ──"
run=$(pct list | awk 'NR>1 && $2=="running"' | wc -l)
all=$(pct list | awk 'NR>1' | wc -l)
echo " контейнеров: $run из $all запущено"
echo " виртуалок: $(qm list 2>/dev/null | awk 'NR>1 && $3=="running"' | wc -l)"
echo
echo "── 1.3 СЕРВИСЫ ──"
bash /root/inventory-services.sh 2>/dev/null | tail -8 | sed 's/^/ /'
echo
echo "── 1.4 БАЗЫ ──"
psql -h "$PG" -U buryan_monitor -d "$DB" -c 'SELECT * FROM db_registry_summary;' 2>/dev/null | sed 's/^/ /'
echo " к переносу и в работе (файловые):"
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \
"SELECT ' ' || rpad(service,14) || rpad(ct_id,6) || pg_size_pretty(size_bytes)
FROM db_registry WHERE engine='sqlite' AND status='в работе' ORDER BY size_bytes DESC" 2>/dev/null
echo " кодировка баз:"
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \
"SELECT ' ' || encoding || ': ' || count(*) || ' баз'
FROM db_registry WHERE engine='postgresql' GROUP BY encoding" 2>/dev/null
echo
echo "── 1.5 КОПИИ ──"
echo " расписания:"
for f in /etc/cron.d/lxc-backups /etc/cron.d/buryan-monitor /etc/cron.d/buryan-monitoring; do
[ -f "$f" ] && printf ' %-28s заданий: %s\n' "$(basename "$f")" "$(grep -vcE '^#|^$' "$f")"
done
echo " архивы контейнеров:"
printf ' всего: %s, объём: %s\n' \
"$(ls /mnt/backups/dump/*.zst 2>/dev/null | wc -l)" \
"$(du -sh /mnt/backups/dump 2>/dev/null | cut -f1)"
echo " выгрузки баз:"
ls -t /mnt/backups/postgresql/*.sql.gz 2>/dev/null | head -3 | while read -r f; do
printf ' %s — %s, %s\n' "$(basename "$f")" "$(du -h "$f" | cut -f1)" "$(stat -c %y "$f" | cut -d. -f1)"
done
echo " внешнее хранилище:"
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
restic stats 2>&1 | grep -E 'Snapshots|Total Size|File Count' | sed 's/^/ /'
echo
echo "── 1.6 НАБЛЮДЕНИЕ ──"
printf ' целей в Prometheus: %s\n' \
"$(curl -s -m 10 'http://192.168.1.134:9090/api/v1/targets?state=active' | jq -r '.data.activeTargets|length' 2>/dev/null)"
printf ' проверок по расписанию: диск, сертификаты, пул томов, логи, снимки\n'
echo
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ ЧАСТЬ 2. ПРОВЕРКА ОТКАТА — работает ли он на самом деле ║"
echo "╚══════════════════════════════════════════════════════════╝"
echo
echo "── 2.1 ВОССТАНОВЛЕНИЕ БАЗЫ ИЗ ВЫГРУЗКИ ──"
SCRATCH="audit_restore_$(date +%s)"
SRC_DB="buryan_monitor"
echo " беру свежую выгрузку базы $SRC_DB"
if pct exec 151 -- sudo -u postgres pg_dump "$SRC_DB" 2>/dev/null | gzip > /tmp/audit-dump.sql.gz; then
printf ' выгрузка: %s\n' "$(du -h /tmp/audit-dump.sql.gz | cut -f1)"
echo " создаю временную базу $SCRATCH"
pct exec 151 -- sudo -u postgres psql -tAc "CREATE DATABASE $SCRATCH" 2>/dev/null
echo " восстанавливаю в неё"
zcat /tmp/audit-dump.sql.gz | pct exec 151 -- sudo -u postgres psql -q -d "$SCRATCH" 2>/dev/null
src_tables=$(pct exec 151 -- sudo -u postgres psql -d "$SRC_DB" -tAc \
"SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
dst_tables=$(pct exec 151 -- sudo -u postgres psql -d "$SCRATCH" -tAc \
"SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
src_rows=$(pct exec 151 -- sudo -u postgres psql -d "$SRC_DB" -tAc \
"SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null)
dst_rows=$(pct exec 151 -- sudo -u postgres psql -d "$SCRATCH" -tAc \
"SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null)
printf ' таблиц: было %s, стало %s\n' "$src_tables" "$dst_tables"
printf ' строк: было %s, стало %s\n' "$src_rows" "$dst_rows"
if [ "${src_tables:-0}" = "${dst_tables:-1}" ]; then
echo " ✅ ВОССТАНОВЛЕНИЕ РАБОТАЕТ"
ROLLBACK_DB="работает"
else
echo " ❌ РАСХОЖДЕНИЕ — восстановление ненадёжно"
ROLLBACK_DB="НЕ РАБОТАЕТ"
fi
pct exec 151 -- sudo -u postgres psql -tAc "DROP DATABASE $SCRATCH" 2>/dev/null
echo " временная база удалена"
rm -f /tmp/audit-dump.sql.gz
else
echo " ❌ не удалось снять выгрузку"
ROLLBACK_DB="НЕ РАБОТАЕТ"
fi
echo
echo "── 2.2 ЦЕЛОСТНОСТЬ АРХИВОВ КОНТЕЙНЕРОВ ──"
latest=$(ls -t /mnt/backups/dump/*.zst 2>/dev/null | head -1)
if [ -n "$latest" ]; then
printf ' проверяю: %s (%s)\n' "$(basename "$latest")" "$(du -h "$latest" | cut -f1)"
if zstd -t "$latest" 2>/dev/null; then
echo " ✅ АРХИВ ЦЕЛЫЙ"
ROLLBACK_ARCH="работает"
else
echo " ❌ АРХИВ ПОВРЕЖДЁН"
ROLLBACK_ARCH="НЕ РАБОТАЕТ"
fi
else
echo " ❌ архивов не найдено"
ROLLBACK_ARCH="НЕ РАБОТАЕТ"
fi
echo
echo "── 2.3 СНИМОК И ВОЗВРАТ ИЗ НЕГО ──"
TEST_CT=160
if pct status "$TEST_CT" >/dev/null 2>&1; then
SNAP="audit-check-$(date +%s)"
if pct snapshot "$TEST_CT" "$SNAP" --description "проверка отката" >/dev/null 2>&1; then
echo " снимок создан"
if pct listsnapshot "$TEST_CT" | grep -q "$SNAP"; then
echo " снимок виден в списке"
fi
if pct delsnapshot "$TEST_CT" "$SNAP" >/dev/null 2>&1; then
echo " снимок удалён"
echo " ✅ СНИМКИ РАБОТАЮТ"
ROLLBACK_SNAP="работает"
else
echo " ❌ снимок не удалился"
ROLLBACK_SNAP="НЕ РАБОТАЕТ"
fi
else
echo " ❌ снимок не создался"
ROLLBACK_SNAP="НЕ РАБОТАЕТ"
fi
else
echo " контейнер $TEST_CT недоступен — проверка пропущена"
ROLLBACK_SNAP="не проверено"
fi
echo
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ ИТОГ ПРОВЕРКИ ОТКАТА ║"
echo "╚══════════════════════════════════════════════════════════╝"
printf ' восстановление базы: %s\n' "${ROLLBACK_DB:-не проверено}"
printf ' целостность архивов: %s\n' "${ROLLBACK_ARCH:-не проверено}"
printf ' снимки контейнеров: %s\n' "${ROLLBACK_SNAP:-не проверено}"