186 lines
9.6 KiB
Bash
Executable File
186 lines
9.6 KiB
Bash
Executable File
#!/bin/bash
|
|
# ============================================================
|
|
# night-audit.sh — полный аудит перед ночным спринтом
|
|
# ============================================================
|
|
# Состоит из двух частей:
|
|
#
|
|
# 1. ОПИСЬ — что сейчас есть: сервисы, базы, копии, наблюдение.
|
|
# 2. ПРОВЕРКА ОТКАТА — самое важное. Прежде чем принимать решения
|
|
# самостоятельно, нужно доказать, что откат действительно работает.
|
|
# Проверяются три механизма:
|
|
# * восстановление базы из выгрузки;
|
|
# * целостность архивов контейнеров;
|
|
# * снимок контейнера и возврат из него.
|
|
#
|
|
# Ничего не меняет в работающих сервисах. Временные объекты создаёт
|
|
# и удаляет за собой.
|
|
#
|
|
# Запуск: bash night-audit.sh
|
|
# ============================================================
|
|
set -uo pipefail
|
|
|
|
. /root/.buryan-monitor.env
|
|
export PGPASSWORD
|
|
PG=192.168.1.151
|
|
DB=buryan_monitoring
|
|
|
|
echo "╔══════════════════════════════════════════════════════════╗"
|
|
echo "║ ЧАСТЬ 1. ОПИСЬ ║"
|
|
echo "╚══════════════════════════════════════════════════════════╝"
|
|
|
|
echo
|
|
echo "── 1.1 ХОСТ ──"
|
|
printf ' ядер: %s, памяти: %s, своп занят: %s\n' \
|
|
"$(nproc)" "$(free -h | awk 'NR==2{print $2}')" "$(free -h | awk 'NR==3{print $3}')"
|
|
printf ' пул томов: %s\n' "$(lvs -o data_percent --noheadings 2>/dev/null | tr -d ' ' | head -1)"
|
|
printf ' раздел копий: %s\n' "$(df -h /mnt/backups | tail -1 | awk '{print $5" занято, свободно "$4}')"
|
|
printf ' корень: %s\n' "$(df -h / | tail -1 | awk '{print $5" занято, свободно "$4}')"
|
|
|
|
echo
|
|
echo "── 1.2 ГОСТИ ──"
|
|
run=$(pct list | awk 'NR>1 && $2=="running"' | wc -l)
|
|
all=$(pct list | awk 'NR>1' | wc -l)
|
|
echo " контейнеров: $run из $all запущено"
|
|
echo " виртуалок: $(qm list 2>/dev/null | awk 'NR>1 && $3=="running"' | wc -l)"
|
|
|
|
echo
|
|
echo "── 1.3 СЕРВИСЫ ──"
|
|
bash /root/inventory-services.sh 2>/dev/null | tail -8 | sed 's/^/ /'
|
|
|
|
echo
|
|
echo "── 1.4 БАЗЫ ──"
|
|
psql -h "$PG" -U buryan_monitor -d "$DB" -c 'SELECT * FROM db_registry_summary;' 2>/dev/null | sed 's/^/ /'
|
|
echo " к переносу и в работе (файловые):"
|
|
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \
|
|
"SELECT ' ' || rpad(service,14) || rpad(ct_id,6) || pg_size_pretty(size_bytes)
|
|
FROM db_registry WHERE engine='sqlite' AND status='в работе' ORDER BY size_bytes DESC" 2>/dev/null
|
|
echo " кодировка баз:"
|
|
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \
|
|
"SELECT ' ' || encoding || ': ' || count(*) || ' баз'
|
|
FROM db_registry WHERE engine='postgresql' GROUP BY encoding" 2>/dev/null
|
|
|
|
echo
|
|
echo "── 1.5 КОПИИ ──"
|
|
echo " расписания:"
|
|
for f in /etc/cron.d/lxc-backups /etc/cron.d/buryan-monitor /etc/cron.d/buryan-monitoring; do
|
|
[ -f "$f" ] && printf ' %-28s заданий: %s\n' "$(basename "$f")" "$(grep -vcE '^#|^$' "$f")"
|
|
done
|
|
echo " архивы контейнеров:"
|
|
printf ' всего: %s, объём: %s\n' \
|
|
"$(ls /mnt/backups/dump/*.zst 2>/dev/null | wc -l)" \
|
|
"$(du -sh /mnt/backups/dump 2>/dev/null | cut -f1)"
|
|
echo " выгрузки баз:"
|
|
ls -t /mnt/backups/postgresql/*.sql.gz 2>/dev/null | head -3 | while read -r f; do
|
|
printf ' %s — %s, %s\n' "$(basename "$f")" "$(du -h "$f" | cut -f1)" "$(stat -c %y "$f" | cut -d. -f1)"
|
|
done
|
|
echo " внешнее хранилище:"
|
|
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
|
|
export RESTIC_PASSWORD_FILE="/root/.restic-password"
|
|
restic stats 2>&1 | grep -E 'Snapshots|Total Size|File Count' | sed 's/^/ /'
|
|
|
|
echo
|
|
echo "── 1.6 НАБЛЮДЕНИЕ ──"
|
|
printf ' целей в Prometheus: %s\n' \
|
|
"$(curl -s -m 10 'http://192.168.1.134:9090/api/v1/targets?state=active' | jq -r '.data.activeTargets|length' 2>/dev/null)"
|
|
printf ' проверок по расписанию: диск, сертификаты, пул томов, логи, снимки\n'
|
|
|
|
echo
|
|
echo "╔══════════════════════════════════════════════════════════╗"
|
|
echo "║ ЧАСТЬ 2. ПРОВЕРКА ОТКАТА — работает ли он на самом деле ║"
|
|
echo "╚══════════════════════════════════════════════════════════╝"
|
|
|
|
echo
|
|
echo "── 2.1 ВОССТАНОВЛЕНИЕ БАЗЫ ИЗ ВЫГРУЗКИ ──"
|
|
SCRATCH="audit_restore_$(date +%s)"
|
|
SRC_DB="buryan_monitor"
|
|
|
|
echo " беру свежую выгрузку базы $SRC_DB"
|
|
if pct exec 151 -- sudo -u postgres pg_dump "$SRC_DB" 2>/dev/null | gzip > /tmp/audit-dump.sql.gz; then
|
|
printf ' выгрузка: %s\n' "$(du -h /tmp/audit-dump.sql.gz | cut -f1)"
|
|
|
|
echo " создаю временную базу $SCRATCH"
|
|
pct exec 151 -- sudo -u postgres psql -tAc "CREATE DATABASE $SCRATCH" 2>/dev/null
|
|
|
|
echo " восстанавливаю в неё"
|
|
zcat /tmp/audit-dump.sql.gz | pct exec 151 -- sudo -u postgres psql -q -d "$SCRATCH" 2>/dev/null
|
|
|
|
src_tables=$(pct exec 151 -- sudo -u postgres psql -d "$SRC_DB" -tAc \
|
|
"SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
|
|
dst_tables=$(pct exec 151 -- sudo -u postgres psql -d "$SCRATCH" -tAc \
|
|
"SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
|
|
src_rows=$(pct exec 151 -- sudo -u postgres psql -d "$SRC_DB" -tAc \
|
|
"SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null)
|
|
dst_rows=$(pct exec 151 -- sudo -u postgres psql -d "$SCRATCH" -tAc \
|
|
"SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null)
|
|
|
|
printf ' таблиц: было %s, стало %s\n' "$src_tables" "$dst_tables"
|
|
printf ' строк: было %s, стало %s\n' "$src_rows" "$dst_rows"
|
|
|
|
if [ "${src_tables:-0}" = "${dst_tables:-1}" ]; then
|
|
echo " ✅ ВОССТАНОВЛЕНИЕ РАБОТАЕТ"
|
|
ROLLBACK_DB="работает"
|
|
else
|
|
echo " ❌ РАСХОЖДЕНИЕ — восстановление ненадёжно"
|
|
ROLLBACK_DB="НЕ РАБОТАЕТ"
|
|
fi
|
|
|
|
pct exec 151 -- sudo -u postgres psql -tAc "DROP DATABASE $SCRATCH" 2>/dev/null
|
|
echo " временная база удалена"
|
|
rm -f /tmp/audit-dump.sql.gz
|
|
else
|
|
echo " ❌ не удалось снять выгрузку"
|
|
ROLLBACK_DB="НЕ РАБОТАЕТ"
|
|
fi
|
|
|
|
echo
|
|
echo "── 2.2 ЦЕЛОСТНОСТЬ АРХИВОВ КОНТЕЙНЕРОВ ──"
|
|
latest=$(ls -t /mnt/backups/dump/*.zst 2>/dev/null | head -1)
|
|
if [ -n "$latest" ]; then
|
|
printf ' проверяю: %s (%s)\n' "$(basename "$latest")" "$(du -h "$latest" | cut -f1)"
|
|
if zstd -t "$latest" 2>/dev/null; then
|
|
echo " ✅ АРХИВ ЦЕЛЫЙ"
|
|
ROLLBACK_ARCH="работает"
|
|
else
|
|
echo " ❌ АРХИВ ПОВРЕЖДЁН"
|
|
ROLLBACK_ARCH="НЕ РАБОТАЕТ"
|
|
fi
|
|
else
|
|
echo " ❌ архивов не найдено"
|
|
ROLLBACK_ARCH="НЕ РАБОТАЕТ"
|
|
fi
|
|
|
|
echo
|
|
echo "── 2.3 СНИМОК И ВОЗВРАТ ИЗ НЕГО ──"
|
|
TEST_CT=160
|
|
if pct status "$TEST_CT" >/dev/null 2>&1; then
|
|
SNAP="audit-check-$(date +%s)"
|
|
if pct snapshot "$TEST_CT" "$SNAP" --description "проверка отката" >/dev/null 2>&1; then
|
|
echo " снимок создан"
|
|
if pct listsnapshot "$TEST_CT" | grep -q "$SNAP"; then
|
|
echo " снимок виден в списке"
|
|
fi
|
|
if pct delsnapshot "$TEST_CT" "$SNAP" >/dev/null 2>&1; then
|
|
echo " снимок удалён"
|
|
echo " ✅ СНИМКИ РАБОТАЮТ"
|
|
ROLLBACK_SNAP="работает"
|
|
else
|
|
echo " ❌ снимок не удалился"
|
|
ROLLBACK_SNAP="НЕ РАБОТАЕТ"
|
|
fi
|
|
else
|
|
echo " ❌ снимок не создался"
|
|
ROLLBACK_SNAP="НЕ РАБОТАЕТ"
|
|
fi
|
|
else
|
|
echo " контейнер $TEST_CT недоступен — проверка пропущена"
|
|
ROLLBACK_SNAP="не проверено"
|
|
fi
|
|
|
|
echo
|
|
echo "╔══════════════════════════════════════════════════════════╗"
|
|
echo "║ ИТОГ ПРОВЕРКИ ОТКАТА ║"
|
|
echo "╚══════════════════════════════════════════════════════════╝"
|
|
printf ' восстановление базы: %s\n' "${ROLLBACK_DB:-не проверено}"
|
|
printf ' целостность архивов: %s\n' "${ROLLBACK_ARCH:-не проверено}"
|
|
printf ' снимки контейнеров: %s\n' "${ROLLBACK_SNAP:-не проверено}"
|