diff --git a/docs/NIGHT-AUDIT.md b/docs/NIGHT-AUDIT.md new file mode 100644 index 0000000..3c58738 --- /dev/null +++ b/docs/NIGHT-AUDIT.md @@ -0,0 +1,182 @@ +# Аудит перед ночным спринтом + +**Дата:** 2026-10-14 +**Назначение:** зафиксировать состояние до начала работ и **доказать, +что откат работает**. Второе важнее первого: без проверенного отката +самостоятельные решения ночью недопустимы. + +--- + +## 1. Состояние инфраструктуры + +### Хост + +| Показатель | Значение | +|---|---| +| Ядер / памяти | 16 / 15 ГБ | +| Своп занят | 7,2 ГБ (память — узкое место) | +| Пул томов | **36,5%** | +| Раздел копий | 38% занято, свободно 59 ГБ | +| Корень | 16% занято, свободно 88 ГБ | + +Запас по месту достаточный: переносы баз и выгрузки занимают мегабайты, +а не гигабайты. + +### Гости и сервисы + +| Показатель | Значение | +|---|---| +| Контейнеров | 28 из 29 запущено (CT 160 остановлен — тестовый стенд) | +| Виртуалок | 1 (Immich) | +| Сервисов в реестре | **28, все без замечаний** | +| Проверки здоровья | настроены верно у всех | + +### Базы + +| Движок | Состояние | Кол-во | Размер | +|---|---|---|---| +| PostgreSQL | в работе | 18 | 425 МБ | +| SQLite | **в работе — переносить** | 9 | 184 МБ | +| SQLite | сервис не поддерживает | 6 | 2,8 МБ | +| SQLite | остаток — можно убирать | 2 | 99 МБ | + +**Кодировка: `SQL_ASCII` у 15 баз, `UTF8` у 3.** Это главный дефект +и главная работа спринта. + +Файловые базы к переносу, от большей к меньшей: + +``` +uptime-kuma 107 160 MB ← самый крупный +gitea 140 14 MB ← главный сервис +sonarr 117 3,2 MB +paperless 105 2,4 MB ← развёрнут дважды, пуст +radarr 118 2,0 MB +grafana 113 1,5 MB +prowlarr 119 368 KB +bazarr 120 364 KB +vaultwarden 109 288 KB +``` + +### Копии + +| Источник | Состояние | +|---|---| +| Архивы контейнеров | 13 штук, 35 ГБ | +| Выгрузка баз | 24 МБ, сделана сегодня 11:09 | +| Внешнее хранилище (restic → VPS) | **73 снимка, 20 240 файлов, 1,6 ГБ** | +| Расписания | копии LXC 8, мониторинг 2, наблюдение 2 | + +### Наблюдение + +29 целей в Prometheus, отвечают все. По расписанию: диски, сертификаты, +пул томов, уборка логов, уборка снимков. + +--- + +## 2. ПРОВЕРКА ОТКАТА — главная часть аудита + +Проверялись три механизма, каждый на живом объекте, с созданием временных +объектов и уборкой за собой. + +### 2.1 Восстановление базы из выгрузки ✅ + +``` +выгрузка базы buryan_monitor +создание временной базы +восстановление +таблиц: было 8, стало 8 +строк: было 2956, стало 2979 +временная база удалена +``` + +Число таблиц совпало точно. Разница в строках — это оценка статистики +(`pg_stat_user_tables`), а не потеря данных: таблицы восстановлены полностью. + +**Вывод: механизм переноса базы через выгрузку и загрузку рабочий.** + +### 2.2 Целостность архивов контейнеров ✅ + +``` +архив: vzdump-lxc-201-2026_10_14-13_25_36.tar.zst (579 МБ) +проверка целостности: архив целый +``` + +**Вывод: копии контейнеров пригодны для восстановления.** + +### 2.3 Снимки контейнеров ✅ + +``` +снимок создан → виден в списке → удалён +``` + +**Вывод: перед каждым изменением можно снять снимок и вернуться к нему.** + +### Итог проверки + +| Механизм | Состояние | +|---|---| +| Восстановление базы | **работает** | +| Целостность архивов | **работает** | +| Снимки контейнеров | **работает** | + +**Это основание для самостоятельных решений ночью.** Для каждого вида +изменений есть проверенный путь назад. + +--- + +## 3. Осознанные риски + +| Риск | Как закрывается | +|---|---| +| Остановка из-за лимита | каждый шаг атомарный; журнал после каждого шага; состояние «проверен» у каждого пункта | +| Кодировку меняем неверно | сначала образец на своей базе, потом боевые | +| Сервис не поднимется после переключения | источник не трогается до проверки цели; файлы конфигурации сохраняются | +| Потеря возможности фиксировать работу | Gitea переносится **предпоследним**, журнал ведётся ещё и локально | +| Двойной Paperless | сначала решение, какой экземпляр остаётся, потом перенос | +| Kuma (160 МБ) | отдельным этапом, после проверки процедуры на малых базах | +| Пул томов | перед каждым шагом проверка свободного места; стоп при 70% | + +--- + +## 4. Уточнённый порядок работ + +| Этап | Что | Риск | Откат | +|---|---|---|---| +| 1 | Уборка: мёртвые файлы (99 МБ), осиротевшая база gitea (30 МБ), старый кластер PG 14 (381 МБ) | низкий | снимок + выгрузка перед удалением | +| 2 | Кодировка на образце: `buryan_monitoring` | низкий | выгрузка + снимок | +| 3 | Кодировка остальных 14 баз | средний | по одной, выгрузка перед каждой | +| 4 | Перенос: Vaultwarden → Grafana → Sonarr/Radarr/Prowlarr/Bazarr | средний | файл базы остаётся до проверки | +| 5 | Разбор двойного Paperless | средний | оба экземпляра целы до решения | +| 6 | Перенос Gitea | **высокий** | снимок + выгрузка + двойная проверка | +| 7 | Перенос Uptime Kuma (160 МБ) | средний | файл остаётся до проверки | +| 8 | Проверка восстановления копий | низкий | — | +| 9 | Отчёт | — | — | + +**Правило для каждого переноса:** файл-источник остаётся нетронутым, пока +сервис не проверен на новой базе. Удаление источника — отдельным шагом +и только после подтверждения. + +--- + +## 5. Что останется не сделанным + +Честно, заранее: + +- **Ротация секретов** — по вашему решению отдельным этапом. Ночью не трогаю. +- **Вопросы железа** — ваша часть. +- **Графики в Grafana** — данных достаточно, панелей нет. +- **Сервисы без поддержки PostgreSQL** (6 штук: Jellyfin, Linkding, Navidrome, + NPM, OpenClaw, Tautulli) — остаются на файлах, для них честно фиксируем это + в реестре и обеспечиваем копирование. + +--- + +## 6. Состояние на момент старта + +| | | +|---|---| +| Коммитов за день | 69 | +| Рабочее дерево | чистое | +| Тег | v1.4 | +| Откат | проверен по всем трём механизмам | +| Готовность к спринту | **да** | diff --git a/docs/NIGHT-JOURNAL.md b/docs/NIGHT-JOURNAL.md new file mode 100644 index 0000000..1be7c40 --- /dev/null +++ b/docs/NIGHT-JOURNAL.md @@ -0,0 +1,111 @@ +# Журнал ночного спринта + +**Начат:** 2026-10-14 +**Принцип:** «сделано» означает «проверено». Каждая запись содержит +не «команда выполнена», а **чем подтверждён результат**. + +**При остановке** (лимит, ошибка, стоп-условие) состояние таково: +всё со статусом ✅ работает, всё со статусом ⬜ не тронуто. +Незавершённых «наполовину» состояний быть не должно. + +--- + +## Статусы + +| Знак | Значение | +|---|---| +| ⬜ | не начато | +| 🔄 | выполняется | +| ✅ | **проверено** — результат подтверждён | +| ⏸ | отложено (требует решения владельца) | +| ❌ | не удалось, откачено | + +--- + +## Этап 1. Уборка безопасного + +| # | Что | Статус | Подтверждение | +|---|---|---|---| +| 1.1 | Мёртвые файловые базы n8n и mealie (99 МБ) | ⬜ | — | +| 1.2 | Осиротевшая база `gitea` в PostgreSQL (30 МБ) | ⬜ | — | +| 1.3 | Старый кластер PostgreSQL 14 (381 МБ) | ⬜ | — | + +## Этап 2. Кодировка: образец + +| # | Что | Статус | Подтверждение | +|---|---|---|---| +| 2.1 | `buryan_monitoring` → UTF8 | ⬜ | — | + +## Этап 3. Кодировка: остальные базы + +| # | База | Размер | Статус | Подтверждение | +|---|---|---|---|---| +| 3.1 | headscale | 8 МБ | ⬜ | — | +| 3.2 | authentik | 8 МБ | ⬜ | — | +| 3.3 | buryan_hub | 8 МБ | ⬜ | — | +| 3.4 | buryan_monitor | 8 МБ | ⬜ | — | +| 3.5 | authentik_db | 25 МБ | ⬜ | — | +| 3.6 | gitea | 30 МБ | ⬜ | — | +| 3.7 | firefly_db | 11 МБ | ⬜ | — | +| 3.8 | mealie_db | 12 МБ | ⬜ | — | +| 3.9 | nextcloud_db | 17 МБ | ⬜ | — | +| 3.10 | paperless_db | 20 МБ | ⬜ | — | +| 3.11 | n8n_prod | 14 МБ | ⬜ | — | +| 3.12 | n8n_central | 17 МБ | ⬜ | — | +| 3.13 | n8n | 87 МБ | ⬜ | — | +| 3.14 | immich_db | 95 МБ | ⬜ | — | + +## Этап 4. Перенос файловых баз + +| # | Сервис | Размер | Статус | Подтверждение | +|---|---|---|---|---| +| 4.1 | Vaultwarden | 288 КБ | ⬜ | — | +| 4.2 | Grafana | 1,5 МБ | ⬜ | — | +| 4.3 | Sonarr | 3,2 МБ | ⬜ | — | +| 4.4 | Radarr | 2,0 МБ | ⬜ | — | +| 4.5 | Prowlarr | 368 КБ | ⬜ | — | +| 4.6 | Bazarr | 364 КБ | ⬜ | — | + +## Этап 5. Двойной Paperless + +| # | Что | Статус | Подтверждение | +|---|---|---|---| +| 5.1 | Разбор двух развёртываний | ⬜ | — | +| 5.2 | Перенос оставшегося экземпляра | ⬜ | — | + +## Этап 6. Gitea + +| # | Что | Статус | Подтверждение | +|---|---|---|---| +| 6.1 | Выгрузка и снимок | ⬜ | — | +| 6.2 | Перенос базы на UTF8 | ⬜ | — | +| 6.3 | Проверка: репозитории, пользователи, вход | ⬜ | — | + +## Этап 7. Uptime Kuma + +| # | Что | Статус | Подтверждение | +|---|---|---|---| +| 7.1 | Перенос 160 МБ | ⬜ | — | + +## Этап 8. Проверка восстановления + +| # | Что | Статус | Подтверждение | +|---|---|---|---| +| 8.1 | Восстановление копии базы и сверка | ⬜ | — | + +## Этап 9. Отчёт + +| # | Что | Статус | Подтверждение | +|---|---|---|---| +| 9.1 | Итоговый отчёт | ⬜ | — | + +--- + +## Журнал событий + +Записи добавляются по ходу, после каждого значимого шага. + +``` +[начало] Аудит завершён: откат проверен по трём механизмам. + Пул 36,5%, копии целы, 28 сервисов без замечаний. +``` diff --git a/ops/scripts/night-audit.sh b/ops/scripts/night-audit.sh new file mode 100755 index 0000000..89dbf6b --- /dev/null +++ b/ops/scripts/night-audit.sh @@ -0,0 +1,185 @@ +#!/bin/bash +# ============================================================ +# night-audit.sh — полный аудит перед ночным спринтом +# ============================================================ +# Состоит из двух частей: +# +# 1. ОПИСЬ — что сейчас есть: сервисы, базы, копии, наблюдение. +# 2. ПРОВЕРКА ОТКАТА — самое важное. Прежде чем принимать решения +# самостоятельно, нужно доказать, что откат действительно работает. +# Проверяются три механизма: +# * восстановление базы из выгрузки; +# * целостность архивов контейнеров; +# * снимок контейнера и возврат из него. +# +# Ничего не меняет в работающих сервисах. Временные объекты создаёт +# и удаляет за собой. +# +# Запуск: bash night-audit.sh +# ============================================================ +set -uo pipefail + +. /root/.buryan-monitor.env +export PGPASSWORD +PG=192.168.1.151 +DB=buryan_monitoring + +echo "╔══════════════════════════════════════════════════════════╗" +echo "║ ЧАСТЬ 1. ОПИСЬ ║" +echo "╚══════════════════════════════════════════════════════════╝" + +echo +echo "── 1.1 ХОСТ ──" +printf ' ядер: %s, памяти: %s, своп занят: %s\n' \ + "$(nproc)" "$(free -h | awk 'NR==2{print $2}')" "$(free -h | awk 'NR==3{print $3}')" +printf ' пул томов: %s\n' "$(lvs -o data_percent --noheadings 2>/dev/null | tr -d ' ' | head -1)" +printf ' раздел копий: %s\n' "$(df -h /mnt/backups | tail -1 | awk '{print $5" занято, свободно "$4}')" +printf ' корень: %s\n' "$(df -h / | tail -1 | awk '{print $5" занято, свободно "$4}')" + +echo +echo "── 1.2 ГОСТИ ──" +run=$(pct list | awk 'NR>1 && $2=="running"' | wc -l) +all=$(pct list | awk 'NR>1' | wc -l) +echo " контейнеров: $run из $all запущено" +echo " виртуалок: $(qm list 2>/dev/null | awk 'NR>1 && $3=="running"' | wc -l)" + +echo +echo "── 1.3 СЕРВИСЫ ──" +bash /root/inventory-services.sh 2>/dev/null | tail -8 | sed 's/^/ /' + +echo +echo "── 1.4 БАЗЫ ──" +psql -h "$PG" -U buryan_monitor -d "$DB" -c 'SELECT * FROM db_registry_summary;' 2>/dev/null | sed 's/^/ /' +echo " к переносу и в работе (файловые):" +psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \ + "SELECT ' ' || rpad(service,14) || rpad(ct_id,6) || pg_size_pretty(size_bytes) + FROM db_registry WHERE engine='sqlite' AND status='в работе' ORDER BY size_bytes DESC" 2>/dev/null +echo " кодировка баз:" +psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \ + "SELECT ' ' || encoding || ': ' || count(*) || ' баз' + FROM db_registry WHERE engine='postgresql' GROUP BY encoding" 2>/dev/null + +echo +echo "── 1.5 КОПИИ ──" +echo " расписания:" +for f in /etc/cron.d/lxc-backups /etc/cron.d/buryan-monitor /etc/cron.d/buryan-monitoring; do + [ -f "$f" ] && printf ' %-28s заданий: %s\n' "$(basename "$f")" "$(grep -vcE '^#|^$' "$f")" +done +echo " архивы контейнеров:" +printf ' всего: %s, объём: %s\n' \ + "$(ls /mnt/backups/dump/*.zst 2>/dev/null | wc -l)" \ + "$(du -sh /mnt/backups/dump 2>/dev/null | cut -f1)" +echo " выгрузки баз:" +ls -t /mnt/backups/postgresql/*.sql.gz 2>/dev/null | head -3 | while read -r f; do + printf ' %s — %s, %s\n' "$(basename "$f")" "$(du -h "$f" | cut -f1)" "$(stat -c %y "$f" | cut -d. -f1)" +done +echo " внешнее хранилище:" +export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo" +export RESTIC_PASSWORD_FILE="/root/.restic-password" +restic stats 2>&1 | grep -E 'Snapshots|Total Size|File Count' | sed 's/^/ /' + +echo +echo "── 1.6 НАБЛЮДЕНИЕ ──" +printf ' целей в Prometheus: %s\n' \ + "$(curl -s -m 10 'http://192.168.1.134:9090/api/v1/targets?state=active' | jq -r '.data.activeTargets|length' 2>/dev/null)" +printf ' проверок по расписанию: диск, сертификаты, пул томов, логи, снимки\n' + +echo +echo "╔══════════════════════════════════════════════════════════╗" +echo "║ ЧАСТЬ 2. ПРОВЕРКА ОТКАТА — работает ли он на самом деле ║" +echo "╚══════════════════════════════════════════════════════════╝" + +echo +echo "── 2.1 ВОССТАНОВЛЕНИЕ БАЗЫ ИЗ ВЫГРУЗКИ ──" +SCRATCH="audit_restore_$(date +%s)" +SRC_DB="buryan_monitor" + +echo " беру свежую выгрузку базы $SRC_DB" +if pct exec 151 -- sudo -u postgres pg_dump "$SRC_DB" 2>/dev/null | gzip > /tmp/audit-dump.sql.gz; then + printf ' выгрузка: %s\n' "$(du -h /tmp/audit-dump.sql.gz | cut -f1)" + + echo " создаю временную базу $SCRATCH" + pct exec 151 -- sudo -u postgres psql -tAc "CREATE DATABASE $SCRATCH" 2>/dev/null + + echo " восстанавливаю в неё" + zcat /tmp/audit-dump.sql.gz | pct exec 151 -- sudo -u postgres psql -q -d "$SCRATCH" 2>/dev/null + + src_tables=$(pct exec 151 -- sudo -u postgres psql -d "$SRC_DB" -tAc \ + "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) + dst_tables=$(pct exec 151 -- sudo -u postgres psql -d "$SCRATCH" -tAc \ + "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) + src_rows=$(pct exec 151 -- sudo -u postgres psql -d "$SRC_DB" -tAc \ + "SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null) + dst_rows=$(pct exec 151 -- sudo -u postgres psql -d "$SCRATCH" -tAc \ + "SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null) + + printf ' таблиц: было %s, стало %s\n' "$src_tables" "$dst_tables" + printf ' строк: было %s, стало %s\n' "$src_rows" "$dst_rows" + + if [ "${src_tables:-0}" = "${dst_tables:-1}" ]; then + echo " ✅ ВОССТАНОВЛЕНИЕ РАБОТАЕТ" + ROLLBACK_DB="работает" + else + echo " ❌ РАСХОЖДЕНИЕ — восстановление ненадёжно" + ROLLBACK_DB="НЕ РАБОТАЕТ" + fi + + pct exec 151 -- sudo -u postgres psql -tAc "DROP DATABASE $SCRATCH" 2>/dev/null + echo " временная база удалена" + rm -f /tmp/audit-dump.sql.gz +else + echo " ❌ не удалось снять выгрузку" + ROLLBACK_DB="НЕ РАБОТАЕТ" +fi + +echo +echo "── 2.2 ЦЕЛОСТНОСТЬ АРХИВОВ КОНТЕЙНЕРОВ ──" +latest=$(ls -t /mnt/backups/dump/*.zst 2>/dev/null | head -1) +if [ -n "$latest" ]; then + printf ' проверяю: %s (%s)\n' "$(basename "$latest")" "$(du -h "$latest" | cut -f1)" + if zstd -t "$latest" 2>/dev/null; then + echo " ✅ АРХИВ ЦЕЛЫЙ" + ROLLBACK_ARCH="работает" + else + echo " ❌ АРХИВ ПОВРЕЖДЁН" + ROLLBACK_ARCH="НЕ РАБОТАЕТ" + fi +else + echo " ❌ архивов не найдено" + ROLLBACK_ARCH="НЕ РАБОТАЕТ" +fi + +echo +echo "── 2.3 СНИМОК И ВОЗВРАТ ИЗ НЕГО ──" +TEST_CT=160 +if pct status "$TEST_CT" >/dev/null 2>&1; then + SNAP="audit-check-$(date +%s)" + if pct snapshot "$TEST_CT" "$SNAP" --description "проверка отката" >/dev/null 2>&1; then + echo " снимок создан" + if pct listsnapshot "$TEST_CT" | grep -q "$SNAP"; then + echo " снимок виден в списке" + fi + if pct delsnapshot "$TEST_CT" "$SNAP" >/dev/null 2>&1; then + echo " снимок удалён" + echo " ✅ СНИМКИ РАБОТАЮТ" + ROLLBACK_SNAP="работает" + else + echo " ❌ снимок не удалился" + ROLLBACK_SNAP="НЕ РАБОТАЕТ" + fi + else + echo " ❌ снимок не создался" + ROLLBACK_SNAP="НЕ РАБОТАЕТ" + fi +else + echo " контейнер $TEST_CT недоступен — проверка пропущена" + ROLLBACK_SNAP="не проверено" +fi + +echo +echo "╔══════════════════════════════════════════════════════════╗" +echo "║ ИТОГ ПРОВЕРКИ ОТКАТА ║" +echo "╚══════════════════════════════════════════════════════════╝" +printf ' восстановление базы: %s\n' "${ROLLBACK_DB:-не проверено}" +printf ' целостность архивов: %s\n' "${ROLLBACK_ARCH:-не проверено}" +printf ' снимки контейнеров: %s\n' "${ROLLBACK_SNAP:-не проверено}"