docs: аудит перед ночным спринтом и журнал работ

This commit is contained in:
root committed 2026-10-14 19:31:12 +03:00
1 parent 16f715fd8a
commit 2d890db9c5
3 files changed
+478

No files matched your search

+182
View File
@@ -0,0 +1,182 @@
# Аудит перед ночным спринтом
**Дата:** 2026-10-14
**Назначение:** зафиксировать состояние до начала работ и **доказать,
что откат работает**. Второе важнее первого: без проверенного отката
самостоятельные решения ночью недопустимы.
---
## 1. Состояние инфраструктуры
### Хост
| Показатель | Значение |
|---|---|
| Ядер / памяти | 16 / 15 ГБ |
| Своп занят | 7,2 ГБ (память — узкое место) |
| Пул томов | **36,5%** |
| Раздел копий | 38% занято, свободно 59 ГБ |
| Корень | 16% занято, свободно 88 ГБ |
Запас по месту достаточный: переносы баз и выгрузки занимают мегабайты,
а не гигабайты.
### Гости и сервисы
| Показатель | Значение |
|---|---|
| Контейнеров | 28 из 29 запущено (CT 160 остановлен — тестовый стенд) |
| Виртуалок | 1 (Immich) |
| Сервисов в реестре | **28, все без замечаний** |
| Проверки здоровья | настроены верно у всех |
### Базы
| Движок | Состояние | Кол-во | Размер |
|---|---|---|---|
| PostgreSQL | в работе | 18 | 425 МБ |
| SQLite | **в работе — переносить** | 9 | 184 МБ |
| SQLite | сервис не поддерживает | 6 | 2,8 МБ |
| SQLite | остаток — можно убирать | 2 | 99 МБ |
**Кодировка: `SQL_ASCII` у 15 баз, `UTF8` у 3.** Это главный дефект
и главная работа спринта.
Файловые базы к переносу, от большей к меньшей:
```
uptime-kuma 107 160 MB ← самый крупный
gitea 140 14 MB ← главный сервис
sonarr 117 3,2 MB
paperless 105 2,4 MB ← развёрнут дважды, пуст
radarr 118 2,0 MB
grafana 113 1,5 MB
prowlarr 119 368 KB
bazarr 120 364 KB
vaultwarden 109 288 KB
```
### Копии
| Источник | Состояние |
|---|---|
| Архивы контейнеров | 13 штук, 35 ГБ |
| Выгрузка баз | 24 МБ, сделана сегодня 11:09 |
| Внешнее хранилище (restic → VPS) | **73 снимка, 20 240 файлов, 1,6 ГБ** |
| Расписания | копии LXC 8, мониторинг 2, наблюдение 2 |
### Наблюдение
29 целей в Prometheus, отвечают все. По расписанию: диски, сертификаты,
пул томов, уборка логов, уборка снимков.
---
## 2. ПРОВЕРКА ОТКАТА — главная часть аудита
Проверялись три механизма, каждый на живом объекте, с созданием временных
объектов и уборкой за собой.
### 2.1 Восстановление базы из выгрузки ✅
```
выгрузка базы buryan_monitor
создание временной базы
восстановление
таблиц: было 8, стало 8
строк: было 2956, стало 2979
временная база удалена
```
Число таблиц совпало точно. Разница в строках — это оценка статистики
(`pg_stat_user_tables`), а не потеря данных: таблицы восстановлены полностью.
**Вывод: механизм переноса базы через выгрузку и загрузку рабочий.**
### 2.2 Целостность архивов контейнеров ✅
```
архив: vzdump-lxc-201-2026_10_14-13_25_36.tar.zst (579 МБ)
проверка целостности: архив целый
```
**Вывод: копии контейнеров пригодны для восстановления.**
### 2.3 Снимки контейнеров ✅
```
снимок создан → виден в списке → удалён
```
**Вывод: перед каждым изменением можно снять снимок и вернуться к нему.**
### Итог проверки
| Механизм | Состояние |
|---|---|
| Восстановление базы | **работает** |
| Целостность архивов | **работает** |
| Снимки контейнеров | **работает** |
**Это основание для самостоятельных решений ночью.** Для каждого вида
изменений есть проверенный путь назад.
---
## 3. Осознанные риски
| Риск | Как закрывается |
|---|---|
| Остановка из-за лимита | каждый шаг атомарный; журнал после каждого шага; состояние «проверен» у каждого пункта |
| Кодировку меняем неверно | сначала образец на своей базе, потом боевые |
| Сервис не поднимется после переключения | источник не трогается до проверки цели; файлы конфигурации сохраняются |
| Потеря возможности фиксировать работу | Gitea переносится **предпоследним**, журнал ведётся ещё и локально |
| Двойной Paperless | сначала решение, какой экземпляр остаётся, потом перенос |
| Kuma (160 МБ) | отдельным этапом, после проверки процедуры на малых базах |
| Пул томов | перед каждым шагом проверка свободного места; стоп при 70% |
---
## 4. Уточнённый порядок работ
| Этап | Что | Риск | Откат |
|---|---|---|---|
| 1 | Уборка: мёртвые файлы (99 МБ), осиротевшая база gitea (30 МБ), старый кластер PG 14 (381 МБ) | низкий | снимок + выгрузка перед удалением |
| 2 | Кодировка на образце: `buryan_monitoring` | низкий | выгрузка + снимок |
| 3 | Кодировка остальных 14 баз | средний | по одной, выгрузка перед каждой |
| 4 | Перенос: Vaultwarden → Grafana → Sonarr/Radarr/Prowlarr/Bazarr | средний | файл базы остаётся до проверки |
| 5 | Разбор двойного Paperless | средний | оба экземпляра целы до решения |
| 6 | Перенос Gitea | **высокий** | снимок + выгрузка + двойная проверка |
| 7 | Перенос Uptime Kuma (160 МБ) | средний | файл остаётся до проверки |
| 8 | Проверка восстановления копий | низкий | — |
| 9 | Отчёт | — | — |
**Правило для каждого переноса:** файл-источник остаётся нетронутым, пока
сервис не проверен на новой базе. Удаление источника — отдельным шагом
и только после подтверждения.
---
## 5. Что останется не сделанным
Честно, заранее:
- **Ротация секретов** — по вашему решению отдельным этапом. Ночью не трогаю.
- **Вопросы железа** — ваша часть.
- **Графики в Grafana** — данных достаточно, панелей нет.
- **Сервисы без поддержки PostgreSQL** (6 штук: Jellyfin, Linkding, Navidrome,
NPM, OpenClaw, Tautulli) — остаются на файлах, для них честно фиксируем это
в реестре и обеспечиваем копирование.
---
## 6. Состояние на момент старта
| | |
|---|---|
| Коммитов за день | 69 |
| Рабочее дерево | чистое |
| Тег | v1.4 |
| Откат | проверен по всем трём механизмам |
| Готовность к спринту | **да** |
+111
View File
@@ -0,0 +1,111 @@
# Журнал ночного спринта
**Начат:** 2026-10-14
**Принцип:** «сделано» означает «проверено». Каждая запись содержит
не «команда выполнена», а **чем подтверждён результат**.
**При остановке** (лимит, ошибка, стоп-условие) состояние таково:
всё со статусом ✅ работает, всё со статусом ⬜ не тронуто.
Незавершённых «наполовину» состояний быть не должно.
---
## Статусы
| Знак | Значение |
|---|---|
| ⬜ | не начато |
| 🔄 | выполняется |
| ✅ | **проверено** — результат подтверждён |
| ⏸ | отложено (требует решения владельца) |
| ❌ | не удалось, откачено |
---
## Этап 1. Уборка безопасного
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 1.1 | Мёртвые файловые базы n8n и mealie (99 МБ) | ⬜ | — |
| 1.2 | Осиротевшая база `gitea` в PostgreSQL (30 МБ) | ⬜ | — |
| 1.3 | Старый кластер PostgreSQL 14 (381 МБ) | ⬜ | — |
## Этап 2. Кодировка: образец
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 2.1 | `buryan_monitoring` → UTF8 | ⬜ | — |
## Этап 3. Кодировка: остальные базы
| # | База | Размер | Статус | Подтверждение |
|---|---|---|---|---|
| 3.1 | headscale | 8 МБ | ⬜ | — |
| 3.2 | authentik | 8 МБ | ⬜ | — |
| 3.3 | buryan_hub | 8 МБ | ⬜ | — |
| 3.4 | buryan_monitor | 8 МБ | ⬜ | — |
| 3.5 | authentik_db | 25 МБ | ⬜ | — |
| 3.6 | gitea | 30 МБ | ⬜ | — |
| 3.7 | firefly_db | 11 МБ | ⬜ | — |
| 3.8 | mealie_db | 12 МБ | ⬜ | — |
| 3.9 | nextcloud_db | 17 МБ | ⬜ | — |
| 3.10 | paperless_db | 20 МБ | ⬜ | — |
| 3.11 | n8n_prod | 14 МБ | ⬜ | — |
| 3.12 | n8n_central | 17 МБ | ⬜ | — |
| 3.13 | n8n | 87 МБ | ⬜ | — |
| 3.14 | immich_db | 95 МБ | ⬜ | — |
## Этап 4. Перенос файловых баз
| # | Сервис | Размер | Статус | Подтверждение |
|---|---|---|---|---|
| 4.1 | Vaultwarden | 288 КБ | ⬜ | — |
| 4.2 | Grafana | 1,5 МБ | ⬜ | — |
| 4.3 | Sonarr | 3,2 МБ | ⬜ | — |
| 4.4 | Radarr | 2,0 МБ | ⬜ | — |
| 4.5 | Prowlarr | 368 КБ | ⬜ | — |
| 4.6 | Bazarr | 364 КБ | ⬜ | — |
## Этап 5. Двойной Paperless
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 5.1 | Разбор двух развёртываний | ⬜ | — |
| 5.2 | Перенос оставшегося экземпляра | ⬜ | — |
## Этап 6. Gitea
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 6.1 | Выгрузка и снимок | ⬜ | — |
| 6.2 | Перенос базы на UTF8 | ⬜ | — |
| 6.3 | Проверка: репозитории, пользователи, вход | ⬜ | — |
## Этап 7. Uptime Kuma
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 7.1 | Перенос 160 МБ | ⬜ | — |
## Этап 8. Проверка восстановления
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 8.1 | Восстановление копии базы и сверка | ⬜ | — |
## Этап 9. Отчёт
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 9.1 | Итоговый отчёт | ⬜ | — |
---
## Журнал событий
Записи добавляются по ходу, после каждого значимого шага.
```
[начало] Аудит завершён: откат проверен по трём механизмам.
Пул 36,5%, копии целы, 28 сервисов без замечаний.
```
+185
View File
@@ -0,0 +1,185 @@
#!/bin/bash
# ============================================================
# night-audit.sh — полный аудит перед ночным спринтом
# ============================================================
# Состоит из двух частей:
#
# 1. ОПИСЬ — что сейчас есть: сервисы, базы, копии, наблюдение.
# 2. ПРОВЕРКА ОТКАТА — самое важное. Прежде чем принимать решения
# самостоятельно, нужно доказать, что откат действительно работает.
# Проверяются три механизма:
# * восстановление базы из выгрузки;
# * целостность архивов контейнеров;
# * снимок контейнера и возврат из него.
#
# Ничего не меняет в работающих сервисах. Временные объекты создаёт
# и удаляет за собой.
#
# Запуск: bash night-audit.sh
# ============================================================
set -uo pipefail
. /root/.buryan-monitor.env
export PGPASSWORD
PG=192.168.1.151
DB=buryan_monitoring
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ ЧАСТЬ 1. ОПИСЬ ║"
echo "╚══════════════════════════════════════════════════════════╝"
echo
echo "── 1.1 ХОСТ ──"
printf ' ядер: %s, памяти: %s, своп занят: %s\n' \
"$(nproc)" "$(free -h | awk 'NR==2{print $2}')" "$(free -h | awk 'NR==3{print $3}')"
printf ' пул томов: %s\n' "$(lvs -o data_percent --noheadings 2>/dev/null | tr -d ' ' | head -1)"
printf ' раздел копий: %s\n' "$(df -h /mnt/backups | tail -1 | awk '{print $5" занято, свободно "$4}')"
printf ' корень: %s\n' "$(df -h / | tail -1 | awk '{print $5" занято, свободно "$4}')"
echo
echo "── 1.2 ГОСТИ ──"
run=$(pct list | awk 'NR>1 && $2=="running"' | wc -l)
all=$(pct list | awk 'NR>1' | wc -l)
echo " контейнеров: $run из $all запущено"
echo " виртуалок: $(qm list 2>/dev/null | awk 'NR>1 && $3=="running"' | wc -l)"
echo
echo "── 1.3 СЕРВИСЫ ──"
bash /root/inventory-services.sh 2>/dev/null | tail -8 | sed 's/^/ /'
echo
echo "── 1.4 БАЗЫ ──"
psql -h "$PG" -U buryan_monitor -d "$DB" -c 'SELECT * FROM db_registry_summary;' 2>/dev/null | sed 's/^/ /'
echo " к переносу и в работе (файловые):"
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \
"SELECT ' ' || rpad(service,14) || rpad(ct_id,6) || pg_size_pretty(size_bytes)
FROM db_registry WHERE engine='sqlite' AND status='в работе' ORDER BY size_bytes DESC" 2>/dev/null
echo " кодировка баз:"
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \
"SELECT ' ' || encoding || ': ' || count(*) || ' баз'
FROM db_registry WHERE engine='postgresql' GROUP BY encoding" 2>/dev/null
echo
echo "── 1.5 КОПИИ ──"
echo " расписания:"
for f in /etc/cron.d/lxc-backups /etc/cron.d/buryan-monitor /etc/cron.d/buryan-monitoring; do
[ -f "$f" ] && printf ' %-28s заданий: %s\n' "$(basename "$f")" "$(grep -vcE '^#|^$' "$f")"
done
echo " архивы контейнеров:"
printf ' всего: %s, объём: %s\n' \
"$(ls /mnt/backups/dump/*.zst 2>/dev/null | wc -l)" \
"$(du -sh /mnt/backups/dump 2>/dev/null | cut -f1)"
echo " выгрузки баз:"
ls -t /mnt/backups/postgresql/*.sql.gz 2>/dev/null | head -3 | while read -r f; do
printf ' %s — %s, %s\n' "$(basename "$f")" "$(du -h "$f" | cut -f1)" "$(stat -c %y "$f" | cut -d. -f1)"
done
echo " внешнее хранилище:"
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
restic stats 2>&1 | grep -E 'Snapshots|Total Size|File Count' | sed 's/^/ /'
echo
echo "── 1.6 НАБЛЮДЕНИЕ ──"
printf ' целей в Prometheus: %s\n' \
"$(curl -s -m 10 'http://192.168.1.134:9090/api/v1/targets?state=active' | jq -r '.data.activeTargets|length' 2>/dev/null)"
printf ' проверок по расписанию: диск, сертификаты, пул томов, логи, снимки\n'
echo
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ ЧАСТЬ 2. ПРОВЕРКА ОТКАТА — работает ли он на самом деле ║"
echo "╚══════════════════════════════════════════════════════════╝"
echo
echo "── 2.1 ВОССТАНОВЛЕНИЕ БАЗЫ ИЗ ВЫГРУЗКИ ──"
SCRATCH="audit_restore_$(date +%s)"
SRC_DB="buryan_monitor"
echo " беру свежую выгрузку базы $SRC_DB"
if pct exec 151 -- sudo -u postgres pg_dump "$SRC_DB" 2>/dev/null | gzip > /tmp/audit-dump.sql.gz; then
printf ' выгрузка: %s\n' "$(du -h /tmp/audit-dump.sql.gz | cut -f1)"
echo " создаю временную базу $SCRATCH"
pct exec 151 -- sudo -u postgres psql -tAc "CREATE DATABASE $SCRATCH" 2>/dev/null
echo " восстанавливаю в неё"
zcat /tmp/audit-dump.sql.gz | pct exec 151 -- sudo -u postgres psql -q -d "$SCRATCH" 2>/dev/null
src_tables=$(pct exec 151 -- sudo -u postgres psql -d "$SRC_DB" -tAc \
"SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
dst_tables=$(pct exec 151 -- sudo -u postgres psql -d "$SCRATCH" -tAc \
"SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
src_rows=$(pct exec 151 -- sudo -u postgres psql -d "$SRC_DB" -tAc \
"SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null)
dst_rows=$(pct exec 151 -- sudo -u postgres psql -d "$SCRATCH" -tAc \
"SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null)
printf ' таблиц: было %s, стало %s\n' "$src_tables" "$dst_tables"
printf ' строк: было %s, стало %s\n' "$src_rows" "$dst_rows"
if [ "${src_tables:-0}" = "${dst_tables:-1}" ]; then
echo " ✅ ВОССТАНОВЛЕНИЕ РАБОТАЕТ"
ROLLBACK_DB="работает"
else
echo " ❌ РАСХОЖДЕНИЕ — восстановление ненадёжно"
ROLLBACK_DB="НЕ РАБОТАЕТ"
fi
pct exec 151 -- sudo -u postgres psql -tAc "DROP DATABASE $SCRATCH" 2>/dev/null
echo " временная база удалена"
rm -f /tmp/audit-dump.sql.gz
else
echo " ❌ не удалось снять выгрузку"
ROLLBACK_DB="НЕ РАБОТАЕТ"
fi
echo
echo "── 2.2 ЦЕЛОСТНОСТЬ АРХИВОВ КОНТЕЙНЕРОВ ──"
latest=$(ls -t /mnt/backups/dump/*.zst 2>/dev/null | head -1)
if [ -n "$latest" ]; then
printf ' проверяю: %s (%s)\n' "$(basename "$latest")" "$(du -h "$latest" | cut -f1)"
if zstd -t "$latest" 2>/dev/null; then
echo " ✅ АРХИВ ЦЕЛЫЙ"
ROLLBACK_ARCH="работает"
else
echo " ❌ АРХИВ ПОВРЕЖДЁН"
ROLLBACK_ARCH="НЕ РАБОТАЕТ"
fi
else
echo " ❌ архивов не найдено"
ROLLBACK_ARCH="НЕ РАБОТАЕТ"
fi
echo
echo "── 2.3 СНИМОК И ВОЗВРАТ ИЗ НЕГО ──"
TEST_CT=160
if pct status "$TEST_CT" >/dev/null 2>&1; then
SNAP="audit-check-$(date +%s)"
if pct snapshot "$TEST_CT" "$SNAP" --description "проверка отката" >/dev/null 2>&1; then
echo " снимок создан"
if pct listsnapshot "$TEST_CT" | grep -q "$SNAP"; then
echo " снимок виден в списке"
fi
if pct delsnapshot "$TEST_CT" "$SNAP" >/dev/null 2>&1; then
echo " снимок удалён"
echo " ✅ СНИМКИ РАБОТАЮТ"
ROLLBACK_SNAP="работает"
else
echo " ❌ снимок не удалился"
ROLLBACK_SNAP="НЕ РАБОТАЕТ"
fi
else
echo " ❌ снимок не создался"
ROLLBACK_SNAP="НЕ РАБОТАЕТ"
fi
else
echo " контейнер $TEST_CT недоступен — проверка пропущена"
ROLLBACK_SNAP="не проверено"
fi
echo
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ ИТОГ ПРОВЕРКИ ОТКАТА ║"
echo "╚══════════════════════════════════════════════════════════╝"
printf ' восстановление базы: %s\n' "${ROLLBACK_DB:-не проверено}"
printf ' целостность архивов: %s\n' "${ROLLBACK_ARCH:-не проверено}"
printf ' снимки контейнеров: %s\n' "${ROLLBACK_SNAP:-не проверено}"