Files
buryan-infra/ops/scripts/V1-PROGRESS.md

147 lines
5.7 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Версия 1 — ход работ
Начат 16.10.2026. Порядок: сервисы (v1) → сеть → сервисы (v2).
---
## ✅ Задача 1. Проверка восстановления копий
### Что нашли
```
1 октября 2026, 16:42:
❌ FAILED: PostgreSQL restore (syntax check)
❌ Kuma notified: DOWN
→ уведомление ушло, реакции НЕ БЫЛО. Две недели.
```
**Причина:** PostgreSQL сменил формат дампа:
```
было: -- Database: имя_базы
стало: \connect имя_базы
```
### Что сделали
| Что | Состояние |
|---|---|
| Новый образец `\connect` | ✅ исправлено |
| Настоящее восстановление 3 баз | ✅ реализовано |
| Сравнение через системный каталог | ✅ исправлено |
| Повтор тревоги до подтверждения | ✅ проверено в Matrix и Telegram |
| Расписание месяц → неделя | ✅ |
| **Убран из расписания** | ⚠️ извлечение даёт 0 таблиц |
**Почему убран:** ложная тревога хуже отсутствия проверки.
Она приучает не реагировать — именно так потерялось
уведомление от 1 октября.
### Что проверено и цело
```
GITEA таблиц 117 ✅ 5 репозиториев ✅ 352 задачи ✅
VAULTWARDEN таблиц 29 ✅ 2 пользователя ✅ 12 паролей ✅
MATRIX таблиц 176 ✅ 20 пользователей ✅ 30 комнат ✅
СЛУЖБЫ Gitea 200 · Vaultwarden 200 · Matrix 200 · Element 200
```
---
## ✅ Задача 2. Аудит резервного копирования
### Находки
| Находка | Суть |
|---|---|
| «Дубли» = ссылка | `/var/lib/vz/dump -> /mnt/backups/dump`. **Удаление снесло бы все копии** |
| Причина остановки | Тонкий пул переподписан: 1,18 ТБ обещано при 476 ГБ |
| `immich-backup.sh` падает | Но дублирует основную копию — не потеря |
| **Фотографии Immich** | **Последняя копия 26 дней назад** |
| Контейнеры | Копии только у 3 из 29 |
### Что защищено
```
✅ Все 40 баз — ежедневно, 02:00
✅ Файлы Matrix — ежедневно, 03:00
✅ CT 115, 110, 201 — свежие копии
🔴 23 контейнера — копий нет (базы покрыты)
🔴 Фотографии Immich — 26 дней
```
---
## ✅ Задача 3. Тонкий пул
### Что нашли
```
31 снимок держали 503 ГБ виртуально.
Это снимки от работы 14–15 октября (миграция баз):
snap_vm-113 (100 ГБ) — при том, что CT 113 занимает 5,94%
5 × snap_vm-109 по 40 ГБ = 200 ГБ
7 × snap_vm-140 по 10 ГБ = 70 ГБ
и так далее
```
Каждый снимок «стоит» столько же, сколько весь том целиком.
Из-за этого обещание достигло 1,18 ТБ, и копирование встало.
### Что сделали
```
Снимков: 31 → 9 (оставлен ОДИН на контейнер)
Держат: 503 ГБ → 225 ГБ
Освобождено: 278 ГБ
Копирование вернули для 11 контейнеров:
ежедневно: 108 (n8n), 140 (Gitea), 155 (Matrix), 115
раз в 2 дня: 110, 114 (Authentik), 109 (пароли)
еженедельно: 105 (документы), 113, 139, 201
```
**Оставленные снимки — это страховка «до всех изменений».**
Промежуточные дубли убраны: все изменения проверены и работают.
### Проверено
```
Пробная копия CT 140: 953 МБ за 35 секунд ✅
Службы: Vaultwarden 200 · Gitea 200 · Matrix 200
Authentik 302 · Grafana 302 · Sonarr 200
Все 14 служб по внутренним адресам ✅
```
---
## Следующие задачи
```
4. Защитить фотографии Immich ← главная дыра в данных
5. Починить извлечение копий ← вернуть проверку в расписание
6. Настроить отправку наружу ← фотографии на VPS
7. Единый вход для 21 службы ← самая большая возможность
8. Журналы в одном месте (Loki)
9. Проверки по смыслу
10. Секреты в хранилище
```
---
## Уроки этапа
1. **Проверять перед удалением.** «Дубли» оказались ссылкой.
Один `stat` спас бы от потери всех копий.
2. **Смотреть, ПОЧЕМУ остановилось.** Копии не «сломались» —
их остановил переподписанный пул.
3. **При расхождении — проверять проверку.** Я трижды винил
данные, а ошибалась проверка (пути, права, формат).
4. **Ложная тревога хуже отсутствия проверки.** Она приучает
не реагировать.
5. **Снимок стоит как весь том.** 31 снимок = 503 ГБ обещания.