diff --git a/Sprint-Audit.md b/Sprint-Audit.md new file mode 100644 index 0000000..9164f23 --- /dev/null +++ b/Sprint-Audit.md @@ -0,0 +1,230 @@ +# Аудит ночного спринта 21–22.10.2026 + +_Составлен 22.10.2026, 01:55. Спринт: 23:15 → 08:15._ + +## 1. Состояние системы сейчас + +| Показатель | Значение | Оценка | +|---|---|---| +| Сервисы | **75/75** | ✅ | +| Активных алертов | **0** | ✅ | +| CT / VM | 33 / 1 | ✅ | +| RAM | 12.2 / 15.7 ГБ | ⚠️ 78% | +| Своп | 12.0 / 16.0 ГБ | ⚠️ 75% | +| Thin pool | **74.7%** (было 81.5%) | ⚠️ | +| Диск / | 25 из 109 ГБ | ✅ | +| Бэкапы vzdump | 14 файлов, 38 ГБ, 47 ГБ свободно | ✅ | +| Дампы баз | 4 файла | ✅ | +| Архивы конфигов | 9 | ✅ | +| Таймеры | 16 активны | ✅ | +| Коммитов за спринт | 16 | ✅ | + +## 2. Что сделано + +### Новые сервисы (4) + +| Сервис | Адрес | Состояние | +|---|---|---| +| Kavita | `192.168.1.240:5000` | ✅ работает, библиотека подключена | +| Audiobookshelf | `192.168.1.240:13378` | ✅ работает, ждёт аудиофайлы | +| NetBox | `192.168.1.103:8080` | ✅ работает, `admin`/`Netbox2026!` | +| Monica | `192.168.1.110:8081` | ✅ работает | + +Все четыре: в реестре, в метриках (`buryan_service_up=1`), карточки, +пофайловый бэкап. + +### Автоматизация (5) + +| Что | Как работает | Проверено | +|---|---|---| +| Renovate | таймер 03:30, Gitea | нашёл 4 файла, 3 зависимости | +| RAG-поиск | `/rag?q=…&mode=find` | 6–14 с, находит нужные документы | +| Логические дампы | 03:15, 4 базы | 1.8 МБ, все 4 ОК | +| Ежедневный снимок | 09:00, коммит в репозиторий | создан `snapshot-2026-10-22.md` | +| Обучение агента | подсказки по сбоям | работает | + +### Мониторинг и алерты (4) + +- Алерт **ВысокийСвоп** — только по хосту (было 13 копий от всех CT). +- Алерт **ВысокаяНагрузка** — только по хосту (было 25 копий). +- Панель «Сервисы: недоступные» в Grafana. +- **node_exporter на хосте** — PVE раньше не попадал в метрики. + +### Документация + +| Документ | Содержание | +|---|---| +| `ops/MORNING.md` | утренний чек-лист | +| `ops/hub/RAG.md` | как устроен поиск и его ограничения | +| `ops/backup/DB-DUMPS.md` | дампы, восстановление, ловушки | +| `ops/ops/INCIDENT-2026-10-22.md` | инциденты ночи | +| `ops/ops/NETBOX-IMPORT.md` | импорт инвентаря | +| `ops/agents/LEARNING.md` | как агент учится | +| `ops/NIGHT-2026-10-22.md` | отчёт по спринту | +| Вики | 30 страниц, включая Operations и Monitoring | + +## 3. Инциденты, найденные и исправленные + +### Инцидент 1: thin pool переполнен, бэкапы падали + +**Было**: `vzdump` не мог создать снапшот (`Insufficient free space`), +пул 81.5%, LV `backups` занимал 90% от 100 ГБ. + +**Сделано**: `pct fstrim` на 33 CT + `fstrim /mnt/backups` (освободило +32 ГБ), оставлена 1 копия vzdump на гостя (22 файла/65 ГБ → 14/38 ГБ), +`prune-backups keep-last=1`. Тестовый `vzdump 140` прошёл. + +**Остаток риска**: пул 74.7%. Нужно расширение диска или сокращение +списка гостей в ежедневном бэкапе. + +### Инцидент 2: hub-brain падал и выдавал ложные тревоги + +**Было**: `AttributeError: no attribute 'read_yaml'`; после починки — +ложные «5 из 9 контейнеров лежат» и заявка `restart_container postgres`. + +**Сделано**: добавлены `read_yaml`, `status`, `check_group`, `notify`, +карта контейнеров; группы берутся из реестра. Но ложные срабатывания +остались (сервисы вроде `immich_*` живут в VM104 и не видны проверке). + +**Решение**: `hub-brain.timer` **отключён**, 7 ложных заявок отменены, +очередь уведомлений очищена. Включать после выравнивания инвентаря. + +### Инцидент 3: logrotate падал + +Дублирование `/var/log/nginx/*.log` в двух конфигах. Пакетный убран +в `/etc/logrotate-disabled/`. Сейчас 0 ошибок. + +### Инцидент 4: Vikunja SSO + +Причина: Vikunja 2.7.1 не передаёт `redirect_uri`, Authentik отклоняет +как `invalid_client`. Включён regex-режим redirect_uris. Требует +проверки владельцем. + +## 4. Что осталось + +### Требует владельца (без него нельзя) + +| ID | Задача | Что нужно | +|---|---|---| +| — | Домены Kavita/Audiobookshelf/NetBox/Monica | 4 A-записи | +| B-09 | Импорт инвентаря в NetBox | API-токен из UI в `/root/.netbox-token` | +| B-28/29 | Мост Matrix ↔ Telegram | Bot Token | +| B-32 | Парольная политика | решение (риск блокировки) | +| — | 2FA | ваше решение | +| — | RAG-генерация | решение: только поиск / ждать GPU | +| B-30 | Nextcloud SSO | отложено вами | +| — | Смена пароля NetBox | `admin`/`Netbox2026!` временный | +| — | Расширение диска | thin pool 74.7% | + +### Можно делать без владельца (следующая очередь) + +| Что | Оценка | +|---|---| +| Включить hub-brain после выравнивания инвентаря | 1–2 ч | +| Сократить список гостей в vzdump или расширить пул | 1 ч | +| Индексировать больше документов в RAG (ночью, по частям) | 2–3 ч | +| Настроить SSO для новых сервисов (после доменов) | 2 ч | +| Проверить восстановление из дампа баз на практике | 1 ч | +| Docmost / Outline (B-13) — новое хранилище знаний | 3–4 ч, нужна память | +| gPodder (B-08) — нет поддерживаемого образа, требует выбора | — | + +## 5. Известные ограничения + +1. **Память**: 78% RAM, 75% свопа. Машина работает, но тяжёлые задачи + (LLM + индексация) одновременно запускать нельзя. +2. **RAG-генерация** на CPU: ответ дольше 10 минут. Поиск — 6–14 с. +3. **hub-brain отключён** — до выравнивания имён сервисов и контейнеров. +4. **Thin pool 74.7%** — при следующем росте может снова упереться. +5. **NetBox** — токен только через UI (в NetBox 4 нет `drf_create_token`). + +## 6. Как проверить самостоятельно + +```bash +# сервисы и группы +curl -s http://127.0.0.1:9120/status.json | python3 -m json.tool | head -40 + +# алерты +curl -s http://192.168.1.134:9093/api/v2/alerts + +# thin pool +lvs -o lv_name,data_percent pve/data + +# бэкапы +ls -lh /mnt/backups/db /mnt/backups/configs + +# RAG-поиск +curl -s 'http://127.0.0.1:9120/rag?q=бекапы&mode=find' + +# новые сервисы +curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.240:5000/ +curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.103:8080/login/ +``` + +## 7. Итог + +**Спринт дал**: 4 новых сервиса, RAG-поиск, Renovate, дампы баз, +ежедневные снимки, чистые алерты, 8 документов. + +**Главная ценность ночи** — найдены и устранены два тихих инцидента: +переполнение thin pool (падали бэкапы) и ложные тревоги агента, +которые могли привести к перезапуску базы данных. + +**Главный риск** — память и thin pool на пределе. Нужно решение +владельца: расширять диск или сокращать состав. + + +--- + +# Инцидент и исправления, 22.10.2026 (ночь) + +## 1. Thin pool переполнен — бэкапы падали + +**Симптомы** + +``` +dmeventd: Insufficient free space: 17860 extents needed, but only 257 available +vzdump: ERROR: Backup of VM 108 failed - lvcreate snapshot ... Cannot create new thin volume +``` + +**Причина**: thin pool `pve/data` заполнен на 81%, а LV `backups` (100 ГБ) +лежит в том же пуле и занимал 90%. Для снапшота vzdump не хватало места. + +**Что сделано** + +- `pct fstrim` на всех 33 CT и `fstrim /mnt/backups` — освободило **32 ГБ**; +- удалены лишние копии vzdump, оставлен **1 новейший** на гостя (было 22 файла/65 ГБ → 13/38 ГБ); +- задание переведено на `prune-backups keep-last=1`; +- проверка: `vzdump 140` прошёл успешно, каталог бэкапов 47 ГБ свободно. + +**Осталось**: пул всё ещё ~74%. Нужно либо расширить диск, либо +сократить список гостей в ежедневном бэкапе. + +## 2. hub-brain падал и выдавал ложные тревоги + +**Симптом**: `AttributeError: module 'agent_runner' has no attribute 'read_yaml'`. + +Добавлены `read_yaml`, `status`, `check_group`, `notify`. +После запуска мозг **нашёл «5 из 9 контейнеров ядра лежат»** — ложь: +`groups.yaml` перечисляет имена контейнеров (`authentik-security-server-1`, +`matrix-synapse`), а `services.yaml` — имена сервисов (`heimdall`, +`zigbee2mqtt`). Проверка по несовпадающим именам даёт «недоступно». + +**Решение**: таймер `hub-brain.timer` **отключён**, ложные заявки +(`restart_container postgres` и др.) переведены в `cancelled`, +очередь уведомлений очищена. Чинить сопоставление имён — днём. + +## 3. logrotate падал + +`error: nginx-buryan:1 duplicate log entry for /var/log/nginx/access.log` + +Пакетный `/etc/logrotate.d/nginx` и наш `nginx-buryan` описывали одни +файлы. Пакетный убран в `/etc/logrotate-disabled/`. Проверка: 0 ошибок, +`logrotate.service` отработал. + +## Итог + +| Что | Состояние | +|---|---| +| Бэкапы | ✅ работают, 1 копия на гостя | +| Мозг (hub-brain) | ⏸ отключён до исправления имён | +| logrotate | ✅ 0 ошибок |