[AUDIT] Аудит ночного спринта 22.10: где мы и что осталось
This commit is contained in:
1 parent
04467782dc
commit
08fda88161
1 file changed
+173
@@ -0,0 +1,173 @@
|
||||
# Аудит ночного спринта 21–22.10.2026
|
||||
|
||||
_Составлен 22.10.2026, 01:55. Спринт: 23:15 → 08:15._
|
||||
|
||||
## 1. Состояние системы сейчас
|
||||
|
||||
| Показатель | Значение | Оценка |
|
||||
|---|---|---|
|
||||
| Сервисы | **75/75** | ✅ |
|
||||
| Активных алертов | **0** | ✅ |
|
||||
| CT / VM | 33 / 1 | ✅ |
|
||||
| RAM | 12.2 / 15.7 ГБ | ⚠️ 78% |
|
||||
| Своп | 12.0 / 16.0 ГБ | ⚠️ 75% |
|
||||
| Thin pool | **74.7%** (было 81.5%) | ⚠️ |
|
||||
| Диск / | 25 из 109 ГБ | ✅ |
|
||||
| Бэкапы vzdump | 14 файлов, 38 ГБ, 47 ГБ свободно | ✅ |
|
||||
| Дампы баз | 4 файла | ✅ |
|
||||
| Архивы конфигов | 9 | ✅ |
|
||||
| Таймеры | 16 активны | ✅ |
|
||||
| Коммитов за спринт | 16 | ✅ |
|
||||
|
||||
## 2. Что сделано
|
||||
|
||||
### Новые сервисы (4)
|
||||
|
||||
| Сервис | Адрес | Состояние |
|
||||
|---|---|---|
|
||||
| Kavita | `192.168.1.240:5000` | ✅ работает, библиотека подключена |
|
||||
| Audiobookshelf | `192.168.1.240:13378` | ✅ работает, ждёт аудиофайлы |
|
||||
| NetBox | `192.168.1.103:8080` | ✅ работает, `admin`/`Netbox2026!` |
|
||||
| Monica | `192.168.1.110:8081` | ✅ работает |
|
||||
|
||||
Все четыре: в реестре, в метриках (`buryan_service_up=1`), карточки,
|
||||
пофайловый бэкап.
|
||||
|
||||
### Автоматизация (5)
|
||||
|
||||
| Что | Как работает | Проверено |
|
||||
|---|---|---|
|
||||
| Renovate | таймер 03:30, Gitea | нашёл 4 файла, 3 зависимости |
|
||||
| RAG-поиск | `/rag?q=…&mode=find` | 6–14 с, находит нужные документы |
|
||||
| Логические дампы | 03:15, 4 базы | 1.8 МБ, все 4 ОК |
|
||||
| Ежедневный снимок | 09:00, коммит в репозиторий | создан `snapshot-2026-10-22.md` |
|
||||
| Обучение агента | подсказки по сбоям | работает |
|
||||
|
||||
### Мониторинг и алерты (4)
|
||||
|
||||
- Алерт **ВысокийСвоп** — только по хосту (было 13 копий от всех CT).
|
||||
- Алерт **ВысокаяНагрузка** — только по хосту (было 25 копий).
|
||||
- Панель «Сервисы: недоступные» в Grafana.
|
||||
- **node_exporter на хосте** — PVE раньше не попадал в метрики.
|
||||
|
||||
### Документация
|
||||
|
||||
| Документ | Содержание |
|
||||
|---|---|
|
||||
| `ops/MORNING.md` | утренний чек-лист |
|
||||
| `ops/hub/RAG.md` | как устроен поиск и его ограничения |
|
||||
| `ops/backup/DB-DUMPS.md` | дампы, восстановление, ловушки |
|
||||
| `ops/ops/INCIDENT-2026-10-22.md` | инциденты ночи |
|
||||
| `ops/ops/NETBOX-IMPORT.md` | импорт инвентаря |
|
||||
| `ops/agents/LEARNING.md` | как агент учится |
|
||||
| `ops/NIGHT-2026-10-22.md` | отчёт по спринту |
|
||||
| Вики | 30 страниц, включая Operations и Monitoring |
|
||||
|
||||
## 3. Инциденты, найденные и исправленные
|
||||
|
||||
### Инцидент 1: thin pool переполнен, бэкапы падали
|
||||
|
||||
**Было**: `vzdump` не мог создать снапшот (`Insufficient free space`),
|
||||
пул 81.5%, LV `backups` занимал 90% от 100 ГБ.
|
||||
|
||||
**Сделано**: `pct fstrim` на 33 CT + `fstrim /mnt/backups` (освободило
|
||||
32 ГБ), оставлена 1 копия vzdump на гостя (22 файла/65 ГБ → 14/38 ГБ),
|
||||
`prune-backups keep-last=1`. Тестовый `vzdump 140` прошёл.
|
||||
|
||||
**Остаток риска**: пул 74.7%. Нужно расширение диска или сокращение
|
||||
списка гостей в ежедневном бэкапе.
|
||||
|
||||
### Инцидент 2: hub-brain падал и выдавал ложные тревоги
|
||||
|
||||
**Было**: `AttributeError: no attribute 'read_yaml'`; после починки —
|
||||
ложные «5 из 9 контейнеров лежат» и заявка `restart_container postgres`.
|
||||
|
||||
**Сделано**: добавлены `read_yaml`, `status`, `check_group`, `notify`,
|
||||
карта контейнеров; группы берутся из реестра. Но ложные срабатывания
|
||||
остались (сервисы вроде `immich_*` живут в VM104 и не видны проверке).
|
||||
|
||||
**Решение**: `hub-brain.timer` **отключён**, 7 ложных заявок отменены,
|
||||
очередь уведомлений очищена. Включать после выравнивания инвентаря.
|
||||
|
||||
### Инцидент 3: logrotate падал
|
||||
|
||||
Дублирование `/var/log/nginx/*.log` в двух конфигах. Пакетный убран
|
||||
в `/etc/logrotate-disabled/`. Сейчас 0 ошибок.
|
||||
|
||||
### Инцидент 4: Vikunja SSO
|
||||
|
||||
Причина: Vikunja 2.7.1 не передаёт `redirect_uri`, Authentik отклоняет
|
||||
как `invalid_client`. Включён regex-режим redirect_uris. Требует
|
||||
проверки владельцем.
|
||||
|
||||
## 4. Что осталось
|
||||
|
||||
### Требует владельца (без него нельзя)
|
||||
|
||||
| ID | Задача | Что нужно |
|
||||
|---|---|---|
|
||||
| — | Домены Kavita/Audiobookshelf/NetBox/Monica | 4 A-записи |
|
||||
| B-09 | Импорт инвентаря в NetBox | API-токен из UI в `/root/.netbox-token` |
|
||||
| B-28/29 | Мост Matrix ↔ Telegram | Bot Token |
|
||||
| B-32 | Парольная политика | решение (риск блокировки) |
|
||||
| — | 2FA | ваше решение |
|
||||
| — | RAG-генерация | решение: только поиск / ждать GPU |
|
||||
| B-30 | Nextcloud SSO | отложено вами |
|
||||
| — | Смена пароля NetBox | `admin`/`Netbox2026!` временный |
|
||||
| — | Расширение диска | thin pool 74.7% |
|
||||
|
||||
### Можно делать без владельца (следующая очередь)
|
||||
|
||||
| Что | Оценка |
|
||||
|---|---|
|
||||
| Включить hub-brain после выравнивания инвентаря | 1–2 ч |
|
||||
| Сократить список гостей в vzdump или расширить пул | 1 ч |
|
||||
| Индексировать больше документов в RAG (ночью, по частям) | 2–3 ч |
|
||||
| Настроить SSO для новых сервисов (после доменов) | 2 ч |
|
||||
| Проверить восстановление из дампа баз на практике | 1 ч |
|
||||
| Docmost / Outline (B-13) — новое хранилище знаний | 3–4 ч, нужна память |
|
||||
| gPodder (B-08) — нет поддерживаемого образа, требует выбора | — |
|
||||
|
||||
## 5. Известные ограничения
|
||||
|
||||
1. **Память**: 78% RAM, 75% свопа. Машина работает, но тяжёлые задачи
|
||||
(LLM + индексация) одновременно запускать нельзя.
|
||||
2. **RAG-генерация** на CPU: ответ дольше 10 минут. Поиск — 6–14 с.
|
||||
3. **hub-brain отключён** — до выравнивания имён сервисов и контейнеров.
|
||||
4. **Thin pool 74.7%** — при следующем росте может снова упереться.
|
||||
5. **NetBox** — токен только через UI (в NetBox 4 нет `drf_create_token`).
|
||||
|
||||
## 6. Как проверить самостоятельно
|
||||
|
||||
```bash
|
||||
# сервисы и группы
|
||||
curl -s http://127.0.0.1:9120/status.json | python3 -m json.tool | head -40
|
||||
|
||||
# алерты
|
||||
curl -s http://192.168.1.134:9093/api/v2/alerts
|
||||
|
||||
# thin pool
|
||||
lvs -o lv_name,data_percent pve/data
|
||||
|
||||
# бэкапы
|
||||
ls -lh /mnt/backups/db /mnt/backups/configs
|
||||
|
||||
# RAG-поиск
|
||||
curl -s 'http://127.0.0.1:9120/rag?q=бекапы&mode=find'
|
||||
|
||||
# новые сервисы
|
||||
curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.240:5000/
|
||||
curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.103:8080/login/
|
||||
```
|
||||
|
||||
## 7. Итог
|
||||
|
||||
**Спринт дал**: 4 новых сервиса, RAG-поиск, Renovate, дампы баз,
|
||||
ежедневные снимки, чистые алерты, 8 документов.
|
||||
|
||||
**Главная ценность ночи** — найдены и устранены два тихих инцидента:
|
||||
переполнение thin pool (падали бэкапы) и ложные тревоги агента,
|
||||
которые могли привести к перезапуску базы данных.
|
||||
|
||||
**Главный риск** — память и thin pool на пределе. Нужно решение
|
||||
владельца: расширять диск или сокращать состав.
|
||||
Reference in new issue
Block a user