19 KiB
Аудит ночного спринта 21–22.10.2026
Составлен 22.10.2026, 01:55. Спринт: 23:15 → 08:15.
1. Состояние системы сейчас
| Показатель | Значение | Оценка |
|---|---|---|
| Сервисы | 75/75 | ✅ |
| Активных алертов | 0 | ✅ |
| CT / VM | 33 / 1 | ✅ |
| RAM | 12.2 / 15.7 ГБ | ⚠️ 78% |
| Своп | 12.0 / 16.0 ГБ | ⚠️ 75% |
| Thin pool | 74.7% (было 81.5%) | ⚠️ |
| Диск / | 25 из 109 ГБ | ✅ |
| Бэкапы vzdump | 14 файлов, 38 ГБ, 47 ГБ свободно | ✅ |
| Дампы баз | 4 файла | ✅ |
| Архивы конфигов | 9 | ✅ |
| Таймеры | 16 активны | ✅ |
| Коммитов за спринт | 16 | ✅ |
2. Что сделано
Новые сервисы (4)
| Сервис | Адрес | Состояние |
|---|---|---|
| Kavita | 192.168.1.240:5000 |
✅ работает, библиотека подключена |
| Audiobookshelf | 192.168.1.240:13378 |
✅ работает, ждёт аудиофайлы |
| NetBox | 192.168.1.103:8080 |
✅ работает, admin/Netbox2026! |
| Monica | 192.168.1.110:8081 |
✅ работает |
Все четыре: в реестре, в метриках (buryan_service_up=1), карточки,
пофайловый бэкап.
Автоматизация (5)
| Что | Как работает | Проверено |
|---|---|---|
| Renovate | таймер 03:30, Gitea | нашёл 4 файла, 3 зависимости |
| RAG-поиск | /rag?q=…&mode=find |
6–14 с, находит нужные документы |
| Логические дампы | 03:15, 4 базы | 1.8 МБ, все 4 ОК |
| Ежедневный снимок | 09:00, коммит в репозиторий | создан snapshot-2026-10-22.md |
| Обучение агента | подсказки по сбоям | работает |
Мониторинг и алерты (4)
- Алерт ВысокийСвоп — только по хосту (было 13 копий от всех CT).
- Алерт ВысокаяНагрузка — только по хосту (было 25 копий).
- Панель «Сервисы: недоступные» в Grafana.
- node_exporter на хосте — PVE раньше не попадал в метрики.
Документация
| Документ | Содержание |
|---|---|
ops/MORNING.md |
утренний чек-лист |
ops/hub/RAG.md |
как устроен поиск и его ограничения |
ops/backup/DB-DUMPS.md |
дампы, восстановление, ловушки |
ops/ops/INCIDENT-2026-10-22.md |
инциденты ночи |
ops/ops/NETBOX-IMPORT.md |
импорт инвентаря |
ops/agents/LEARNING.md |
как агент учится |
ops/NIGHT-2026-10-22.md |
отчёт по спринту |
| Вики | 30 страниц, включая Operations и Monitoring |
3. Инциденты, найденные и исправленные
Инцидент 1: thin pool переполнен, бэкапы падали
Было: vzdump не мог создать снапшот (Insufficient free space),
пул 81.5%, LV backups занимал 90% от 100 ГБ.
Сделано: pct fstrim на 33 CT + fstrim /mnt/backups (освободило
32 ГБ), оставлена 1 копия vzdump на гостя (22 файла/65 ГБ → 14/38 ГБ),
prune-backups keep-last=1. Тестовый vzdump 140 прошёл.
Остаток риска: пул 74.7%. Нужно расширение диска или сокращение списка гостей в ежедневном бэкапе.
Инцидент 2: hub-brain падал и выдавал ложные тревоги
Было: AttributeError: no attribute 'read_yaml'; после починки —
ложные «5 из 9 контейнеров лежат» и заявка restart_container postgres.
Сделано: добавлены read_yaml, status, check_group, notify,
карта контейнеров; группы берутся из реестра. Но ложные срабатывания
остались (сервисы вроде immich_* живут в VM104 и не видны проверке).
Решение: hub-brain.timer отключён, 7 ложных заявок отменены,
очередь уведомлений очищена. Включать после выравнивания инвентаря.
Инцидент 3: logrotate падал
Дублирование /var/log/nginx/*.log в двух конфигах. Пакетный убран
в /etc/logrotate-disabled/. Сейчас 0 ошибок.
Инцидент 4: Vikunja SSO
Причина: Vikunja 2.7.1 не передаёт redirect_uri, Authentik отклоняет
как invalid_client. Включён regex-режим redirect_uris. Требует
проверки владельцем.
4. Что осталось
Требует владельца (без него нельзя)
| ID | Задача | Что нужно |
|---|---|---|
| — | Домены Kavita/Audiobookshelf/NetBox/Monica | 4 A-записи |
| B-09 | Импорт инвентаря в NetBox | API-токен из UI в /root/.netbox-token |
| B-28/29 | Мост Matrix ↔ Telegram | Bot Token |
| B-32 | Парольная политика | решение (риск блокировки) |
| — | 2FA | ваше решение |
| — | RAG-генерация | решение: только поиск / ждать GPU |
| B-30 | Nextcloud SSO | отложено вами |
| — | Смена пароля NetBox | admin/Netbox2026! временный |
| — | Расширение диска | thin pool 74.7% |
Можно делать без владельца (следующая очередь)
| Что | Оценка |
|---|---|
| Включить hub-brain после выравнивания инвентаря | 1–2 ч |
| Сократить список гостей в vzdump или расширить пул | 1 ч |
| Индексировать больше документов в RAG (ночью, по частям) | 2–3 ч |
| Настроить SSO для новых сервисов (после доменов) | 2 ч |
| Проверить восстановление из дампа баз на практике | 1 ч |
| Docmost / Outline (B-13) — новое хранилище знаний | 3–4 ч, нужна память |
| gPodder (B-08) — нет поддерживаемого образа, требует выбора | — |
5. Известные ограничения
- Память: 78% RAM, 75% свопа. Машина работает, но тяжёлые задачи (LLM + индексация) одновременно запускать нельзя.
- RAG-генерация на CPU: ответ дольше 10 минут. Поиск — 6–14 с.
- hub-brain отключён — до выравнивания имён сервисов и контейнеров.
- Thin pool 74.7% — при следующем росте может снова упереться.
- NetBox — токен только через UI (в NetBox 4 нет
drf_create_token).
6. Как проверить самостоятельно
# сервисы и группы
curl -s http://127.0.0.1:9120/status.json | python3 -m json.tool | head -40
# алерты
curl -s http://192.168.1.134:9093/api/v2/alerts
# thin pool
lvs -o lv_name,data_percent pve/data
# бэкапы
ls -lh /mnt/backups/db /mnt/backups/configs
# RAG-поиск
curl -s 'http://127.0.0.1:9120/rag?q=бекапы&mode=find'
# новые сервисы
curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.240:5000/
curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.103:8080/login/
7. Итог
Спринт дал: 4 новых сервиса, RAG-поиск, Renovate, дампы баз, ежедневные снимки, чистые алерты, 8 документов.
Главная ценность ночи — найдены и устранены два тихих инцидента: переполнение thin pool (падали бэкапы) и ложные тревоги агента, которые могли привести к перезапуску базы данных.
Главный риск — память и thin pool на пределе. Нужно решение владельца: расширять диск или сокращать состав.
Дополнение 03:00 — бэкап восстановлен
Ночное задание упало на 24 гостях из-за того же переполнения пула.
Догон catchup3.py восстановил все 22 отсутствовавшие копии,
дубли удалены, fstrim освободил 8.4 ГБ.
Постоянное решение: hub-pre-prune.timer в 01:45 удаляет прошлый
набор архивов и освобождает место до старта задания, чтобы пик пула
был равен только новому набору.
Итоговое состояние:
| Показатель | Значение |
|---|---|
| Сервисы | 75/75 |
| Алерты | 0 |
| Упавшие юниты | 0 |
| Архивы бэкапов | 34 из 34 гостей |
| Thin pool | 77.4% |
| Таймеров | 18 |
Дополнение 04:45 — стабилизация памяти
Найдена и устранена причина ночного load average 190:
CT110 жил в лимите 2048 МБ и постоянно вытеснял страницы в своп
(занято 2019/2048, своп 255/256). Хостовый своп заполнился, диск был
занят на 78% времени, всё ждало I/O.
| Действие | Результат |
|---|---|
| CT110: память 2048 → 3072, своп 256 → 768 | внутри 1347/3072 |
| VM104: 8192 → 4096 МБ | своп −1.6 ГБ |
| immich_machine_learning (хост) остановлен | −2 ядра |
vm.swappiness 20 → 10 |
меньше вытеснения |
| drop_caches | сброшены кэши |
Load: 190 → 9.9. Renovate, который «висел» 30 минут, теперь завершается за 13 секунд — это был симптом нагрузки, не баг.
Итог ночи:
| Показатель | Значение |
|---|---|
| Сервисы | 75/75 |
| Алерты | 0 |
| Упавшие юниты | 0 |
| Архивы бэкапов | 34/34 |
| Конфиги | 253 МБ, 124 файла |
| Дампы баз | 4 (08 файлов с историей) |
| Ночная проверка | 7/7 |
| Thin pool | 77.7% |
| Load average | 9.9 |
Инцидент и исправления, 22.10.2026 (ночь)
1. Thin pool переполнен — бэкапы падали
Симптомы
dmeventd: Insufficient free space: 17860 extents needed, but only 257 available
vzdump: ERROR: Backup of VM 108 failed - lvcreate snapshot ... Cannot create new thin volume
Причина: thin pool pve/data заполнен на 81%, а LV backups (100 ГБ)
лежит в том же пуле и занимал 90%. Для снапшота vzdump не хватало места.
Что сделано
pct fstrimна всех 33 CT иfstrim /mnt/backups— освободило 32 ГБ;- удалены лишние копии vzdump, оставлен 1 новейший на гостя (было 22 файла/65 ГБ → 13/38 ГБ);
- задание переведено на
prune-backups keep-last=1; - проверка:
vzdump 140прошёл успешно, каталог бэкапов 47 ГБ свободно.
Осталось: пул всё ещё ~74%. Нужно либо расширить диск, либо сократить список гостей в ежедневном бэкапе.
2. hub-brain падал и выдавал ложные тревоги
Симптом: AttributeError: module 'agent_runner' has no attribute 'read_yaml'.
Добавлены read_yaml, status, check_group, notify.
После запуска мозг нашёл «5 из 9 контейнеров ядра лежат» — ложь:
groups.yaml перечисляет имена контейнеров (authentik-security-server-1,
matrix-synapse), а services.yaml — имена сервисов (heimdall,
zigbee2mqtt). Проверка по несовпадающим именам даёт «недоступно».
Решение: таймер hub-brain.timer отключён, ложные заявки
(restart_container postgres и др.) переведены в cancelled,
очередь уведомлений очищена. Чинить сопоставление имён — днём.
3. logrotate падал
error: nginx-buryan:1 duplicate log entry for /var/log/nginx/access.log
Пакетный /etc/logrotate.d/nginx и наш nginx-buryan описывали одни
файлы. Пакетный убран в /etc/logrotate-disabled/. Проверка: 0 ошибок,
logrotate.service отработал.
Итог
| Что | Состояние |
|---|---|
| Бэкапы | ✅ работают, 1 копия на гостя |
| Мозг (hub-brain) | ⏸ отключён до исправления имён |
| logrotate | ✅ 0 ошибок |
Дополнение, 02:50 — бэкап 02:00 упал на 24 гостях
Что произошло
Ночное задание vzdump --all 1 успело сделать 10 гостей, а затем
на каждом следующем падало:
ERROR: Backup of VM 111 failed - lvcreate snapshot ...
Cannot create new thin volume, free space ... insufficient
Причина та же: пул дошёл до 80.5%, а новые архивы пишутся до того, как удаляются старые (prune идёт по одному гостю после его бэкапа). Пик = старый набор + новый набор.
Как восстановили
catchup3.py— скрипт догона:- находит гостей без копии за сегодня (по архивам, не по логам — важная правка: раньше логи от упавшей попытки считались копией);
- удаляет их старые архивы, делает
fstrim; - гонит
vzdumpпо одному, останавливаясь при пуле >82%.
- Итог: 22 из 22 догнаны, всего 33 CT + VM104 = 34 архива.
- Дубли удалены,
fstrimосвободил 8.4 ГБ.
Постоянное решение
Таймер hub-pre-prune.timer, 01:45 — за 15 минут до задания:
- удаляет все архивы, кроме сегодняшних (они всё равно будут заменены,
keep-last=1); - делает
fstrim /mnt/backups; - чистит логи старше 14 дней.
Так пик пула = только новый набор (~45 ГБ вместо «старый + новый»).
Проверка
сервисы: 75/75, алерты: 0, упавшие юниты: 0
архивы: 34, дампы: 4, конфиги: 9
thin pool: 77.4%, бэкапы: 76 из 98 ГБ
Ловушки
ls vzdump-*включает.log— проверять наличие копии нужно по.tar.zst/.vma.zst, иначе упавшая попытка считается успехом.fstrimнужен после каждого удаления — без него место в пуле не освобождается.- Порог остановки 82% — выше начинаются отказы
lvcreate.
Дополнение 04:40 — load average 190 из-за лимита памяти CT110
Что произошло
После ночных задач load average вырос до 190, wa (ожидание I/O)
дошёл до 78%, своп-активность — 200 МБ/с. При этом CPU был свободен
на 78%: машина не считала, а ждала диск.
Причина
CT110 (office-lxc) имел лимит 2048 МБ и своп 256 МБ. Внутри —
memos, stirling, grocy, vikunja, homebox, monica, beszel, dozzle,
monica-db и ещё десяток контейнеров. Использование: 2019 из 2048,
своп 255 из 256.
Контейнер постоянно вытеснял страницы в хостовый своп и сразу читал их обратно (thrash). Хостовый своп заполнился до 12.6 ГБ, диск был занят на 78% времени, load рос как сумма ожидающих процессов.
Что сделано
| Действие | Эффект |
|---|---|
| CT110: память 2048 → 3072, своп 256 → 768 | внутри 1347/3072, своп 360/768 |
immich_machine_learning на хосте остановлен |
−2 ядра |
| VM104: 8192 → 4096 МБ | своп хоста −1.6 ГБ |
immich_machine_learning в VM — уже был остановлен |
— |
vm.swappiness 20 → 10 |
меньше вытеснения |
Результат: load 9.9 (было 190), wa 3%, сервисы 75/75.
Ловушка
Недостаточный лимит памяти LXC не виден по load на хосте.
CT110 показывал «всё работает», но каждую секунду гонял страницы
через своп. Симптом на хосте: высокий load при свободном CPU
и высоком wa.
Проверка: pct exec <id> -- free -m — если used ≈ total,
а swap заполнен, контейнеру мало памяти.
Что осталось
- Своп хоста всё ещё занят на 11.4 ГБ — это «холодные» страницы, они не мешают, пока не понадобятся.
- Стоит проверить остальные CT с лимитом 512 МБ, где занято >90%.