Files
buryan-wiki/Sprint-Audit.md
T

19 KiB
Raw Blame History

Аудит ночного спринта 21–22.10.2026

Составлен 22.10.2026, 01:55. Спринт: 23:15 → 08:15.

1. Состояние системы сейчас

Показатель Значение Оценка
Сервисы 75/75 ✅
Активных алертов 0 ✅
CT / VM 33 / 1 ✅
RAM 12.2 / 15.7 ГБ ⚠️ 78%
Своп 12.0 / 16.0 ГБ ⚠️ 75%
Thin pool 74.7% (было 81.5%) ⚠️
Диск / 25 из 109 ГБ ✅
Бэкапы vzdump 14 файлов, 38 ГБ, 47 ГБ свободно ✅
Дампы баз 4 файла ✅
Архивы конфигов 9 ✅
Таймеры 16 активны ✅
Коммитов за спринт 16 ✅

2. Что сделано

Новые сервисы (4)

Сервис Адрес Состояние
Kavita 192.168.1.240:5000 ✅ работает, библиотека подключена
Audiobookshelf 192.168.1.240:13378 ✅ работает, ждёт аудиофайлы
NetBox 192.168.1.103:8080 ✅ работает, admin/Netbox2026!
Monica 192.168.1.110:8081 ✅ работает

Все четыре: в реестре, в метриках (buryan_service_up=1), карточки, пофайловый бэкап.

Автоматизация (5)

Что Как работает Проверено
Renovate таймер 03:30, Gitea нашёл 4 файла, 3 зависимости
RAG-поиск /rag?q=…&mode=find 6–14 с, находит нужные документы
Логические дампы 03:15, 4 базы 1.8 МБ, все 4 ОК
Ежедневный снимок 09:00, коммит в репозиторий создан snapshot-2026-10-22.md
Обучение агента подсказки по сбоям работает

Мониторинг и алерты (4)

  • Алерт ВысокийСвоп — только по хосту (было 13 копий от всех CT).
  • Алерт ВысокаяНагрузка — только по хосту (было 25 копий).
  • Панель «Сервисы: недоступные» в Grafana.
  • node_exporter на хосте — PVE раньше не попадал в метрики.

Документация

Документ Содержание
ops/MORNING.md утренний чек-лист
ops/hub/RAG.md как устроен поиск и его ограничения
ops/backup/DB-DUMPS.md дампы, восстановление, ловушки
ops/ops/INCIDENT-2026-10-22.md инциденты ночи
ops/ops/NETBOX-IMPORT.md импорт инвентаря
ops/agents/LEARNING.md как агент учится
ops/NIGHT-2026-10-22.md отчёт по спринту
Вики 30 страниц, включая Operations и Monitoring

3. Инциденты, найденные и исправленные

Инцидент 1: thin pool переполнен, бэкапы падали

Было: vzdump не мог создать снапшот (Insufficient free space), пул 81.5%, LV backups занимал 90% от 100 ГБ.

Сделано: pct fstrim на 33 CT + fstrim /mnt/backups (освободило 32 ГБ), оставлена 1 копия vzdump на гостя (22 файла/65 ГБ → 14/38 ГБ), prune-backups keep-last=1. Тестовый vzdump 140 прошёл.

Остаток риска: пул 74.7%. Нужно расширение диска или сокращение списка гостей в ежедневном бэкапе.

Инцидент 2: hub-brain падал и выдавал ложные тревоги

Было: AttributeError: no attribute 'read_yaml'; после починки — ложные «5 из 9 контейнеров лежат» и заявка restart_container postgres.

Сделано: добавлены read_yaml, status, check_group, notify, карта контейнеров; группы берутся из реестра. Но ложные срабатывания остались (сервисы вроде immich_* живут в VM104 и не видны проверке).

Решение: hub-brain.timer отключён, 7 ложных заявок отменены, очередь уведомлений очищена. Включать после выравнивания инвентаря.

Инцидент 3: logrotate падал

Дублирование /var/log/nginx/*.log в двух конфигах. Пакетный убран в /etc/logrotate-disabled/. Сейчас 0 ошибок.

Инцидент 4: Vikunja SSO

Причина: Vikunja 2.7.1 не передаёт redirect_uri, Authentik отклоняет как invalid_client. Включён regex-режим redirect_uris. Требует проверки владельцем.

4. Что осталось

Требует владельца (без него нельзя)

ID Задача Что нужно
— Домены Kavita/Audiobookshelf/NetBox/Monica 4 A-записи
B-09 Импорт инвентаря в NetBox API-токен из UI в /root/.netbox-token
B-28/29 Мост Matrix ↔ Telegram Bot Token
B-32 Парольная политика решение (риск блокировки)
— 2FA ваше решение
— RAG-генерация решение: только поиск / ждать GPU
B-30 Nextcloud SSO отложено вами
— Смена пароля NetBox admin/Netbox2026! временный
— Расширение диска thin pool 74.7%

Можно делать без владельца (следующая очередь)

Что Оценка
Включить hub-brain после выравнивания инвентаря 1–2 ч
Сократить список гостей в vzdump или расширить пул 1 ч
Индексировать больше документов в RAG (ночью, по частям) 2–3 ч
Настроить SSO для новых сервисов (после доменов) 2 ч
Проверить восстановление из дампа баз на практике 1 ч
Docmost / Outline (B-13) — новое хранилище знаний 3–4 ч, нужна память
gPodder (B-08) — нет поддерживаемого образа, требует выбора —

5. Известные ограничения

  1. Память: 78% RAM, 75% свопа. Машина работает, но тяжёлые задачи (LLM + индексация) одновременно запускать нельзя.
  2. RAG-генерация на CPU: ответ дольше 10 минут. Поиск — 6–14 с.
  3. hub-brain отключён — до выравнивания имён сервисов и контейнеров.
  4. Thin pool 74.7% — при следующем росте может снова упереться.
  5. NetBox — токен только через UI (в NetBox 4 нет drf_create_token).

6. Как проверить самостоятельно

# сервисы и группы
curl -s http://127.0.0.1:9120/status.json | python3 -m json.tool | head -40

# алерты
curl -s http://192.168.1.134:9093/api/v2/alerts

# thin pool
lvs -o lv_name,data_percent pve/data

# бэкапы
ls -lh /mnt/backups/db /mnt/backups/configs

# RAG-поиск
curl -s 'http://127.0.0.1:9120/rag?q=бекапы&mode=find'

# новые сервисы
curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.240:5000/
curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.103:8080/login/

7. Итог

Спринт дал: 4 новых сервиса, RAG-поиск, Renovate, дампы баз, ежедневные снимки, чистые алерты, 8 документов.

Главная ценность ночи — найдены и устранены два тихих инцидента: переполнение thin pool (падали бэкапы) и ложные тревоги агента, которые могли привести к перезапуску базы данных.

Главный риск — память и thin pool на пределе. Нужно решение владельца: расширять диск или сокращать состав.


Дополнение 03:00 — бэкап восстановлен

Ночное задание упало на 24 гостях из-за того же переполнения пула. Догон catchup3.py восстановил все 22 отсутствовавшие копии, дубли удалены, fstrim освободил 8.4 ГБ.

Постоянное решение: hub-pre-prune.timer в 01:45 удаляет прошлый набор архивов и освобождает место до старта задания, чтобы пик пула был равен только новому набору.

Итоговое состояние:

Показатель Значение
Сервисы 75/75
Алерты 0
Упавшие юниты 0
Архивы бэкапов 34 из 34 гостей
Thin pool 77.4%
Таймеров 18

Дополнение 04:45 — стабилизация памяти

Найдена и устранена причина ночного load average 190: CT110 жил в лимите 2048 МБ и постоянно вытеснял страницы в своп (занято 2019/2048, своп 255/256). Хостовый своп заполнился, диск был занят на 78% времени, всё ждало I/O.

Действие Результат
CT110: память 2048 → 3072, своп 256 → 768 внутри 1347/3072
VM104: 8192 → 4096 МБ своп −1.6 ГБ
immich_machine_learning (хост) остановлен −2 ядра
vm.swappiness 20 → 10 меньше вытеснения
drop_caches сброшены кэши

Load: 190 → 9.9. Renovate, который «висел» 30 минут, теперь завершается за 13 секунд — это был симптом нагрузки, не баг.

Итог ночи:

Показатель Значение
Сервисы 75/75
Алерты 0
Упавшие юниты 0
Архивы бэкапов 34/34
Конфиги 253 МБ, 124 файла
Дампы баз 4 (08 файлов с историей)
Ночная проверка 7/7
Thin pool 77.7%
Load average 9.9

Инцидент и исправления, 22.10.2026 (ночь)

1. Thin pool переполнен — бэкапы падали

Симптомы

dmeventd: Insufficient free space: 17860 extents needed, but only 257 available
vzdump: ERROR: Backup of VM 108 failed - lvcreate snapshot ... Cannot create new thin volume

Причина: thin pool pve/data заполнен на 81%, а LV backups (100 ГБ) лежит в том же пуле и занимал 90%. Для снапшота vzdump не хватало места.

Что сделано

  • pct fstrim на всех 33 CT и fstrim /mnt/backups — освободило 32 ГБ;
  • удалены лишние копии vzdump, оставлен 1 новейший на гостя (было 22 файла/65 ГБ → 13/38 ГБ);
  • задание переведено на prune-backups keep-last=1;
  • проверка: vzdump 140 прошёл успешно, каталог бэкапов 47 ГБ свободно.

Осталось: пул всё ещё ~74%. Нужно либо расширить диск, либо сократить список гостей в ежедневном бэкапе.

2. hub-brain падал и выдавал ложные тревоги

Симптом: AttributeError: module 'agent_runner' has no attribute 'read_yaml'.

Добавлены read_yaml, status, check_group, notify. После запуска мозг нашёл «5 из 9 контейнеров ядра лежат» — ложь: groups.yaml перечисляет имена контейнеров (authentik-security-server-1, matrix-synapse), а services.yaml — имена сервисов (heimdall, zigbee2mqtt). Проверка по несовпадающим именам даёт «недоступно».

Решение: таймер hub-brain.timer отключён, ложные заявки (restart_container postgres и др.) переведены в cancelled, очередь уведомлений очищена. Чинить сопоставление имён — днём.

3. logrotate падал

error: nginx-buryan:1 duplicate log entry for /var/log/nginx/access.log

Пакетный /etc/logrotate.d/nginx и наш nginx-buryan описывали одни файлы. Пакетный убран в /etc/logrotate-disabled/. Проверка: 0 ошибок, logrotate.service отработал.

Итог

Что Состояние
Бэкапы ✅ работают, 1 копия на гостя
Мозг (hub-brain) ⏸ отключён до исправления имён
logrotate ✅ 0 ошибок

Дополнение, 02:50 — бэкап 02:00 упал на 24 гостях

Что произошло

Ночное задание vzdump --all 1 успело сделать 10 гостей, а затем на каждом следующем падало:

ERROR: Backup of VM 111 failed - lvcreate snapshot ...
Cannot create new thin volume, free space ... insufficient

Причина та же: пул дошёл до 80.5%, а новые архивы пишутся до того, как удаляются старые (prune идёт по одному гостю после его бэкапа). Пик = старый набор + новый набор.

Как восстановили

  1. catchup3.py — скрипт догона:
    • находит гостей без копии за сегодня (по архивам, не по логам — важная правка: раньше логи от упавшей попытки считались копией);
    • удаляет их старые архивы, делает fstrim;
    • гонит vzdump по одному, останавливаясь при пуле >82%.
  2. Итог: 22 из 22 догнаны, всего 33 CT + VM104 = 34 архива.
  3. Дубли удалены, fstrim освободил 8.4 ГБ.

Постоянное решение

Таймер hub-pre-prune.timer, 01:45 — за 15 минут до задания:

  • удаляет все архивы, кроме сегодняшних (они всё равно будут заменены, keep-last=1);
  • делает fstrim /mnt/backups;
  • чистит логи старше 14 дней.

Так пик пула = только новый набор (~45 ГБ вместо «старый + новый»).

Проверка

сервисы: 75/75, алерты: 0, упавшие юниты: 0
архивы: 34, дампы: 4, конфиги: 9
thin pool: 77.4%, бэкапы: 76 из 98 ГБ

Ловушки

  1. ls vzdump-* включает .log — проверять наличие копии нужно по .tar.zst/.vma.zst, иначе упавшая попытка считается успехом.
  2. fstrim нужен после каждого удаления — без него место в пуле не освобождается.
  3. Порог остановки 82% — выше начинаются отказы lvcreate.

Дополнение 04:40 — load average 190 из-за лимита памяти CT110

Что произошло

После ночных задач load average вырос до 190, wa (ожидание I/O) дошёл до 78%, своп-активность — 200 МБ/с. При этом CPU был свободен на 78%: машина не считала, а ждала диск.

Причина

CT110 (office-lxc) имел лимит 2048 МБ и своп 256 МБ. Внутри — memos, stirling, grocy, vikunja, homebox, monica, beszel, dozzle, monica-db и ещё десяток контейнеров. Использование: 2019 из 2048, своп 255 из 256.

Контейнер постоянно вытеснял страницы в хостовый своп и сразу читал их обратно (thrash). Хостовый своп заполнился до 12.6 ГБ, диск был занят на 78% времени, load рос как сумма ожидающих процессов.

Что сделано

Действие Эффект
CT110: память 2048 → 3072, своп 256 → 768 внутри 1347/3072, своп 360/768
immich_machine_learning на хосте остановлен −2 ядра
VM104: 8192 → 4096 МБ своп хоста −1.6 ГБ
immich_machine_learning в VM — уже был остановлен —
vm.swappiness 20 → 10 меньше вытеснения

Результат: load 9.9 (было 190), wa 3%, сервисы 75/75.

Ловушка

Недостаточный лимит памяти LXC не виден по load на хосте. CT110 показывал «всё работает», но каждую секунду гонял страницы через своп. Симптом на хосте: высокий load при свободном CPU и высоком wa.

Проверка: pct exec <id> -- free -m — если used ≈ total, а swap заполнен, контейнеру мало памяти.

Что осталось

  • Своп хоста всё ещё занят на 11.4 ГБ — это «холодные» страницы, они не мешают, пока не понадобятся.
  • Стоит проверить остальные CT с лимитом 512 МБ, где занято >90%.