# Аудит ночного спринта 21–22.10.2026 _Составлен 22.10.2026, 01:55. Спринт: 23:15 → 08:15._ ## 1. Состояние системы сейчас | Показатель | Значение | Оценка | |---|---|---| | Сервисы | **75/75** | ✅ | | Активных алертов | **0** | ✅ | | CT / VM | 33 / 1 | ✅ | | RAM | 12.2 / 15.7 ГБ | ⚠️ 78% | | Своп | 12.0 / 16.0 ГБ | ⚠️ 75% | | Thin pool | **74.7%** (было 81.5%) | ⚠️ | | Диск / | 25 из 109 ГБ | ✅ | | Бэкапы vzdump | 14 файлов, 38 ГБ, 47 ГБ свободно | ✅ | | Дампы баз | 4 файла | ✅ | | Архивы конфигов | 9 | ✅ | | Таймеры | 16 активны | ✅ | | Коммитов за спринт | 16 | ✅ | ## 2. Что сделано ### Новые сервисы (4) | Сервис | Адрес | Состояние | |---|---|---| | Kavita | `192.168.1.240:5000` | ✅ работает, библиотека подключена | | Audiobookshelf | `192.168.1.240:13378` | ✅ работает, ждёт аудиофайлы | | NetBox | `192.168.1.103:8080` | ✅ работает, `admin`/`Netbox2026!` | | Monica | `192.168.1.110:8081` | ✅ работает | Все четыре: в реестре, в метриках (`buryan_service_up=1`), карточки, пофайловый бэкап. ### Автоматизация (5) | Что | Как работает | Проверено | |---|---|---| | Renovate | таймер 03:30, Gitea | нашёл 4 файла, 3 зависимости | | RAG-поиск | `/rag?q=…&mode=find` | 6–14 с, находит нужные документы | | Логические дампы | 03:15, 4 базы | 1.8 МБ, все 4 ОК | | Ежедневный снимок | 09:00, коммит в репозиторий | создан `snapshot-2026-10-22.md` | | Обучение агента | подсказки по сбоям | работает | ### Мониторинг и алерты (4) - Алерт **ВысокийСвоп** — только по хосту (было 13 копий от всех CT). - Алерт **ВысокаяНагрузка** — только по хосту (было 25 копий). - Панель «Сервисы: недоступные» в Grafana. - **node_exporter на хосте** — PVE раньше не попадал в метрики. ### Документация | Документ | Содержание | |---|---| | `ops/MORNING.md` | утренний чек-лист | | `ops/hub/RAG.md` | как устроен поиск и его ограничения | | `ops/backup/DB-DUMPS.md` | дампы, восстановление, ловушки | | `ops/ops/INCIDENT-2026-10-22.md` | инциденты ночи | | `ops/ops/NETBOX-IMPORT.md` | импорт инвентаря | | `ops/agents/LEARNING.md` | как агент учится | | `ops/NIGHT-2026-10-22.md` | отчёт по спринту | | Вики | 30 страниц, включая Operations и Monitoring | ## 3. Инциденты, найденные и исправленные ### Инцидент 1: thin pool переполнен, бэкапы падали **Было**: `vzdump` не мог создать снапшот (`Insufficient free space`), пул 81.5%, LV `backups` занимал 90% от 100 ГБ. **Сделано**: `pct fstrim` на 33 CT + `fstrim /mnt/backups` (освободило 32 ГБ), оставлена 1 копия vzdump на гостя (22 файла/65 ГБ → 14/38 ГБ), `prune-backups keep-last=1`. Тестовый `vzdump 140` прошёл. **Остаток риска**: пул 74.7%. Нужно расширение диска или сокращение списка гостей в ежедневном бэкапе. ### Инцидент 2: hub-brain падал и выдавал ложные тревоги **Было**: `AttributeError: no attribute 'read_yaml'`; после починки — ложные «5 из 9 контейнеров лежат» и заявка `restart_container postgres`. **Сделано**: добавлены `read_yaml`, `status`, `check_group`, `notify`, карта контейнеров; группы берутся из реестра. Но ложные срабатывания остались (сервисы вроде `immich_*` живут в VM104 и не видны проверке). **Решение**: `hub-brain.timer` **отключён**, 7 ложных заявок отменены, очередь уведомлений очищена. Включать после выравнивания инвентаря. ### Инцидент 3: logrotate падал Дублирование `/var/log/nginx/*.log` в двух конфигах. Пакетный убран в `/etc/logrotate-disabled/`. Сейчас 0 ошибок. ### Инцидент 4: Vikunja SSO Причина: Vikunja 2.7.1 не передаёт `redirect_uri`, Authentik отклоняет как `invalid_client`. Включён regex-режим redirect_uris. Требует проверки владельцем. ## 4. Что осталось ### Требует владельца (без него нельзя) | ID | Задача | Что нужно | |---|---|---| | — | Домены Kavita/Audiobookshelf/NetBox/Monica | 4 A-записи | | B-09 | Импорт инвентаря в NetBox | API-токен из UI в `/root/.netbox-token` | | B-28/29 | Мост Matrix ↔ Telegram | Bot Token | | B-32 | Парольная политика | решение (риск блокировки) | | — | 2FA | ваше решение | | — | RAG-генерация | решение: только поиск / ждать GPU | | B-30 | Nextcloud SSO | отложено вами | | — | Смена пароля NetBox | `admin`/`Netbox2026!` временный | | — | Расширение диска | thin pool 74.7% | ### Можно делать без владельца (следующая очередь) | Что | Оценка | |---|---| | Включить hub-brain после выравнивания инвентаря | 1–2 ч | | Сократить список гостей в vzdump или расширить пул | 1 ч | | Индексировать больше документов в RAG (ночью, по частям) | 2–3 ч | | Настроить SSO для новых сервисов (после доменов) | 2 ч | | Проверить восстановление из дампа баз на практике | 1 ч | | Docmost / Outline (B-13) — новое хранилище знаний | 3–4 ч, нужна память | | gPodder (B-08) — нет поддерживаемого образа, требует выбора | — | ## 5. Известные ограничения 1. **Память**: 78% RAM, 75% свопа. Машина работает, но тяжёлые задачи (LLM + индексация) одновременно запускать нельзя. 2. **RAG-генерация** на CPU: ответ дольше 10 минут. Поиск — 6–14 с. 3. **hub-brain отключён** — до выравнивания имён сервисов и контейнеров. 4. **Thin pool 74.7%** — при следующем росте может снова упереться. 5. **NetBox** — токен только через UI (в NetBox 4 нет `drf_create_token`). ## 6. Как проверить самостоятельно ```bash # сервисы и группы curl -s http://127.0.0.1:9120/status.json | python3 -m json.tool | head -40 # алерты curl -s http://192.168.1.134:9093/api/v2/alerts # thin pool lvs -o lv_name,data_percent pve/data # бэкапы ls -lh /mnt/backups/db /mnt/backups/configs # RAG-поиск curl -s 'http://127.0.0.1:9120/rag?q=бекапы&mode=find' # новые сервисы curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.240:5000/ curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.103:8080/login/ ``` ## 7. Итог **Спринт дал**: 4 новых сервиса, RAG-поиск, Renovate, дампы баз, ежедневные снимки, чистые алерты, 8 документов. **Главная ценность ночи** — найдены и устранены два тихих инцидента: переполнение thin pool (падали бэкапы) и ложные тревоги агента, которые могли привести к перезапуску базы данных. **Главный риск** — память и thin pool на пределе. Нужно решение владельца: расширять диск или сокращать состав. --- ## Дополнение 03:00 — бэкап восстановлен Ночное задание упало на 24 гостях из-за того же переполнения пула. Догон `catchup3.py` восстановил **все 22 отсутствовавшие копии**, дубли удалены, `fstrim` освободил 8.4 ГБ. Постоянное решение: **`hub-pre-prune.timer` в 01:45** удаляет прошлый набор архивов и освобождает место до старта задания, чтобы пик пула был равен только новому набору. Итоговое состояние: | Показатель | Значение | |---|---| | Сервисы | 75/75 | | Алерты | 0 | | Упавшие юниты | 0 | | Архивы бэкапов | **34 из 34 гостей** | | Thin pool | 77.4% | | Таймеров | 18 | --- ## Дополнение 04:45 — стабилизация памяти Найдена и устранена причина ночного `load average 190`: **CT110 жил в лимите 2048 МБ и постоянно вытеснял страницы в своп** (занято 2019/2048, своп 255/256). Хостовый своп заполнился, диск был занят на 78% времени, всё ждало I/O. | Действие | Результат | |---|---| | CT110: память 2048 → 3072, своп 256 → 768 | внутри 1347/3072 | | VM104: 8192 → 4096 МБ | своп −1.6 ГБ | | immich_machine_learning (хост) остановлен | −2 ядра | | `vm.swappiness` 20 → 10 | меньше вытеснения | | drop_caches | сброшены кэши | **Load: 190 → 9.9.** Renovate, который «висел» 30 минут, теперь завершается за **13 секунд** — это был симптом нагрузки, не баг. Итог ночи: | Показатель | Значение | |---|---| | Сервисы | 75/75 | | Алерты | 0 | | Упавшие юниты | 0 | | Архивы бэкапов | 34/34 | | Конфиги | 253 МБ, 124 файла | | Дампы баз | 4 (08 файлов с историей) | | Ночная проверка | 7/7 | | Thin pool | 77.7% | | Load average | 9.9 | --- # Инцидент и исправления, 22.10.2026 (ночь) ## 1. Thin pool переполнен — бэкапы падали **Симптомы** ``` dmeventd: Insufficient free space: 17860 extents needed, but only 257 available vzdump: ERROR: Backup of VM 108 failed - lvcreate snapshot ... Cannot create new thin volume ``` **Причина**: thin pool `pve/data` заполнен на 81%, а LV `backups` (100 ГБ) лежит в том же пуле и занимал 90%. Для снапшота vzdump не хватало места. **Что сделано** - `pct fstrim` на всех 33 CT и `fstrim /mnt/backups` — освободило **32 ГБ**; - удалены лишние копии vzdump, оставлен **1 новейший** на гостя (было 22 файла/65 ГБ → 13/38 ГБ); - задание переведено на `prune-backups keep-last=1`; - проверка: `vzdump 140` прошёл успешно, каталог бэкапов 47 ГБ свободно. **Осталось**: пул всё ещё ~74%. Нужно либо расширить диск, либо сократить список гостей в ежедневном бэкапе. ## 2. hub-brain падал и выдавал ложные тревоги **Симптом**: `AttributeError: module 'agent_runner' has no attribute 'read_yaml'`. Добавлены `read_yaml`, `status`, `check_group`, `notify`. После запуска мозг **нашёл «5 из 9 контейнеров ядра лежат»** — ложь: `groups.yaml` перечисляет имена контейнеров (`authentik-security-server-1`, `matrix-synapse`), а `services.yaml` — имена сервисов (`heimdall`, `zigbee2mqtt`). Проверка по несовпадающим именам даёт «недоступно». **Решение**: таймер `hub-brain.timer` **отключён**, ложные заявки (`restart_container postgres` и др.) переведены в `cancelled`, очередь уведомлений очищена. Чинить сопоставление имён — днём. ## 3. logrotate падал `error: nginx-buryan:1 duplicate log entry for /var/log/nginx/access.log` Пакетный `/etc/logrotate.d/nginx` и наш `nginx-buryan` описывали одни файлы. Пакетный убран в `/etc/logrotate-disabled/`. Проверка: 0 ошибок, `logrotate.service` отработал. ## Итог | Что | Состояние | |---|---| | Бэкапы | ✅ работают, 1 копия на гостя | | Мозг (hub-brain) | ⏸ отключён до исправления имён | | logrotate | ✅ 0 ошибок | --- # Дополнение, 02:50 — бэкап 02:00 упал на 24 гостях ## Что произошло Ночное задание `vzdump --all 1` успело сделать 10 гостей, а затем на каждом следующем падало: ``` ERROR: Backup of VM 111 failed - lvcreate snapshot ... Cannot create new thin volume, free space ... insufficient ``` Причина та же: пул дошёл до **80.5%**, а новые архивы пишутся до того, как удаляются старые (prune идёт по одному гостю после его бэкапа). Пик = старый набор + новый набор. ## Как восстановили 1. `catchup3.py` — скрипт догона: - находит гостей без копии за сегодня (по **архивам**, не по логам — важная правка: раньше логи от упавшей попытки считались копией); - удаляет их старые архивы, делает `fstrim`; - гонит `vzdump` по одному, останавливаясь при пуле >82%. 2. Итог: **22 из 22 догнаны**, всего 33 CT + VM104 = **34 архива**. 3. Дубли удалены, `fstrim` освободил 8.4 ГБ. ## Постоянное решение Таймер **`hub-pre-prune.timer`, 01:45** — за 15 минут до задания: - удаляет все архивы, кроме сегодняшних (они всё равно будут заменены, `keep-last=1`); - делает `fstrim /mnt/backups`; - чистит логи старше 14 дней. Так пик пула = только новый набор (~45 ГБ вместо «старый + новый»). ## Проверка ``` сервисы: 75/75, алерты: 0, упавшие юниты: 0 архивы: 34, дампы: 4, конфиги: 9 thin pool: 77.4%, бэкапы: 76 из 98 ГБ ``` ## Ловушки 1. **`ls vzdump-*` включает `.log`** — проверять наличие копии нужно по `.tar.zst`/`.vma.zst`, иначе упавшая попытка считается успехом. 2. **`fstrim` нужен после каждого удаления** — без него место в пуле не освобождается. 3. **Порог остановки 82%** — выше начинаются отказы `lvcreate`. --- # Дополнение 04:40 — load average 190 из-за лимита памяти CT110 ## Что произошло После ночных задач load average вырос до **190**, `wa` (ожидание I/O) дошёл до 78%, своп-активность — 200 МБ/с. При этом CPU был свободен на 78%: машина не считала, а **ждала диск**. ## Причина `CT110` (office-lxc) имел лимит **2048 МБ и своп 256 МБ**. Внутри — memos, stirling, grocy, vikunja, homebox, monica, beszel, dozzle, monica-db и ещё десяток контейнеров. Использование: **2019 из 2048**, своп **255 из 256**. Контейнер постоянно вытеснял страницы в хостовый своп и сразу читал их обратно (thrash). Хостовый своп заполнился до 12.6 ГБ, диск был занят на 78% времени, load рос как сумма ожидающих процессов. ## Что сделано | Действие | Эффект | |---|---| | CT110: память 2048 → **3072**, своп 256 → **768** | внутри 1347/3072, своп 360/768 | | `immich_machine_learning` на хосте остановлен | −2 ядра | | VM104: 8192 → **4096** МБ | своп хоста −1.6 ГБ | | `immich_machine_learning` в VM — уже был остановлен | — | | `vm.swappiness` 20 → 10 | меньше вытеснения | **Результат**: load **9.9** (было 190), `wa` 3%, сервисы 75/75. ## Ловушка **Недостаточный лимит памяти LXC не виден по load на хосте.** CT110 показывал «всё работает», но каждую секунду гонял страницы через своп. Симптом на хосте: высокий `load` при свободном CPU и высоком `wa`. Проверка: `pct exec -- free -m` — если `used` ≈ `total`, а `swap` заполнен, контейнеру мало памяти. ## Что осталось - Своп хоста всё ещё занят на 11.4 ГБ — это «холодные» страницы, они не мешают, пока не понадобятся. - Стоит проверить остальные CT с лимитом 512 МБ, где занято >90%. --- # Дополнение 05:30 — OOM-убийства Stirling и падения hub-agents ## Что нашли в журнале ``` 03:54 kernel: Memory cgroup out of memory: Killed process (java) ... 908 МБ 03:55 kernel: Memory cgroup out of memory: Killed process (java) ... 840 МБ 04:06 kernel: Memory cgroup out of memory: Killed process (java) ... 901 МБ 03:31 / 04:01: Failed to start hub-agents.service 04:00: Failed to start hub-renovate.service ``` ## Причина Всё это — последствия той же нехватки памяти: в CT110 было 2 ГБ, Stirling PDF (Java) занимал ~900 МБ, и ядро убивало его по cgroup-OOM. Каждое убийство давало перезапуск и новую попытку. Задания `hub-agents` и `hub-renovate` падали по таймауту, потому что `pct exec` не успевал ответить под нагрузкой. ## Что сделано 1. **CT110: 2048 → 3072 МБ** (сделано ранее) — OOM прекратились. 2. **Stirling PDF: `JAVA_TOOL_OPTIONS=-Xmx768m`** — JVM больше не растёт до предела. Сейчас занимает 744 МБ, статус healthy. 3. **Сброшены failed-состояния** одноразовых юнитов. 4. Проверка: `hub-agents` в 05:24 отработал штатно, `hub-renovate` завершается за **13 секунд**. ## Итог | Проверка | Результат | |---|---| | Упавшие юниты | 0 | | Stirling | healthy, 744 МБ, домен 302 → SSO | | hub-agents | отработал | | hub-renovate | 13 с | ## Замечание про Monica и Kavita В их логах есть ошибки вида `cURL error 28 (version.monicahq.com)` и `Flurl.Http` — это попытки проверить обновления во внешней сети. На работу не влияют, но шумят. При желании отключаются настройкой `check for updates` в интерфейсе. --- # 23.10 — бэкап снова упал: thin pool не освобождался ## Что произошло Утром 23.10 в каталоге оказалось **9 архивов вместо 34**. Задание 02:00 снова падало на `lvcreate snapshot: Cannot create new thin volume`. Пул был **80.9%**, хотя pre-prune в 01:45 удалил все 34 старых архива. ## Корень проблемы `fstrim` на `/mnt/backups` освобождал только блоки самого LV бэкапов. Но **основной объём занимают файловые системы гостей**: когда внутри CT удаляются файлы (логи, кэши, старые образы), блоки остаются занятыми в тонком пуле, пока внутри CT не выполнен `fstrim`. За сутки гости накопили десятки гигабайт «мусорных» блоков. ## Что сделано 1. `pct fstrim` по всем 33 CT — вернул **58 ГБ** в пул. 2. `pre_prune.py` теперь делает `pct fstrim` для каждого CT перед ночным бэкапом (не только `fstrim /mnt/backups`). 3. Догон пропущенных 24 гостей (`catchup3.py`). ## Результат | Момент | Пул | Архивов | |---|---|---| | до fstrim | 80.9% | 9 | | после `pct fstrim` | **63.8%** | 9 | | после догона | ~70% | 34 | ## Ловушка на будущее **Удаление файлов внутри LXC не освобождает место в тонком пуле.** Раз в сутки нужен `pct fstrim ` для каждого контейнера, иначе пул растёт монотонно, и vzdump перестаёт создавать снапшоты.