Files

481 lines
22 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Аудит ночного спринта 21–22.10.2026
_Составлен 22.10.2026, 01:55. Спринт: 23:15 → 08:15._
## 1. Состояние системы сейчас
| Показатель | Значение | Оценка |
|---|---|---|
| Сервисы | **75/75** | ✅ |
| Активных алертов | **0** | ✅ |
| CT / VM | 33 / 1 | ✅ |
| RAM | 12.2 / 15.7 ГБ | ⚠️ 78% |
| Своп | 12.0 / 16.0 ГБ | ⚠️ 75% |
| Thin pool | **74.7%** (было 81.5%) | ⚠️ |
| Диск / | 25 из 109 ГБ | ✅ |
| Бэкапы vzdump | 14 файлов, 38 ГБ, 47 ГБ свободно | ✅ |
| Дампы баз | 4 файла | ✅ |
| Архивы конфигов | 9 | ✅ |
| Таймеры | 16 активны | ✅ |
| Коммитов за спринт | 16 | ✅ |
## 2. Что сделано
### Новые сервисы (4)
| Сервис | Адрес | Состояние |
|---|---|---|
| Kavita | `192.168.1.240:5000` | ✅ работает, библиотека подключена |
| Audiobookshelf | `192.168.1.240:13378` | ✅ работает, ждёт аудиофайлы |
| NetBox | `192.168.1.103:8080` | ✅ работает, `admin`/`Netbox2026!` |
| Monica | `192.168.1.110:8081` | ✅ работает |
Все четыре: в реестре, в метриках (`buryan_service_up=1`), карточки,
пофайловый бэкап.
### Автоматизация (5)
| Что | Как работает | Проверено |
|---|---|---|
| Renovate | таймер 03:30, Gitea | нашёл 4 файла, 3 зависимости |
| RAG-поиск | `/rag?q=…&mode=find` | 6–14 с, находит нужные документы |
| Логические дампы | 03:15, 4 базы | 1.8 МБ, все 4 ОК |
| Ежедневный снимок | 09:00, коммит в репозиторий | создан `snapshot-2026-10-22.md` |
| Обучение агента | подсказки по сбоям | работает |
### Мониторинг и алерты (4)
- Алерт **ВысокийСвоп** — только по хосту (было 13 копий от всех CT).
- Алерт **ВысокаяНагрузка** — только по хосту (было 25 копий).
- Панель «Сервисы: недоступные» в Grafana.
- **node_exporter на хосте** — PVE раньше не попадал в метрики.
### Документация
| Документ | Содержание |
|---|---|
| `ops/MORNING.md` | утренний чек-лист |
| `ops/hub/RAG.md` | как устроен поиск и его ограничения |
| `ops/backup/DB-DUMPS.md` | дампы, восстановление, ловушки |
| `ops/ops/INCIDENT-2026-10-22.md` | инциденты ночи |
| `ops/ops/NETBOX-IMPORT.md` | импорт инвентаря |
| `ops/agents/LEARNING.md` | как агент учится |
| `ops/NIGHT-2026-10-22.md` | отчёт по спринту |
| Вики | 30 страниц, включая Operations и Monitoring |
## 3. Инциденты, найденные и исправленные
### Инцидент 1: thin pool переполнен, бэкапы падали
**Было**: `vzdump` не мог создать снапшот (`Insufficient free space`),
пул 81.5%, LV `backups` занимал 90% от 100 ГБ.
**Сделано**: `pct fstrim` на 33 CT + `fstrim /mnt/backups` (освободило
32 ГБ), оставлена 1 копия vzdump на гостя (22 файла/65 ГБ → 14/38 ГБ),
`prune-backups keep-last=1`. Тестовый `vzdump 140` прошёл.
**Остаток риска**: пул 74.7%. Нужно расширение диска или сокращение
списка гостей в ежедневном бэкапе.
### Инцидент 2: hub-brain падал и выдавал ложные тревоги
**Было**: `AttributeError: no attribute 'read_yaml'`; после починки —
ложные «5 из 9 контейнеров лежат» и заявка `restart_container postgres`.
**Сделано**: добавлены `read_yaml`, `status`, `check_group`, `notify`,
карта контейнеров; группы берутся из реестра. Но ложные срабатывания
остались (сервисы вроде `immich_*` живут в VM104 и не видны проверке).
**Решение**: `hub-brain.timer` **отключён**, 7 ложных заявок отменены,
очередь уведомлений очищена. Включать после выравнивания инвентаря.
### Инцидент 3: logrotate падал
Дублирование `/var/log/nginx/*.log` в двух конфигах. Пакетный убран
в `/etc/logrotate-disabled/`. Сейчас 0 ошибок.
### Инцидент 4: Vikunja SSO
Причина: Vikunja 2.7.1 не передаёт `redirect_uri`, Authentik отклоняет
как `invalid_client`. Включён regex-режим redirect_uris. Требует
проверки владельцем.
## 4. Что осталось
### Требует владельца (без него нельзя)
| ID | Задача | Что нужно |
|---|---|---|
| — | Домены Kavita/Audiobookshelf/NetBox/Monica | 4 A-записи |
| B-09 | Импорт инвентаря в NetBox | API-токен из UI в `/root/.netbox-token` |
| B-28/29 | Мост Matrix ↔ Telegram | Bot Token |
| B-32 | Парольная политика | решение (риск блокировки) |
| — | 2FA | ваше решение |
| — | RAG-генерация | решение: только поиск / ждать GPU |
| B-30 | Nextcloud SSO | отложено вами |
| — | Смена пароля NetBox | `admin`/`Netbox2026!` временный |
| — | Расширение диска | thin pool 74.7% |
### Можно делать без владельца (следующая очередь)
| Что | Оценка |
|---|---|
| Включить hub-brain после выравнивания инвентаря | 1–2 ч |
| Сократить список гостей в vzdump или расширить пул | 1 ч |
| Индексировать больше документов в RAG (ночью, по частям) | 2–3 ч |
| Настроить SSO для новых сервисов (после доменов) | 2 ч |
| Проверить восстановление из дампа баз на практике | 1 ч |
| Docmost / Outline (B-13) — новое хранилище знаний | 3–4 ч, нужна память |
| gPodder (B-08) — нет поддерживаемого образа, требует выбора | — |
## 5. Известные ограничения
1. **Память**: 78% RAM, 75% свопа. Машина работает, но тяжёлые задачи
(LLM + индексация) одновременно запускать нельзя.
2. **RAG-генерация** на CPU: ответ дольше 10 минут. Поиск — 6–14 с.
3. **hub-brain отключён** — до выравнивания имён сервисов и контейнеров.
4. **Thin pool 74.7%** — при следующем росте может снова упереться.
5. **NetBox** — токен только через UI (в NetBox 4 нет `drf_create_token`).
## 6. Как проверить самостоятельно
```bash
# сервисы и группы
curl -s http://127.0.0.1:9120/status.json | python3 -m json.tool | head -40
# алерты
curl -s http://192.168.1.134:9093/api/v2/alerts
# thin pool
lvs -o lv_name,data_percent pve/data
# бэкапы
ls -lh /mnt/backups/db /mnt/backups/configs
# RAG-поиск
curl -s 'http://127.0.0.1:9120/rag?q=бекапы&mode=find'
# новые сервисы
curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.240:5000/
curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.103:8080/login/
```
## 7. Итог
**Спринт дал**: 4 новых сервиса, RAG-поиск, Renovate, дампы баз,
ежедневные снимки, чистые алерты, 8 документов.
**Главная ценность ночи** — найдены и устранены два тихих инцидента:
переполнение thin pool (падали бэкапы) и ложные тревоги агента,
которые могли привести к перезапуску базы данных.
**Главный риск** — память и thin pool на пределе. Нужно решение
владельца: расширять диск или сокращать состав.
---
## Дополнение 03:00 — бэкап восстановлен
Ночное задание упало на 24 гостях из-за того же переполнения пула.
Догон `catchup3.py` восстановил **все 22 отсутствовавшие копии**,
дубли удалены, `fstrim` освободил 8.4 ГБ.
Постоянное решение: **`hub-pre-prune.timer` в 01:45** удаляет прошлый
набор архивов и освобождает место до старта задания, чтобы пик пула
был равен только новому набору.
Итоговое состояние:
| Показатель | Значение |
|---|---|
| Сервисы | 75/75 |
| Алерты | 0 |
| Упавшие юниты | 0 |
| Архивы бэкапов | **34 из 34 гостей** |
| Thin pool | 77.4% |
| Таймеров | 18 |
---
## Дополнение 04:45 — стабилизация памяти
Найдена и устранена причина ночного `load average 190`:
**CT110 жил в лимите 2048 МБ и постоянно вытеснял страницы в своп**
(занято 2019/2048, своп 255/256). Хостовый своп заполнился, диск был
занят на 78% времени, всё ждало I/O.
| Действие | Результат |
|---|---|
| CT110: память 2048 → 3072, своп 256 → 768 | внутри 1347/3072 |
| VM104: 8192 → 4096 МБ | своп −1.6 ГБ |
| immich_machine_learning (хост) остановлен | −2 ядра |
| `vm.swappiness` 20 → 10 | меньше вытеснения |
| drop_caches | сброшены кэши |
**Load: 190 → 9.9.** Renovate, который «висел» 30 минут, теперь
завершается за **13 секунд** — это был симптом нагрузки, не баг.
Итог ночи:
| Показатель | Значение |
|---|---|
| Сервисы | 75/75 |
| Алерты | 0 |
| Упавшие юниты | 0 |
| Архивы бэкапов | 34/34 |
| Конфиги | 253 МБ, 124 файла |
| Дампы баз | 4 (08 файлов с историей) |
| Ночная проверка | 7/7 |
| Thin pool | 77.7% |
| Load average | 9.9 |
---
# Инцидент и исправления, 22.10.2026 (ночь)
## 1. Thin pool переполнен — бэкапы падали
**Симптомы**
```
dmeventd: Insufficient free space: 17860 extents needed, but only 257 available
vzdump: ERROR: Backup of VM 108 failed - lvcreate snapshot ... Cannot create new thin volume
```
**Причина**: thin pool `pve/data` заполнен на 81%, а LV `backups` (100 ГБ)
лежит в том же пуле и занимал 90%. Для снапшота vzdump не хватало места.
**Что сделано**
- `pct fstrim` на всех 33 CT и `fstrim /mnt/backups` — освободило **32 ГБ**;
- удалены лишние копии vzdump, оставлен **1 новейший** на гостя (было 22 файла/65 ГБ → 13/38 ГБ);
- задание переведено на `prune-backups keep-last=1`;
- проверка: `vzdump 140` прошёл успешно, каталог бэкапов 47 ГБ свободно.
**Осталось**: пул всё ещё ~74%. Нужно либо расширить диск, либо
сократить список гостей в ежедневном бэкапе.
## 2. hub-brain падал и выдавал ложные тревоги
**Симптом**: `AttributeError: module 'agent_runner' has no attribute 'read_yaml'`.
Добавлены `read_yaml`, `status`, `check_group`, `notify`.
После запуска мозг **нашёл «5 из 9 контейнеров ядра лежат»** — ложь:
`groups.yaml` перечисляет имена контейнеров (`authentik-security-server-1`,
`matrix-synapse`), а `services.yaml` — имена сервисов (`heimdall`,
`zigbee2mqtt`). Проверка по несовпадающим именам даёт «недоступно».
**Решение**: таймер `hub-brain.timer` **отключён**, ложные заявки
(`restart_container postgres` и др.) переведены в `cancelled`,
очередь уведомлений очищена. Чинить сопоставление имён — днём.
## 3. logrotate падал
`error: nginx-buryan:1 duplicate log entry for /var/log/nginx/access.log`
Пакетный `/etc/logrotate.d/nginx` и наш `nginx-buryan` описывали одни
файлы. Пакетный убран в `/etc/logrotate-disabled/`. Проверка: 0 ошибок,
`logrotate.service` отработал.
## Итог
| Что | Состояние |
|---|---|
| Бэкапы | ✅ работают, 1 копия на гостя |
| Мозг (hub-brain) | ⏸ отключён до исправления имён |
| logrotate | ✅ 0 ошибок |
---
# Дополнение, 02:50 — бэкап 02:00 упал на 24 гостях
## Что произошло
Ночное задание `vzdump --all 1` успело сделать 10 гостей, а затем
на каждом следующем падало:
```
ERROR: Backup of VM 111 failed - lvcreate snapshot ...
Cannot create new thin volume, free space ... insufficient
```
Причина та же: пул дошёл до **80.5%**, а новые архивы пишутся до того,
как удаляются старые (prune идёт по одному гостю после его бэкапа).
Пик = старый набор + новый набор.
## Как восстановили
1. `catchup3.py` — скрипт догона:
- находит гостей без копии за сегодня (по **архивам**, не по логам —
важная правка: раньше логи от упавшей попытки считались копией);
- удаляет их старые архивы, делает `fstrim`;
- гонит `vzdump` по одному, останавливаясь при пуле >82%.
2. Итог: **22 из 22 догнаны**, всего 33 CT + VM104 = **34 архива**.
3. Дубли удалены, `fstrim` освободил 8.4 ГБ.
## Постоянное решение
Таймер **`hub-pre-prune.timer`, 01:45** — за 15 минут до задания:
- удаляет все архивы, кроме сегодняшних (они всё равно будут заменены,
`keep-last=1`);
- делает `fstrim /mnt/backups`;
- чистит логи старше 14 дней.
Так пик пула = только новый набор (~45 ГБ вместо «старый + новый»).
## Проверка
```
сервисы: 75/75, алерты: 0, упавшие юниты: 0
архивы: 34, дампы: 4, конфиги: 9
thin pool: 77.4%, бэкапы: 76 из 98 ГБ
```
## Ловушки
1. **`ls vzdump-*` включает `.log`** — проверять наличие копии нужно
по `.tar.zst`/`.vma.zst`, иначе упавшая попытка считается успехом.
2. **`fstrim` нужен после каждого удаления** — без него место в пуле
не освобождается.
3. **Порог остановки 82%** — выше начинаются отказы `lvcreate`.
---
# Дополнение 04:40 — load average 190 из-за лимита памяти CT110
## Что произошло
После ночных задач load average вырос до **190**, `wa` (ожидание I/O)
дошёл до 78%, своп-активность — 200 МБ/с. При этом CPU был свободен
на 78%: машина не считала, а **ждала диск**.
## Причина
`CT110` (office-lxc) имел лимит **2048 МБ и своп 256 МБ**. Внутри —
memos, stirling, grocy, vikunja, homebox, monica, beszel, dozzle,
monica-db и ещё десяток контейнеров. Использование: **2019 из 2048**,
своп **255 из 256**.
Контейнер постоянно вытеснял страницы в хостовый своп и сразу читал их
обратно (thrash). Хостовый своп заполнился до 12.6 ГБ, диск был занят
на 78% времени, load рос как сумма ожидающих процессов.
## Что сделано
| Действие | Эффект |
|---|---|
| CT110: память 2048 → **3072**, своп 256 → **768** | внутри 1347/3072, своп 360/768 |
| `immich_machine_learning` на хосте остановлен | −2 ядра |
| VM104: 8192 → **4096** МБ | своп хоста −1.6 ГБ |
| `immich_machine_learning` в VM — уже был остановлен | — |
| `vm.swappiness` 20 → 10 | меньше вытеснения |
**Результат**: load **9.9** (было 190), `wa` 3%, сервисы 75/75.
## Ловушка
**Недостаточный лимит памяти LXC не виден по load на хосте.**
CT110 показывал «всё работает», но каждую секунду гонял страницы
через своп. Симптом на хосте: высокий `load` при свободном CPU
и высоком `wa`.
Проверка: `pct exec <id> -- free -m` — если `used` ≈ `total`,
а `swap` заполнен, контейнеру мало памяти.
## Что осталось
- Своп хоста всё ещё занят на 11.4 ГБ — это «холодные» страницы,
они не мешают, пока не понадобятся.
- Стоит проверить остальные CT с лимитом 512 МБ, где занято >90%.
---
# Дополнение 05:30 — OOM-убийства Stirling и падения hub-agents
## Что нашли в журнале
```
03:54 kernel: Memory cgroup out of memory: Killed process (java) ... 908 МБ
03:55 kernel: Memory cgroup out of memory: Killed process (java) ... 840 МБ
04:06 kernel: Memory cgroup out of memory: Killed process (java) ... 901 МБ
03:31 / 04:01: Failed to start hub-agents.service
04:00: Failed to start hub-renovate.service
```
## Причина
Всё это — последствия той же нехватки памяти: в CT110 было 2 ГБ,
Stirling PDF (Java) занимал ~900 МБ, и ядро убивало его по cgroup-OOM.
Каждое убийство давало перезапуск и новую попытку. Задания
`hub-agents` и `hub-renovate` падали по таймауту, потому что `pct exec`
не успевал ответить под нагрузкой.
## Что сделано
1. **CT110: 2048 → 3072 МБ** (сделано ранее) — OOM прекратились.
2. **Stirling PDF: `JAVA_TOOL_OPTIONS=-Xmx768m`** — JVM больше не растёт
до предела. Сейчас занимает 744 МБ, статус healthy.
3. **Сброшены failed-состояния** одноразовых юнитов.
4. Проверка: `hub-agents` в 05:24 отработал штатно, `hub-renovate`
завершается за **13 секунд**.
## Итог
| Проверка | Результат |
|---|---|
| Упавшие юниты | 0 |
| Stirling | healthy, 744 МБ, домен 302 → SSO |
| hub-agents | отработал |
| hub-renovate | 13 с |
## Замечание про Monica и Kavita
В их логах есть ошибки вида `cURL error 28 (version.monicahq.com)`
и `Flurl.Http` — это попытки проверить обновления во внешней сети.
На работу не влияют, но шумят. При желании отключаются настройкой
`check for updates` в интерфейсе.
---
# 23.10 — бэкап снова упал: thin pool не освобождался
## Что произошло
Утром 23.10 в каталоге оказалось **9 архивов вместо 34**. Задание
02:00 снова падало на `lvcreate snapshot: Cannot create new thin volume`.
Пул был **80.9%**, хотя pre-prune в 01:45 удалил все 34 старых архива.
## Корень проблемы
`fstrim` на `/mnt/backups` освобождал только блоки самого LV бэкапов.
Но **основной объём занимают файловые системы гостей**: когда внутри
CT удаляются файлы (логи, кэши, старые образы), блоки остаются занятыми
в тонком пуле, пока внутри CT не выполнен `fstrim`.
За сутки гости накопили десятки гигабайт «мусорных» блоков.
## Что сделано
1. `pct fstrim` по всем 33 CT — вернул **58 ГБ** в пул.
2. `pre_prune.py` теперь делает `pct fstrim` для каждого CT
перед ночным бэкапом (не только `fstrim /mnt/backups`).
3. Догон пропущенных 24 гостей (`catchup3.py`).
## Результат
| Момент | Пул | Архивов |
|---|---|---|
| до fstrim | 80.9% | 9 |
| после `pct fstrim` | **63.8%** | 9 |
| после догона | ~70% | 34 |
## Ловушка на будущее
**Удаление файлов внутри LXC не освобождает место в тонком пуле.**
Раз в сутки нужен `pct fstrim <id>` для каждого контейнера, иначе пул
растёт монотонно, и vzdump перестаёт создавать снапшоты.