481 lines
22 KiB
Markdown
481 lines
22 KiB
Markdown
# Аудит ночного спринта 21–22.10.2026
|
||
|
||
_Составлен 22.10.2026, 01:55. Спринт: 23:15 → 08:15._
|
||
|
||
## 1. Состояние системы сейчас
|
||
|
||
| Показатель | Значение | Оценка |
|
||
|---|---|---|
|
||
| Сервисы | **75/75** | ✅ |
|
||
| Активных алертов | **0** | ✅ |
|
||
| CT / VM | 33 / 1 | ✅ |
|
||
| RAM | 12.2 / 15.7 ГБ | ⚠️ 78% |
|
||
| Своп | 12.0 / 16.0 ГБ | ⚠️ 75% |
|
||
| Thin pool | **74.7%** (было 81.5%) | ⚠️ |
|
||
| Диск / | 25 из 109 ГБ | ✅ |
|
||
| Бэкапы vzdump | 14 файлов, 38 ГБ, 47 ГБ свободно | ✅ |
|
||
| Дампы баз | 4 файла | ✅ |
|
||
| Архивы конфигов | 9 | ✅ |
|
||
| Таймеры | 16 активны | ✅ |
|
||
| Коммитов за спринт | 16 | ✅ |
|
||
|
||
## 2. Что сделано
|
||
|
||
### Новые сервисы (4)
|
||
|
||
| Сервис | Адрес | Состояние |
|
||
|---|---|---|
|
||
| Kavita | `192.168.1.240:5000` | ✅ работает, библиотека подключена |
|
||
| Audiobookshelf | `192.168.1.240:13378` | ✅ работает, ждёт аудиофайлы |
|
||
| NetBox | `192.168.1.103:8080` | ✅ работает, `admin`/`Netbox2026!` |
|
||
| Monica | `192.168.1.110:8081` | ✅ работает |
|
||
|
||
Все четыре: в реестре, в метриках (`buryan_service_up=1`), карточки,
|
||
пофайловый бэкап.
|
||
|
||
### Автоматизация (5)
|
||
|
||
| Что | Как работает | Проверено |
|
||
|---|---|---|
|
||
| Renovate | таймер 03:30, Gitea | нашёл 4 файла, 3 зависимости |
|
||
| RAG-поиск | `/rag?q=…&mode=find` | 6–14 с, находит нужные документы |
|
||
| Логические дампы | 03:15, 4 базы | 1.8 МБ, все 4 ОК |
|
||
| Ежедневный снимок | 09:00, коммит в репозиторий | создан `snapshot-2026-10-22.md` |
|
||
| Обучение агента | подсказки по сбоям | работает |
|
||
|
||
### Мониторинг и алерты (4)
|
||
|
||
- Алерт **ВысокийСвоп** — только по хосту (было 13 копий от всех CT).
|
||
- Алерт **ВысокаяНагрузка** — только по хосту (было 25 копий).
|
||
- Панель «Сервисы: недоступные» в Grafana.
|
||
- **node_exporter на хосте** — PVE раньше не попадал в метрики.
|
||
|
||
### Документация
|
||
|
||
| Документ | Содержание |
|
||
|---|---|
|
||
| `ops/MORNING.md` | утренний чек-лист |
|
||
| `ops/hub/RAG.md` | как устроен поиск и его ограничения |
|
||
| `ops/backup/DB-DUMPS.md` | дампы, восстановление, ловушки |
|
||
| `ops/ops/INCIDENT-2026-10-22.md` | инциденты ночи |
|
||
| `ops/ops/NETBOX-IMPORT.md` | импорт инвентаря |
|
||
| `ops/agents/LEARNING.md` | как агент учится |
|
||
| `ops/NIGHT-2026-10-22.md` | отчёт по спринту |
|
||
| Вики | 30 страниц, включая Operations и Monitoring |
|
||
|
||
## 3. Инциденты, найденные и исправленные
|
||
|
||
### Инцидент 1: thin pool переполнен, бэкапы падали
|
||
|
||
**Было**: `vzdump` не мог создать снапшот (`Insufficient free space`),
|
||
пул 81.5%, LV `backups` занимал 90% от 100 ГБ.
|
||
|
||
**Сделано**: `pct fstrim` на 33 CT + `fstrim /mnt/backups` (освободило
|
||
32 ГБ), оставлена 1 копия vzdump на гостя (22 файла/65 ГБ → 14/38 ГБ),
|
||
`prune-backups keep-last=1`. Тестовый `vzdump 140` прошёл.
|
||
|
||
**Остаток риска**: пул 74.7%. Нужно расширение диска или сокращение
|
||
списка гостей в ежедневном бэкапе.
|
||
|
||
### Инцидент 2: hub-brain падал и выдавал ложные тревоги
|
||
|
||
**Было**: `AttributeError: no attribute 'read_yaml'`; после починки —
|
||
ложные «5 из 9 контейнеров лежат» и заявка `restart_container postgres`.
|
||
|
||
**Сделано**: добавлены `read_yaml`, `status`, `check_group`, `notify`,
|
||
карта контейнеров; группы берутся из реестра. Но ложные срабатывания
|
||
остались (сервисы вроде `immich_*` живут в VM104 и не видны проверке).
|
||
|
||
**Решение**: `hub-brain.timer` **отключён**, 7 ложных заявок отменены,
|
||
очередь уведомлений очищена. Включать после выравнивания инвентаря.
|
||
|
||
### Инцидент 3: logrotate падал
|
||
|
||
Дублирование `/var/log/nginx/*.log` в двух конфигах. Пакетный убран
|
||
в `/etc/logrotate-disabled/`. Сейчас 0 ошибок.
|
||
|
||
### Инцидент 4: Vikunja SSO
|
||
|
||
Причина: Vikunja 2.7.1 не передаёт `redirect_uri`, Authentik отклоняет
|
||
как `invalid_client`. Включён regex-режим redirect_uris. Требует
|
||
проверки владельцем.
|
||
|
||
## 4. Что осталось
|
||
|
||
### Требует владельца (без него нельзя)
|
||
|
||
| ID | Задача | Что нужно |
|
||
|---|---|---|
|
||
| — | Домены Kavita/Audiobookshelf/NetBox/Monica | 4 A-записи |
|
||
| B-09 | Импорт инвентаря в NetBox | API-токен из UI в `/root/.netbox-token` |
|
||
| B-28/29 | Мост Matrix ↔ Telegram | Bot Token |
|
||
| B-32 | Парольная политика | решение (риск блокировки) |
|
||
| — | 2FA | ваше решение |
|
||
| — | RAG-генерация | решение: только поиск / ждать GPU |
|
||
| B-30 | Nextcloud SSO | отложено вами |
|
||
| — | Смена пароля NetBox | `admin`/`Netbox2026!` временный |
|
||
| — | Расширение диска | thin pool 74.7% |
|
||
|
||
### Можно делать без владельца (следующая очередь)
|
||
|
||
| Что | Оценка |
|
||
|---|---|
|
||
| Включить hub-brain после выравнивания инвентаря | 1–2 ч |
|
||
| Сократить список гостей в vzdump или расширить пул | 1 ч |
|
||
| Индексировать больше документов в RAG (ночью, по частям) | 2–3 ч |
|
||
| Настроить SSO для новых сервисов (после доменов) | 2 ч |
|
||
| Проверить восстановление из дампа баз на практике | 1 ч |
|
||
| Docmost / Outline (B-13) — новое хранилище знаний | 3–4 ч, нужна память |
|
||
| gPodder (B-08) — нет поддерживаемого образа, требует выбора | — |
|
||
|
||
## 5. Известные ограничения
|
||
|
||
1. **Память**: 78% RAM, 75% свопа. Машина работает, но тяжёлые задачи
|
||
(LLM + индексация) одновременно запускать нельзя.
|
||
2. **RAG-генерация** на CPU: ответ дольше 10 минут. Поиск — 6–14 с.
|
||
3. **hub-brain отключён** — до выравнивания имён сервисов и контейнеров.
|
||
4. **Thin pool 74.7%** — при следующем росте может снова упереться.
|
||
5. **NetBox** — токен только через UI (в NetBox 4 нет `drf_create_token`).
|
||
|
||
## 6. Как проверить самостоятельно
|
||
|
||
```bash
|
||
# сервисы и группы
|
||
curl -s http://127.0.0.1:9120/status.json | python3 -m json.tool | head -40
|
||
|
||
# алерты
|
||
curl -s http://192.168.1.134:9093/api/v2/alerts
|
||
|
||
# thin pool
|
||
lvs -o lv_name,data_percent pve/data
|
||
|
||
# бэкапы
|
||
ls -lh /mnt/backups/db /mnt/backups/configs
|
||
|
||
# RAG-поиск
|
||
curl -s 'http://127.0.0.1:9120/rag?q=бекапы&mode=find'
|
||
|
||
# новые сервисы
|
||
curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.240:5000/
|
||
curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.103:8080/login/
|
||
```
|
||
|
||
## 7. Итог
|
||
|
||
**Спринт дал**: 4 новых сервиса, RAG-поиск, Renovate, дампы баз,
|
||
ежедневные снимки, чистые алерты, 8 документов.
|
||
|
||
**Главная ценность ночи** — найдены и устранены два тихих инцидента:
|
||
переполнение thin pool (падали бэкапы) и ложные тревоги агента,
|
||
которые могли привести к перезапуску базы данных.
|
||
|
||
**Главный риск** — память и thin pool на пределе. Нужно решение
|
||
владельца: расширять диск или сокращать состав.
|
||
|
||
|
||
---
|
||
|
||
## Дополнение 03:00 — бэкап восстановлен
|
||
|
||
Ночное задание упало на 24 гостях из-за того же переполнения пула.
|
||
Догон `catchup3.py` восстановил **все 22 отсутствовавшие копии**,
|
||
дубли удалены, `fstrim` освободил 8.4 ГБ.
|
||
|
||
Постоянное решение: **`hub-pre-prune.timer` в 01:45** удаляет прошлый
|
||
набор архивов и освобождает место до старта задания, чтобы пик пула
|
||
был равен только новому набору.
|
||
|
||
Итоговое состояние:
|
||
|
||
| Показатель | Значение |
|
||
|---|---|
|
||
| Сервисы | 75/75 |
|
||
| Алерты | 0 |
|
||
| Упавшие юниты | 0 |
|
||
| Архивы бэкапов | **34 из 34 гостей** |
|
||
| Thin pool | 77.4% |
|
||
| Таймеров | 18 |
|
||
|
||
|
||
---
|
||
|
||
## Дополнение 04:45 — стабилизация памяти
|
||
|
||
Найдена и устранена причина ночного `load average 190`:
|
||
**CT110 жил в лимите 2048 МБ и постоянно вытеснял страницы в своп**
|
||
(занято 2019/2048, своп 255/256). Хостовый своп заполнился, диск был
|
||
занят на 78% времени, всё ждало I/O.
|
||
|
||
| Действие | Результат |
|
||
|---|---|
|
||
| CT110: память 2048 → 3072, своп 256 → 768 | внутри 1347/3072 |
|
||
| VM104: 8192 → 4096 МБ | своп −1.6 ГБ |
|
||
| immich_machine_learning (хост) остановлен | −2 ядра |
|
||
| `vm.swappiness` 20 → 10 | меньше вытеснения |
|
||
| drop_caches | сброшены кэши |
|
||
|
||
**Load: 190 → 9.9.** Renovate, который «висел» 30 минут, теперь
|
||
завершается за **13 секунд** — это был симптом нагрузки, не баг.
|
||
|
||
Итог ночи:
|
||
|
||
| Показатель | Значение |
|
||
|---|---|
|
||
| Сервисы | 75/75 |
|
||
| Алерты | 0 |
|
||
| Упавшие юниты | 0 |
|
||
| Архивы бэкапов | 34/34 |
|
||
| Конфиги | 253 МБ, 124 файла |
|
||
| Дампы баз | 4 (08 файлов с историей) |
|
||
| Ночная проверка | 7/7 |
|
||
| Thin pool | 77.7% |
|
||
| Load average | 9.9 |
|
||
|
||
|
||
---
|
||
|
||
# Инцидент и исправления, 22.10.2026 (ночь)
|
||
|
||
## 1. Thin pool переполнен — бэкапы падали
|
||
|
||
**Симптомы**
|
||
|
||
```
|
||
dmeventd: Insufficient free space: 17860 extents needed, but only 257 available
|
||
vzdump: ERROR: Backup of VM 108 failed - lvcreate snapshot ... Cannot create new thin volume
|
||
```
|
||
|
||
**Причина**: thin pool `pve/data` заполнен на 81%, а LV `backups` (100 ГБ)
|
||
лежит в том же пуле и занимал 90%. Для снапшота vzdump не хватало места.
|
||
|
||
**Что сделано**
|
||
|
||
- `pct fstrim` на всех 33 CT и `fstrim /mnt/backups` — освободило **32 ГБ**;
|
||
- удалены лишние копии vzdump, оставлен **1 новейший** на гостя (было 22 файла/65 ГБ → 13/38 ГБ);
|
||
- задание переведено на `prune-backups keep-last=1`;
|
||
- проверка: `vzdump 140` прошёл успешно, каталог бэкапов 47 ГБ свободно.
|
||
|
||
**Осталось**: пул всё ещё ~74%. Нужно либо расширить диск, либо
|
||
сократить список гостей в ежедневном бэкапе.
|
||
|
||
## 2. hub-brain падал и выдавал ложные тревоги
|
||
|
||
**Симптом**: `AttributeError: module 'agent_runner' has no attribute 'read_yaml'`.
|
||
|
||
Добавлены `read_yaml`, `status`, `check_group`, `notify`.
|
||
После запуска мозг **нашёл «5 из 9 контейнеров ядра лежат»** — ложь:
|
||
`groups.yaml` перечисляет имена контейнеров (`authentik-security-server-1`,
|
||
`matrix-synapse`), а `services.yaml` — имена сервисов (`heimdall`,
|
||
`zigbee2mqtt`). Проверка по несовпадающим именам даёт «недоступно».
|
||
|
||
**Решение**: таймер `hub-brain.timer` **отключён**, ложные заявки
|
||
(`restart_container postgres` и др.) переведены в `cancelled`,
|
||
очередь уведомлений очищена. Чинить сопоставление имён — днём.
|
||
|
||
## 3. logrotate падал
|
||
|
||
`error: nginx-buryan:1 duplicate log entry for /var/log/nginx/access.log`
|
||
|
||
Пакетный `/etc/logrotate.d/nginx` и наш `nginx-buryan` описывали одни
|
||
файлы. Пакетный убран в `/etc/logrotate-disabled/`. Проверка: 0 ошибок,
|
||
`logrotate.service` отработал.
|
||
|
||
## Итог
|
||
|
||
| Что | Состояние |
|
||
|---|---|
|
||
| Бэкапы | ✅ работают, 1 копия на гостя |
|
||
| Мозг (hub-brain) | ⏸ отключён до исправления имён |
|
||
| logrotate | ✅ 0 ошибок |
|
||
|
||
---
|
||
|
||
# Дополнение, 02:50 — бэкап 02:00 упал на 24 гостях
|
||
|
||
## Что произошло
|
||
|
||
Ночное задание `vzdump --all 1` успело сделать 10 гостей, а затем
|
||
на каждом следующем падало:
|
||
|
||
```
|
||
ERROR: Backup of VM 111 failed - lvcreate snapshot ...
|
||
Cannot create new thin volume, free space ... insufficient
|
||
```
|
||
|
||
Причина та же: пул дошёл до **80.5%**, а новые архивы пишутся до того,
|
||
как удаляются старые (prune идёт по одному гостю после его бэкапа).
|
||
Пик = старый набор + новый набор.
|
||
|
||
## Как восстановили
|
||
|
||
1. `catchup3.py` — скрипт догона:
|
||
- находит гостей без копии за сегодня (по **архивам**, не по логам —
|
||
важная правка: раньше логи от упавшей попытки считались копией);
|
||
- удаляет их старые архивы, делает `fstrim`;
|
||
- гонит `vzdump` по одному, останавливаясь при пуле >82%.
|
||
2. Итог: **22 из 22 догнаны**, всего 33 CT + VM104 = **34 архива**.
|
||
3. Дубли удалены, `fstrim` освободил 8.4 ГБ.
|
||
|
||
## Постоянное решение
|
||
|
||
Таймер **`hub-pre-prune.timer`, 01:45** — за 15 минут до задания:
|
||
|
||
- удаляет все архивы, кроме сегодняшних (они всё равно будут заменены,
|
||
`keep-last=1`);
|
||
- делает `fstrim /mnt/backups`;
|
||
- чистит логи старше 14 дней.
|
||
|
||
Так пик пула = только новый набор (~45 ГБ вместо «старый + новый»).
|
||
|
||
## Проверка
|
||
|
||
```
|
||
сервисы: 75/75, алерты: 0, упавшие юниты: 0
|
||
архивы: 34, дампы: 4, конфиги: 9
|
||
thin pool: 77.4%, бэкапы: 76 из 98 ГБ
|
||
```
|
||
|
||
## Ловушки
|
||
|
||
1. **`ls vzdump-*` включает `.log`** — проверять наличие копии нужно
|
||
по `.tar.zst`/`.vma.zst`, иначе упавшая попытка считается успехом.
|
||
2. **`fstrim` нужен после каждого удаления** — без него место в пуле
|
||
не освобождается.
|
||
3. **Порог остановки 82%** — выше начинаются отказы `lvcreate`.
|
||
|
||
---
|
||
|
||
# Дополнение 04:40 — load average 190 из-за лимита памяти CT110
|
||
|
||
## Что произошло
|
||
|
||
После ночных задач load average вырос до **190**, `wa` (ожидание I/O)
|
||
дошёл до 78%, своп-активность — 200 МБ/с. При этом CPU был свободен
|
||
на 78%: машина не считала, а **ждала диск**.
|
||
|
||
## Причина
|
||
|
||
`CT110` (office-lxc) имел лимит **2048 МБ и своп 256 МБ**. Внутри —
|
||
memos, stirling, grocy, vikunja, homebox, monica, beszel, dozzle,
|
||
monica-db и ещё десяток контейнеров. Использование: **2019 из 2048**,
|
||
своп **255 из 256**.
|
||
|
||
Контейнер постоянно вытеснял страницы в хостовый своп и сразу читал их
|
||
обратно (thrash). Хостовый своп заполнился до 12.6 ГБ, диск был занят
|
||
на 78% времени, load рос как сумма ожидающих процессов.
|
||
|
||
## Что сделано
|
||
|
||
| Действие | Эффект |
|
||
|---|---|
|
||
| CT110: память 2048 → **3072**, своп 256 → **768** | внутри 1347/3072, своп 360/768 |
|
||
| `immich_machine_learning` на хосте остановлен | −2 ядра |
|
||
| VM104: 8192 → **4096** МБ | своп хоста −1.6 ГБ |
|
||
| `immich_machine_learning` в VM — уже был остановлен | — |
|
||
| `vm.swappiness` 20 → 10 | меньше вытеснения |
|
||
|
||
**Результат**: load **9.9** (было 190), `wa` 3%, сервисы 75/75.
|
||
|
||
## Ловушка
|
||
|
||
**Недостаточный лимит памяти LXC не виден по load на хосте.**
|
||
CT110 показывал «всё работает», но каждую секунду гонял страницы
|
||
через своп. Симптом на хосте: высокий `load` при свободном CPU
|
||
и высоком `wa`.
|
||
|
||
Проверка: `pct exec <id> -- free -m` — если `used` ≈ `total`,
|
||
а `swap` заполнен, контейнеру мало памяти.
|
||
|
||
## Что осталось
|
||
|
||
- Своп хоста всё ещё занят на 11.4 ГБ — это «холодные» страницы,
|
||
они не мешают, пока не понадобятся.
|
||
- Стоит проверить остальные CT с лимитом 512 МБ, где занято >90%.
|
||
|
||
---
|
||
|
||
# Дополнение 05:30 — OOM-убийства Stirling и падения hub-agents
|
||
|
||
## Что нашли в журнале
|
||
|
||
```
|
||
03:54 kernel: Memory cgroup out of memory: Killed process (java) ... 908 МБ
|
||
03:55 kernel: Memory cgroup out of memory: Killed process (java) ... 840 МБ
|
||
04:06 kernel: Memory cgroup out of memory: Killed process (java) ... 901 МБ
|
||
03:31 / 04:01: Failed to start hub-agents.service
|
||
04:00: Failed to start hub-renovate.service
|
||
```
|
||
|
||
## Причина
|
||
|
||
Всё это — последствия той же нехватки памяти: в CT110 было 2 ГБ,
|
||
Stirling PDF (Java) занимал ~900 МБ, и ядро убивало его по cgroup-OOM.
|
||
Каждое убийство давало перезапуск и новую попытку. Задания
|
||
`hub-agents` и `hub-renovate` падали по таймауту, потому что `pct exec`
|
||
не успевал ответить под нагрузкой.
|
||
|
||
## Что сделано
|
||
|
||
1. **CT110: 2048 → 3072 МБ** (сделано ранее) — OOM прекратились.
|
||
2. **Stirling PDF: `JAVA_TOOL_OPTIONS=-Xmx768m`** — JVM больше не растёт
|
||
до предела. Сейчас занимает 744 МБ, статус healthy.
|
||
3. **Сброшены failed-состояния** одноразовых юнитов.
|
||
4. Проверка: `hub-agents` в 05:24 отработал штатно, `hub-renovate`
|
||
завершается за **13 секунд**.
|
||
|
||
## Итог
|
||
|
||
| Проверка | Результат |
|
||
|---|---|
|
||
| Упавшие юниты | 0 |
|
||
| Stirling | healthy, 744 МБ, домен 302 → SSO |
|
||
| hub-agents | отработал |
|
||
| hub-renovate | 13 с |
|
||
|
||
## Замечание про Monica и Kavita
|
||
|
||
В их логах есть ошибки вида `cURL error 28 (version.monicahq.com)`
|
||
и `Flurl.Http` — это попытки проверить обновления во внешней сети.
|
||
На работу не влияют, но шумят. При желании отключаются настройкой
|
||
`check for updates` в интерфейсе.
|
||
|
||
---
|
||
|
||
# 23.10 — бэкап снова упал: thin pool не освобождался
|
||
|
||
## Что произошло
|
||
|
||
Утром 23.10 в каталоге оказалось **9 архивов вместо 34**. Задание
|
||
02:00 снова падало на `lvcreate snapshot: Cannot create new thin volume`.
|
||
Пул был **80.9%**, хотя pre-prune в 01:45 удалил все 34 старых архива.
|
||
|
||
## Корень проблемы
|
||
|
||
`fstrim` на `/mnt/backups` освобождал только блоки самого LV бэкапов.
|
||
Но **основной объём занимают файловые системы гостей**: когда внутри
|
||
CT удаляются файлы (логи, кэши, старые образы), блоки остаются занятыми
|
||
в тонком пуле, пока внутри CT не выполнен `fstrim`.
|
||
|
||
За сутки гости накопили десятки гигабайт «мусорных» блоков.
|
||
|
||
## Что сделано
|
||
|
||
1. `pct fstrim` по всем 33 CT — вернул **58 ГБ** в пул.
|
||
2. `pre_prune.py` теперь делает `pct fstrim` для каждого CT
|
||
перед ночным бэкапом (не только `fstrim /mnt/backups`).
|
||
3. Догон пропущенных 24 гостей (`catchup3.py`).
|
||
|
||
## Результат
|
||
|
||
| Момент | Пул | Архивов |
|
||
|---|---|---|
|
||
| до fstrim | 80.9% | 9 |
|
||
| после `pct fstrim` | **63.8%** | 9 |
|
||
| после догона | ~70% | 34 |
|
||
|
||
## Ловушка на будущее
|
||
|
||
**Удаление файлов внутри LXC не освобождает место в тонком пуле.**
|
||
Раз в сутки нужен `pct fstrim <id>` для каждого контейнера, иначе пул
|
||
растёт монотонно, и vzdump перестаёт создавать снапшоты.
|