151 lines
8.7 KiB
Markdown
151 lines
8.7 KiB
Markdown
# Состояние Buryans Hub — 28.10.2026, вечер
|
||
|
||
Документ заменяет утренний `docs/AUDIT-HANDOFF-2026-10-28.md` как актуальная
|
||
картина. Всё ниже проверено командами в этот день; где не проверено — помечено.
|
||
|
||
---
|
||
|
||
## 1. Сводка
|
||
|
||
| Показатель | Значение |
|
||
|---|---|
|
||
| Хост | Proxmox VE, `192.168.1.10`, up 7 ч, load 1.33 |
|
||
| Память | 11 из 15 ГБ, swap ~10 из 31 ГБ |
|
||
| Диск | `/` 12%, `/mnt/media` 7% (866 ГБ свободно), `/mnt/archive` 13% |
|
||
| Контейнеры | 31 запущено, 2 остановлены намеренно (Plex CT116, Tautulli CT122) |
|
||
| Упавших юнитов | 0 |
|
||
| Службы хаба | **74 / 74** |
|
||
| Hermes | active, событий за час 2, заявок 0 |
|
||
| Prometheus | 35 таргетов, не up 0 |
|
||
| Uptime Kuma | 60 мониторов, down 0 |
|
||
| Бэкапы | 37 дампов; последний `vzdump-lxc-161` 27.10 18:32; конфиги 28.10 07:59; дамп БД 28.10 08:02 |
|
||
| CI Gitea | 25 прогонов успешных, 6 провальных (все — до починки раннера) |
|
||
|
||
---
|
||
|
||
## 2. Что сделано 28.10
|
||
|
||
### 2.1 Инфраструктура целиком под Git
|
||
|
||
Все **26 CT с Docker** описаны в `deploy/ctNNN/docker-compose.yml`. Раньше
|
||
контейнеры в большинстве CT создавались `docker run` и жили вне репозитория —
|
||
отсюда регулярные находки «порт съехал, никто не заметил».
|
||
|
||
- Секреты в compose не попадают: только `${VAR}`, значения — в `/opt/ctNNN/.env`
|
||
(права 600), в Git лежит `env.example`.
|
||
- Генератор: `ops/scripts/docker-to-compose.py NNN --write --force --env-out`
|
||
(собирает по живому состоянию, сохраняет существующие тома по имени).
|
||
- Сверка перед изменениями: `ops/scripts/check-compose-parity.py NNN`
|
||
(image, entrypoint, command, ключи env, монтирования, порты). Сейчас
|
||
**0 расхождений на 27 CT**.
|
||
- Реестр автоматизаций `ops/automations/registry.yaml` пересобран из живых
|
||
источников: **124 записи** (crontab 15, cron.d 56, systemd 42, hermes 11).
|
||
|
||
### 2.2 Cron → Hermes
|
||
|
||
Четыре задания ушли из cron в планировщик Hermes (`/opt/hermes/jobs.yaml`),
|
||
строки в crontab и `/etc/cron.d` закомментированы с пометкой `# -> Hermes 2026-10-28`:
|
||
|
||
`export-service-metrics` (2 мин), `direct-health-check` (5 мин),
|
||
`check-services` (5 мин), `swarm-watchdog` (1 мин).
|
||
|
||
Плюс новое задание `audit-targets` (ежедневно 07:15): ищет адреса в проверках
|
||
и реестрах, которые **не отвечают вовсе** — ровно тот класс поломки, что
|
||
«n8n 5678 при живом 5680».
|
||
|
||
### 2.3 CI в Gitea
|
||
|
||
Три корня поломки, все три устранены:
|
||
|
||
| Симптом | Причина | Решение |
|
||
|---|---|---|
|
||
| job не стартовал | AppArmor в CT140 не даёт Docker загрузить `docker-default` | `security_opt: apparmor:unconfined` + `container.options` в конфиге act_runner |
|
||
| конфиг раннера игнорировался | `run.sh` передаёт `--config` только при `CONFIG_FILE` | `-e CONFIG_FILE=/data/config.yaml` |
|
||
| линт падал | в образе нет PyYAML | установка `python3-yaml` в шаге workflow |
|
||
|
||
Дополнительно усилен поиск секретов: старый пропускал DSN (`postgres://user:pass@`),
|
||
`PW = "…"` и `"apiKey":"…"`. Разбор: `ops/gitea/RUNNER-APPARMOR-2026-10-28.md`.
|
||
|
||
### 2.4 Секреты
|
||
|
||
- Из репозитория вынесены все литералы (11 значений в 14 файлах), значения —
|
||
в `/root/.*` (600).
|
||
- 23 записи подготовлены к импорту в Vaultwarden:
|
||
`vault-export-2026-10-28-folders.csv`, папки `infra`, `media`, `observability`,
|
||
`backup`, `bots`, `files`, `vpn`.
|
||
- Конфиг VPN в репозитории зашифрован (sops/age), расшифровка проверена.
|
||
- Remediation API: убран мёртвый `remediation.conf`, сервис переведён на
|
||
`127.0.0.1:5000` (умеет перезагружать контейнеры, был доступен всей LAN),
|
||
исправлен адрес у потребителя. Разбор: `ops/ops/REMEDIATION-API.md`.
|
||
|
||
### 2.5 Проверки служб
|
||
|
||
- Убраны проверки Plex и Tautulli — выведены из эксплуатации, вечно «падали».
|
||
- Zigbee проверяется по состоянию контейнера: у Zigbee2MQTT нет HTTP-фронтенда
|
||
(конфиг без `frontend`, сеть `host`), прежний адрес не отвечал никогда.
|
||
- Итог: `check-services` — 56 проверок, exit 0.
|
||
|
||
---
|
||
|
||
## 3. Правила, которые теперь обязательны
|
||
|
||
1. **Перед удалением контейнеров** — `check-compose-parity.py NNN` = 0 расхождений.
|
||
2. **Проверить плагин**: `pct exec NNN -- docker compose version`. Без него
|
||
`up -d` не выполнится, а контейнеры уже удалены.
|
||
3. **Удалять контейнеры по одному**: `docker rm -f a b c` прерывается на первом
|
||
отсутствующем имени.
|
||
4. **Снапшоты недоступны на 12 CT** с bind-монтированиями (`103, 105, 109, 111,
|
||
117, 118, 120, 123, 125, 126, 155, 160`): вместо них `cp /etc/pve/lxc/NNN.conf`,
|
||
при серьёзных работах — `vzdump`.
|
||
5. **Секреты** — только в `/root/.*` или `.env` (600); в Git — имена переменных.
|
||
|
||
---
|
||
|
||
## 4. Инциденты дня (все — из-за процедуры, не из-за сервисов)
|
||
|
||
| Что | Длительность | Причина |
|
||
|---|---|---|
|
||
| frigate, jackett | ~3 мин | не проверен плагин compose перед удалением контейнеров |
|
||
| observability (Loki, Alertmanager, exportarr ×4, webhook) | ~20 мин | генератор читал `Config.Command` вместо `Config.Cmd` — потерялись аргументы запуска |
|
||
| Matrix Synapse | ~5 мин | `docker rm` с отсутствующим именем не удалил старый контейнер, конфликт имени |
|
||
|
||
Каждый закрыт, каждый оставил предохранитель (сверка, проверка плагина, правило
|
||
удаления по одному). Роллбэки: снапшоты `pre-ct140-compose`, `pre-ct106-compose`,
|
||
`pre-ct107-compose`, копии конфигов LXC для остальных.
|
||
|
||
---
|
||
|
||
## 5. Открытые задачи
|
||
|
||
**Владелец:**
|
||
|
||
1. Импорт `vault-export-2026-10-28-folders.csv` в Vaultwarden.
|
||
2. Ключ Jellyfin для Jellystat (`http://192.168.1.103:3100`).
|
||
3. Окно обновлений: 26 образов, первая суббота месяца, 03:00–07:00.
|
||
|
||
**Агент:**
|
||
|
||
4. M-16: коллекции Jellyfin (кандидат — «Матрица»).
|
||
5. Раздел «Работа» — сначала разбор предметной области (не классическая занятость).
|
||
6. `remediation` в ботах не включён: в `/etc/hub-bots/bots.env` нет ключа.
|
||
7. Понаблюдать за `/status.json` хаба: дважды за вечер отдал пустоту без причины,
|
||
воспроизвести не удалось (3 пробы подряд — 200 за 0.0007 с, рестартов 0).
|
||
|
||
---
|
||
|
||
## 6. Где что лежит
|
||
|
||
```
|
||
/root/buryan-infra
|
||
deploy/ compose по всем 26 CT + правила и ловушки
|
||
ops/scripts/ docker-to-compose.py, check-compose-parity.py,
|
||
build-automations-registry.py
|
||
ops/gitea/ разбор поломки раннера
|
||
ops/ops/ ранбуки, включая REMEDIATION-API.md
|
||
ops/hermes/ jobs.yaml и README планировщика
|
||
ops/automations/ registry.yaml (генерируется)
|
||
/opt/hub-core ядро хаба, порт 9120
|
||
/opt/hermes планировщик, порт 9130
|
||
/root/.*.key, .*-pass секреты (600)
|
||
```
|