Files
buryan-infra/docs/STATUS-2026-10-28.md
T
2026-10-28 14:21:35 +03:00

151 lines
8.7 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Состояние Buryans Hub — 28.10.2026, вечер
Документ заменяет утренний `docs/AUDIT-HANDOFF-2026-10-28.md` как актуальная
картина. Всё ниже проверено командами в этот день; где не проверено — помечено.
---
## 1. Сводка
| Показатель | Значение |
|---|---|
| Хост | Proxmox VE, `192.168.1.10`, up 7 ч, load 1.33 |
| Память | 11 из 15 ГБ, swap ~10 из 31 ГБ |
| Диск | `/` 12%, `/mnt/media` 7% (866 ГБ свободно), `/mnt/archive` 13% |
| Контейнеры | 31 запущено, 2 остановлены намеренно (Plex CT116, Tautulli CT122) |
| Упавших юнитов | 0 |
| Службы хаба | **74 / 74** |
| Hermes | active, событий за час 2, заявок 0 |
| Prometheus | 35 таргетов, не up 0 |
| Uptime Kuma | 60 мониторов, down 0 |
| Бэкапы | 37 дампов; последний `vzdump-lxc-161` 27.10 18:32; конфиги 28.10 07:59; дамп БД 28.10 08:02 |
| CI Gitea | 25 прогонов успешных, 6 провальных (все — до починки раннера) |
---
## 2. Что сделано 28.10
### 2.1 Инфраструктура целиком под Git
Все **26 CT с Docker** описаны в `deploy/ctNNN/docker-compose.yml`. Раньше
контейнеры в большинстве CT создавались `docker run` и жили вне репозитория —
отсюда регулярные находки «порт съехал, никто не заметил».
- Секреты в compose не попадают: только `${VAR}`, значения — в `/opt/ctNNN/.env`
(права 600), в Git лежит `env.example`.
- Генератор: `ops/scripts/docker-to-compose.py NNN --write --force --env-out`
(собирает по живому состоянию, сохраняет существующие тома по имени).
- Сверка перед изменениями: `ops/scripts/check-compose-parity.py NNN`
(image, entrypoint, command, ключи env, монтирования, порты). Сейчас
**0 расхождений на 27 CT**.
- Реестр автоматизаций `ops/automations/registry.yaml` пересобран из живых
источников: **124 записи** (crontab 15, cron.d 56, systemd 42, hermes 11).
### 2.2 Cron → Hermes
Четыре задания ушли из cron в планировщик Hermes (`/opt/hermes/jobs.yaml`),
строки в crontab и `/etc/cron.d` закомментированы с пометкой `# -> Hermes 2026-10-28`:
`export-service-metrics` (2 мин), `direct-health-check` (5 мин),
`check-services` (5 мин), `swarm-watchdog` (1 мин).
Плюс новое задание `audit-targets` (ежедневно 07:15): ищет адреса в проверках
и реестрах, которые **не отвечают вовсе** — ровно тот класс поломки, что
«n8n 5678 при живом 5680».
### 2.3 CI в Gitea
Три корня поломки, все три устранены:
| Симптом | Причина | Решение |
|---|---|---|
| job не стартовал | AppArmor в CT140 не даёт Docker загрузить `docker-default` | `security_opt: apparmor:unconfined` + `container.options` в конфиге act_runner |
| конфиг раннера игнорировался | `run.sh` передаёт `--config` только при `CONFIG_FILE` | `-e CONFIG_FILE=/data/config.yaml` |
| линт падал | в образе нет PyYAML | установка `python3-yaml` в шаге workflow |
Дополнительно усилен поиск секретов: старый пропускал DSN (`postgres://user:pass@`),
`PW = "…"` и `"apiKey":"…"`. Разбор: `ops/gitea/RUNNER-APPARMOR-2026-10-28.md`.
### 2.4 Секреты
- Из репозитория вынесены все литералы (11 значений в 14 файлах), значения —
в `/root/.*` (600).
- 23 записи подготовлены к импорту в Vaultwarden:
`vault-export-2026-10-28-folders.csv`, папки `infra`, `media`, `observability`,
`backup`, `bots`, `files`, `vpn`.
- Конфиг VPN в репозитории зашифрован (sops/age), расшифровка проверена.
- Remediation API: убран мёртвый `remediation.conf`, сервис переведён на
`127.0.0.1:5000` (умеет перезагружать контейнеры, был доступен всей LAN),
исправлен адрес у потребителя. Разбор: `ops/ops/REMEDIATION-API.md`.
### 2.5 Проверки служб
- Убраны проверки Plex и Tautulli — выведены из эксплуатации, вечно «падали».
- Zigbee проверяется по состоянию контейнера: у Zigbee2MQTT нет HTTP-фронтенда
(конфиг без `frontend`, сеть `host`), прежний адрес не отвечал никогда.
- Итог: `check-services` — 56 проверок, exit 0.
---
## 3. Правила, которые теперь обязательны
1. **Перед удалением контейнеров** — `check-compose-parity.py NNN` = 0 расхождений.
2. **Проверить плагин**: `pct exec NNN -- docker compose version`. Без него
`up -d` не выполнится, а контейнеры уже удалены.
3. **Удалять контейнеры по одному**: `docker rm -f a b c` прерывается на первом
отсутствующем имени.
4. **Снапшоты недоступны на 12 CT** с bind-монтированиями (`103, 105, 109, 111,
117, 118, 120, 123, 125, 126, 155, 160`): вместо них `cp /etc/pve/lxc/NNN.conf`,
при серьёзных работах — `vzdump`.
5. **Секреты** — только в `/root/.*` или `.env` (600); в Git — имена переменных.
---
## 4. Инциденты дня (все — из-за процедуры, не из-за сервисов)
| Что | Длительность | Причина |
|---|---|---|
| frigate, jackett | ~3 мин | не проверен плагин compose перед удалением контейнеров |
| observability (Loki, Alertmanager, exportarr ×4, webhook) | ~20 мин | генератор читал `Config.Command` вместо `Config.Cmd` — потерялись аргументы запуска |
| Matrix Synapse | ~5 мин | `docker rm` с отсутствующим именем не удалил старый контейнер, конфликт имени |
Каждый закрыт, каждый оставил предохранитель (сверка, проверка плагина, правило
удаления по одному). Роллбэки: снапшоты `pre-ct140-compose`, `pre-ct106-compose`,
`pre-ct107-compose`, копии конфигов LXC для остальных.
---
## 5. Открытые задачи
**Владелец:**
1. Импорт `vault-export-2026-10-28-folders.csv` в Vaultwarden.
2. Ключ Jellyfin для Jellystat (`http://192.168.1.103:3100`).
3. Окно обновлений: 26 образов, первая суббота месяца, 03:00–07:00.
**Агент:**
4. M-16: коллекции Jellyfin (кандидат — «Матрица»).
5. Раздел «Работа» — сначала разбор предметной области (не классическая занятость).
6. `remediation` в ботах не включён: в `/etc/hub-bots/bots.env` нет ключа.
7. Понаблюдать за `/status.json` хаба: дважды за вечер отдал пустоту без причины,
воспроизвести не удалось (3 пробы подряд — 200 за 0.0007 с, рестартов 0).
---
## 6. Где что лежит
```
/root/buryan-infra
deploy/ compose по всем 26 CT + правила и ловушки
ops/scripts/ docker-to-compose.py, check-compose-parity.py,
build-automations-registry.py
ops/gitea/ разбор поломки раннера
ops/ops/ ранбуки, включая REMEDIATION-API.md
ops/hermes/ jobs.yaml и README планировщика
ops/automations/ registry.yaml (генерируется)
/opt/hub-core ядро хаба, порт 9120
/opt/hermes планировщик, порт 9130
/root/.*.key, .*-pass секреты (600)
```