Files
buryan-infra/docs/STATUS-2026-10-28.md
T
2026-10-28 14:21:35 +03:00

8.7 KiB
Raw Blame History

Состояние Buryans Hub — 28.10.2026, вечер

Документ заменяет утренний docs/AUDIT-HANDOFF-2026-10-28.md как актуальная картина. Всё ниже проверено командами в этот день; где не проверено — помечено.


1. Сводка

Показатель Значение
Хост Proxmox VE, 192.168.1.10, up 7 ч, load 1.33
Память 11 из 15 ГБ, swap ~10 из 31 ГБ
Диск / 12%, /mnt/media 7% (866 ГБ свободно), /mnt/archive 13%
Контейнеры 31 запущено, 2 остановлены намеренно (Plex CT116, Tautulli CT122)
Упавших юнитов 0
Службы хаба 74 / 74
Hermes active, событий за час 2, заявок 0
Prometheus 35 таргетов, не up 0
Uptime Kuma 60 мониторов, down 0
Бэкапы 37 дампов; последний vzdump-lxc-161 27.10 18:32; конфиги 28.10 07:59; дамп БД 28.10 08:02
CI Gitea 25 прогонов успешных, 6 провальных (все — до починки раннера)

2. Что сделано 28.10

2.1 Инфраструктура целиком под Git

Все 26 CT с Docker описаны в deploy/ctNNN/docker-compose.yml. Раньше контейнеры в большинстве CT создавались docker run и жили вне репозитория — отсюда регулярные находки «порт съехал, никто не заметил».

  • Секреты в compose не попадают: только ${VAR}, значения — в /opt/ctNNN/.env (права 600), в Git лежит env.example.
  • Генератор: ops/scripts/docker-to-compose.py NNN --write --force --env-out (собирает по живому состоянию, сохраняет существующие тома по имени).
  • Сверка перед изменениями: ops/scripts/check-compose-parity.py NNN (image, entrypoint, command, ключи env, монтирования, порты). Сейчас 0 расхождений на 27 CT.
  • Реестр автоматизаций ops/automations/registry.yaml пересобран из живых источников: 124 записи (crontab 15, cron.d 56, systemd 42, hermes 11).

2.2 Cron → Hermes

Четыре задания ушли из cron в планировщик Hermes (/opt/hermes/jobs.yaml), строки в crontab и /etc/cron.d закомментированы с пометкой # -> Hermes 2026-10-28:

export-service-metrics (2 мин), direct-health-check (5 мин), check-services (5 мин), swarm-watchdog (1 мин).

Плюс новое задание audit-targets (ежедневно 07:15): ищет адреса в проверках и реестрах, которые не отвечают вовсе — ровно тот класс поломки, что «n8n 5678 при живом 5680».

2.3 CI в Gitea

Три корня поломки, все три устранены:

Симптом Причина Решение
job не стартовал AppArmor в CT140 не даёт Docker загрузить docker-default security_opt: apparmor:unconfined + container.options в конфиге act_runner
конфиг раннера игнорировался run.sh передаёт --config только при CONFIG_FILE -e CONFIG_FILE=/data/config.yaml
линт падал в образе нет PyYAML установка python3-yaml в шаге workflow

Дополнительно усилен поиск секретов: старый пропускал DSN (postgres://user:pass@), PW = "…" и "apiKey":"…". Разбор: ops/gitea/RUNNER-APPARMOR-2026-10-28.md.

2.4 Секреты

  • Из репозитория вынесены все литералы (11 значений в 14 файлах), значения — в /root/.* (600).
  • 23 записи подготовлены к импорту в Vaultwarden: vault-export-2026-10-28-folders.csv, папки infra, media, observability, backup, bots, files, vpn.
  • Конфиг VPN в репозитории зашифрован (sops/age), расшифровка проверена.
  • Remediation API: убран мёртвый remediation.conf, сервис переведён на 127.0.0.1:5000 (умеет перезагружать контейнеры, был доступен всей LAN), исправлен адрес у потребителя. Разбор: ops/ops/REMEDIATION-API.md.

2.5 Проверки служб

  • Убраны проверки Plex и Tautulli — выведены из эксплуатации, вечно «падали».
  • Zigbee проверяется по состоянию контейнера: у Zigbee2MQTT нет HTTP-фронтенда (конфиг без frontend, сеть host), прежний адрес не отвечал никогда.
  • Итог: check-services — 56 проверок, exit 0.

3. Правила, которые теперь обязательны

  1. Перед удалением контейнеров — check-compose-parity.py NNN = 0 расхождений.
  2. Проверить плагин: pct exec NNN -- docker compose version. Без него up -d не выполнится, а контейнеры уже удалены.
  3. Удалять контейнеры по одному: docker rm -f a b c прерывается на первом отсутствующем имени.
  4. Снапшоты недоступны на 12 CT с bind-монтированиями (103, 105, 109, 111, 117, 118, 120, 123, 125, 126, 155, 160): вместо них cp /etc/pve/lxc/NNN.conf, при серьёзных работах — vzdump.
  5. Секреты — только в /root/.* или .env (600); в Git — имена переменных.

4. Инциденты дня (все — из-за процедуры, не из-за сервисов)

Что Длительность Причина
frigate, jackett ~3 мин не проверен плагин compose перед удалением контейнеров
observability (Loki, Alertmanager, exportarr ×4, webhook) ~20 мин генератор читал Config.Command вместо Config.Cmd — потерялись аргументы запуска
Matrix Synapse ~5 мин docker rm с отсутствующим именем не удалил старый контейнер, конфликт имени

Каждый закрыт, каждый оставил предохранитель (сверка, проверка плагина, правило удаления по одному). Роллбэки: снапшоты pre-ct140-compose, pre-ct106-compose, pre-ct107-compose, копии конфигов LXC для остальных.


5. Открытые задачи

Владелец:

  1. Импорт vault-export-2026-10-28-folders.csv в Vaultwarden.
  2. Ключ Jellyfin для Jellystat (http://192.168.1.103:3100).
  3. Окно обновлений: 26 образов, первая суббота месяца, 03:00–07:00.

Агент:

  1. M-16: коллекции Jellyfin (кандидат — «Матрица»).
  2. Раздел «Работа» — сначала разбор предметной области (не классическая занятость).
  3. remediation в ботах не включён: в /etc/hub-bots/bots.env нет ключа.
  4. Понаблюдать за /status.json хаба: дважды за вечер отдал пустоту без причины, воспроизвести не удалось (3 пробы подряд — 200 за 0.0007 с, рестартов 0).

6. Где что лежит

/root/buryan-infra
  deploy/            compose по всем 26 CT + правила и ловушки
  ops/scripts/       docker-to-compose.py, check-compose-parity.py,
                     build-automations-registry.py
  ops/gitea/         разбор поломки раннера
  ops/ops/           ранбуки, включая REMEDIATION-API.md
  ops/hermes/        jobs.yaml и README планировщика
  ops/automations/   registry.yaml (генерируется)
/opt/hub-core        ядро хаба, порт 9120
/opt/hermes          планировщик, порт 9130
/root/.*.key, .*-pass  секреты (600)