From 2be54011aa339b3e37a33c3818946ac256caf181 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Wed, 28 Oct 2026 14:21:35 +0300 Subject: [PATCH] =?UTF-8?q?[DOCS]=20=D0=A1=D0=B2=D0=B5=D0=B6=D0=B8=D0=B9?= =?UTF-8?q?=20=D0=B4=D0=BE=D0=BA=D1=83=D0=BC=D0=B5=D0=BD=D1=82=20=D1=81?= =?UTF-8?q?=D0=BE=D1=81=D1=82=D0=BE=D1=8F=D0=BD=D0=B8=D1=8F=20=D0=BD=D0=B0?= =?UTF-8?q?=20=D0=B2=D0=B5=D1=87=D0=B5=D1=80=2028.10.2026?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/STATUS-2026-10-28.md | 150 ++++++++++++++++++++++++++++++++++++++ 1 file changed, 150 insertions(+) create mode 100644 docs/STATUS-2026-10-28.md diff --git a/docs/STATUS-2026-10-28.md b/docs/STATUS-2026-10-28.md new file mode 100644 index 0000000..ef6b3d7 --- /dev/null +++ b/docs/STATUS-2026-10-28.md @@ -0,0 +1,150 @@ +# Состояние Buryans Hub — 28.10.2026, вечер + +Документ заменяет утренний `docs/AUDIT-HANDOFF-2026-10-28.md` как актуальная +картина. Всё ниже проверено командами в этот день; где не проверено — помечено. + +--- + +## 1. Сводка + +| Показатель | Значение | +|---|---| +| Хост | Proxmox VE, `192.168.1.10`, up 7 ч, load 1.33 | +| Память | 11 из 15 ГБ, swap ~10 из 31 ГБ | +| Диск | `/` 12%, `/mnt/media` 7% (866 ГБ свободно), `/mnt/archive` 13% | +| Контейнеры | 31 запущено, 2 остановлены намеренно (Plex CT116, Tautulli CT122) | +| Упавших юнитов | 0 | +| Службы хаба | **74 / 74** | +| Hermes | active, событий за час 2, заявок 0 | +| Prometheus | 35 таргетов, не up 0 | +| Uptime Kuma | 60 мониторов, down 0 | +| Бэкапы | 37 дампов; последний `vzdump-lxc-161` 27.10 18:32; конфиги 28.10 07:59; дамп БД 28.10 08:02 | +| CI Gitea | 25 прогонов успешных, 6 провальных (все — до починки раннера) | + +--- + +## 2. Что сделано 28.10 + +### 2.1 Инфраструктура целиком под Git + +Все **26 CT с Docker** описаны в `deploy/ctNNN/docker-compose.yml`. Раньше +контейнеры в большинстве CT создавались `docker run` и жили вне репозитория — +отсюда регулярные находки «порт съехал, никто не заметил». + +- Секреты в compose не попадают: только `${VAR}`, значения — в `/opt/ctNNN/.env` + (права 600), в Git лежит `env.example`. +- Генератор: `ops/scripts/docker-to-compose.py NNN --write --force --env-out` + (собирает по живому состоянию, сохраняет существующие тома по имени). +- Сверка перед изменениями: `ops/scripts/check-compose-parity.py NNN` + (image, entrypoint, command, ключи env, монтирования, порты). Сейчас + **0 расхождений на 27 CT**. +- Реестр автоматизаций `ops/automations/registry.yaml` пересобран из живых + источников: **124 записи** (crontab 15, cron.d 56, systemd 42, hermes 11). + +### 2.2 Cron → Hermes + +Четыре задания ушли из cron в планировщик Hermes (`/opt/hermes/jobs.yaml`), +строки в crontab и `/etc/cron.d` закомментированы с пометкой `# -> Hermes 2026-10-28`: + +`export-service-metrics` (2 мин), `direct-health-check` (5 мин), +`check-services` (5 мин), `swarm-watchdog` (1 мин). + +Плюс новое задание `audit-targets` (ежедневно 07:15): ищет адреса в проверках +и реестрах, которые **не отвечают вовсе** — ровно тот класс поломки, что +«n8n 5678 при живом 5680». + +### 2.3 CI в Gitea + +Три корня поломки, все три устранены: + +| Симптом | Причина | Решение | +|---|---|---| +| job не стартовал | AppArmor в CT140 не даёт Docker загрузить `docker-default` | `security_opt: apparmor:unconfined` + `container.options` в конфиге act_runner | +| конфиг раннера игнорировался | `run.sh` передаёт `--config` только при `CONFIG_FILE` | `-e CONFIG_FILE=/data/config.yaml` | +| линт падал | в образе нет PyYAML | установка `python3-yaml` в шаге workflow | + +Дополнительно усилен поиск секретов: старый пропускал DSN (`postgres://user:pass@`), +`PW = "…"` и `"apiKey":"…"`. Разбор: `ops/gitea/RUNNER-APPARMOR-2026-10-28.md`. + +### 2.4 Секреты + +- Из репозитория вынесены все литералы (11 значений в 14 файлах), значения — + в `/root/.*` (600). +- 23 записи подготовлены к импорту в Vaultwarden: + `vault-export-2026-10-28-folders.csv`, папки `infra`, `media`, `observability`, + `backup`, `bots`, `files`, `vpn`. +- Конфиг VPN в репозитории зашифрован (sops/age), расшифровка проверена. +- Remediation API: убран мёртвый `remediation.conf`, сервис переведён на + `127.0.0.1:5000` (умеет перезагружать контейнеры, был доступен всей LAN), + исправлен адрес у потребителя. Разбор: `ops/ops/REMEDIATION-API.md`. + +### 2.5 Проверки служб + +- Убраны проверки Plex и Tautulli — выведены из эксплуатации, вечно «падали». +- Zigbee проверяется по состоянию контейнера: у Zigbee2MQTT нет HTTP-фронтенда + (конфиг без `frontend`, сеть `host`), прежний адрес не отвечал никогда. +- Итог: `check-services` — 56 проверок, exit 0. + +--- + +## 3. Правила, которые теперь обязательны + +1. **Перед удалением контейнеров** — `check-compose-parity.py NNN` = 0 расхождений. +2. **Проверить плагин**: `pct exec NNN -- docker compose version`. Без него + `up -d` не выполнится, а контейнеры уже удалены. +3. **Удалять контейнеры по одному**: `docker rm -f a b c` прерывается на первом + отсутствующем имени. +4. **Снапшоты недоступны на 12 CT** с bind-монтированиями (`103, 105, 109, 111, + 117, 118, 120, 123, 125, 126, 155, 160`): вместо них `cp /etc/pve/lxc/NNN.conf`, + при серьёзных работах — `vzdump`. +5. **Секреты** — только в `/root/.*` или `.env` (600); в Git — имена переменных. + +--- + +## 4. Инциденты дня (все — из-за процедуры, не из-за сервисов) + +| Что | Длительность | Причина | +|---|---|---| +| frigate, jackett | ~3 мин | не проверен плагин compose перед удалением контейнеров | +| observability (Loki, Alertmanager, exportarr ×4, webhook) | ~20 мин | генератор читал `Config.Command` вместо `Config.Cmd` — потерялись аргументы запуска | +| Matrix Synapse | ~5 мин | `docker rm` с отсутствующим именем не удалил старый контейнер, конфликт имени | + +Каждый закрыт, каждый оставил предохранитель (сверка, проверка плагина, правило +удаления по одному). Роллбэки: снапшоты `pre-ct140-compose`, `pre-ct106-compose`, +`pre-ct107-compose`, копии конфигов LXC для остальных. + +--- + +## 5. Открытые задачи + +**Владелец:** + +1. Импорт `vault-export-2026-10-28-folders.csv` в Vaultwarden. +2. Ключ Jellyfin для Jellystat (`http://192.168.1.103:3100`). +3. Окно обновлений: 26 образов, первая суббота месяца, 03:00–07:00. + +**Агент:** + +4. M-16: коллекции Jellyfin (кандидат — «Матрица»). +5. Раздел «Работа» — сначала разбор предметной области (не классическая занятость). +6. `remediation` в ботах не включён: в `/etc/hub-bots/bots.env` нет ключа. +7. Понаблюдать за `/status.json` хаба: дважды за вечер отдал пустоту без причины, + воспроизвести не удалось (3 пробы подряд — 200 за 0.0007 с, рестартов 0). + +--- + +## 6. Где что лежит + +``` +/root/buryan-infra + deploy/ compose по всем 26 CT + правила и ловушки + ops/scripts/ docker-to-compose.py, check-compose-parity.py, + build-automations-registry.py + ops/gitea/ разбор поломки раннера + ops/ops/ ранбуки, включая REMEDIATION-API.md + ops/hermes/ jobs.yaml и README планировщика + ops/automations/ registry.yaml (генерируется) +/opt/hub-core ядро хаба, порт 9120 +/opt/hermes планировщик, порт 9130 +/root/.*.key, .*-pass секреты (600) +```