This commit is contained in:
1 parent
ed5303f618
commit
2be54011aa
1 file changed
+150
@@ -0,0 +1,150 @@
|
|||||||
|
# Состояние Buryans Hub — 28.10.2026, вечер
|
||||||
|
|
||||||
|
Документ заменяет утренний `docs/AUDIT-HANDOFF-2026-10-28.md` как актуальная
|
||||||
|
картина. Всё ниже проверено командами в этот день; где не проверено — помечено.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 1. Сводка
|
||||||
|
|
||||||
|
| Показатель | Значение |
|
||||||
|
|---|---|
|
||||||
|
| Хост | Proxmox VE, `192.168.1.10`, up 7 ч, load 1.33 |
|
||||||
|
| Память | 11 из 15 ГБ, swap ~10 из 31 ГБ |
|
||||||
|
| Диск | `/` 12%, `/mnt/media` 7% (866 ГБ свободно), `/mnt/archive` 13% |
|
||||||
|
| Контейнеры | 31 запущено, 2 остановлены намеренно (Plex CT116, Tautulli CT122) |
|
||||||
|
| Упавших юнитов | 0 |
|
||||||
|
| Службы хаба | **74 / 74** |
|
||||||
|
| Hermes | active, событий за час 2, заявок 0 |
|
||||||
|
| Prometheus | 35 таргетов, не up 0 |
|
||||||
|
| Uptime Kuma | 60 мониторов, down 0 |
|
||||||
|
| Бэкапы | 37 дампов; последний `vzdump-lxc-161` 27.10 18:32; конфиги 28.10 07:59; дамп БД 28.10 08:02 |
|
||||||
|
| CI Gitea | 25 прогонов успешных, 6 провальных (все — до починки раннера) |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 2. Что сделано 28.10
|
||||||
|
|
||||||
|
### 2.1 Инфраструктура целиком под Git
|
||||||
|
|
||||||
|
Все **26 CT с Docker** описаны в `deploy/ctNNN/docker-compose.yml`. Раньше
|
||||||
|
контейнеры в большинстве CT создавались `docker run` и жили вне репозитория —
|
||||||
|
отсюда регулярные находки «порт съехал, никто не заметил».
|
||||||
|
|
||||||
|
- Секреты в compose не попадают: только `${VAR}`, значения — в `/opt/ctNNN/.env`
|
||||||
|
(права 600), в Git лежит `env.example`.
|
||||||
|
- Генератор: `ops/scripts/docker-to-compose.py NNN --write --force --env-out`
|
||||||
|
(собирает по живому состоянию, сохраняет существующие тома по имени).
|
||||||
|
- Сверка перед изменениями: `ops/scripts/check-compose-parity.py NNN`
|
||||||
|
(image, entrypoint, command, ключи env, монтирования, порты). Сейчас
|
||||||
|
**0 расхождений на 27 CT**.
|
||||||
|
- Реестр автоматизаций `ops/automations/registry.yaml` пересобран из живых
|
||||||
|
источников: **124 записи** (crontab 15, cron.d 56, systemd 42, hermes 11).
|
||||||
|
|
||||||
|
### 2.2 Cron → Hermes
|
||||||
|
|
||||||
|
Четыре задания ушли из cron в планировщик Hermes (`/opt/hermes/jobs.yaml`),
|
||||||
|
строки в crontab и `/etc/cron.d` закомментированы с пометкой `# -> Hermes 2026-10-28`:
|
||||||
|
|
||||||
|
`export-service-metrics` (2 мин), `direct-health-check` (5 мин),
|
||||||
|
`check-services` (5 мин), `swarm-watchdog` (1 мин).
|
||||||
|
|
||||||
|
Плюс новое задание `audit-targets` (ежедневно 07:15): ищет адреса в проверках
|
||||||
|
и реестрах, которые **не отвечают вовсе** — ровно тот класс поломки, что
|
||||||
|
«n8n 5678 при живом 5680».
|
||||||
|
|
||||||
|
### 2.3 CI в Gitea
|
||||||
|
|
||||||
|
Три корня поломки, все три устранены:
|
||||||
|
|
||||||
|
| Симптом | Причина | Решение |
|
||||||
|
|---|---|---|
|
||||||
|
| job не стартовал | AppArmor в CT140 не даёт Docker загрузить `docker-default` | `security_opt: apparmor:unconfined` + `container.options` в конфиге act_runner |
|
||||||
|
| конфиг раннера игнорировался | `run.sh` передаёт `--config` только при `CONFIG_FILE` | `-e CONFIG_FILE=/data/config.yaml` |
|
||||||
|
| линт падал | в образе нет PyYAML | установка `python3-yaml` в шаге workflow |
|
||||||
|
|
||||||
|
Дополнительно усилен поиск секретов: старый пропускал DSN (`postgres://user:pass@`),
|
||||||
|
`PW = "…"` и `"apiKey":"…"`. Разбор: `ops/gitea/RUNNER-APPARMOR-2026-10-28.md`.
|
||||||
|
|
||||||
|
### 2.4 Секреты
|
||||||
|
|
||||||
|
- Из репозитория вынесены все литералы (11 значений в 14 файлах), значения —
|
||||||
|
в `/root/.*` (600).
|
||||||
|
- 23 записи подготовлены к импорту в Vaultwarden:
|
||||||
|
`vault-export-2026-10-28-folders.csv`, папки `infra`, `media`, `observability`,
|
||||||
|
`backup`, `bots`, `files`, `vpn`.
|
||||||
|
- Конфиг VPN в репозитории зашифрован (sops/age), расшифровка проверена.
|
||||||
|
- Remediation API: убран мёртвый `remediation.conf`, сервис переведён на
|
||||||
|
`127.0.0.1:5000` (умеет перезагружать контейнеры, был доступен всей LAN),
|
||||||
|
исправлен адрес у потребителя. Разбор: `ops/ops/REMEDIATION-API.md`.
|
||||||
|
|
||||||
|
### 2.5 Проверки служб
|
||||||
|
|
||||||
|
- Убраны проверки Plex и Tautulli — выведены из эксплуатации, вечно «падали».
|
||||||
|
- Zigbee проверяется по состоянию контейнера: у Zigbee2MQTT нет HTTP-фронтенда
|
||||||
|
(конфиг без `frontend`, сеть `host`), прежний адрес не отвечал никогда.
|
||||||
|
- Итог: `check-services` — 56 проверок, exit 0.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 3. Правила, которые теперь обязательны
|
||||||
|
|
||||||
|
1. **Перед удалением контейнеров** — `check-compose-parity.py NNN` = 0 расхождений.
|
||||||
|
2. **Проверить плагин**: `pct exec NNN -- docker compose version`. Без него
|
||||||
|
`up -d` не выполнится, а контейнеры уже удалены.
|
||||||
|
3. **Удалять контейнеры по одному**: `docker rm -f a b c` прерывается на первом
|
||||||
|
отсутствующем имени.
|
||||||
|
4. **Снапшоты недоступны на 12 CT** с bind-монтированиями (`103, 105, 109, 111,
|
||||||
|
117, 118, 120, 123, 125, 126, 155, 160`): вместо них `cp /etc/pve/lxc/NNN.conf`,
|
||||||
|
при серьёзных работах — `vzdump`.
|
||||||
|
5. **Секреты** — только в `/root/.*` или `.env` (600); в Git — имена переменных.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 4. Инциденты дня (все — из-за процедуры, не из-за сервисов)
|
||||||
|
|
||||||
|
| Что | Длительность | Причина |
|
||||||
|
|---|---|---|
|
||||||
|
| frigate, jackett | ~3 мин | не проверен плагин compose перед удалением контейнеров |
|
||||||
|
| observability (Loki, Alertmanager, exportarr ×4, webhook) | ~20 мин | генератор читал `Config.Command` вместо `Config.Cmd` — потерялись аргументы запуска |
|
||||||
|
| Matrix Synapse | ~5 мин | `docker rm` с отсутствующим именем не удалил старый контейнер, конфликт имени |
|
||||||
|
|
||||||
|
Каждый закрыт, каждый оставил предохранитель (сверка, проверка плагина, правило
|
||||||
|
удаления по одному). Роллбэки: снапшоты `pre-ct140-compose`, `pre-ct106-compose`,
|
||||||
|
`pre-ct107-compose`, копии конфигов LXC для остальных.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 5. Открытые задачи
|
||||||
|
|
||||||
|
**Владелец:**
|
||||||
|
|
||||||
|
1. Импорт `vault-export-2026-10-28-folders.csv` в Vaultwarden.
|
||||||
|
2. Ключ Jellyfin для Jellystat (`http://192.168.1.103:3100`).
|
||||||
|
3. Окно обновлений: 26 образов, первая суббота месяца, 03:00–07:00.
|
||||||
|
|
||||||
|
**Агент:**
|
||||||
|
|
||||||
|
4. M-16: коллекции Jellyfin (кандидат — «Матрица»).
|
||||||
|
5. Раздел «Работа» — сначала разбор предметной области (не классическая занятость).
|
||||||
|
6. `remediation` в ботах не включён: в `/etc/hub-bots/bots.env` нет ключа.
|
||||||
|
7. Понаблюдать за `/status.json` хаба: дважды за вечер отдал пустоту без причины,
|
||||||
|
воспроизвести не удалось (3 пробы подряд — 200 за 0.0007 с, рестартов 0).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 6. Где что лежит
|
||||||
|
|
||||||
|
```
|
||||||
|
/root/buryan-infra
|
||||||
|
deploy/ compose по всем 26 CT + правила и ловушки
|
||||||
|
ops/scripts/ docker-to-compose.py, check-compose-parity.py,
|
||||||
|
build-automations-registry.py
|
||||||
|
ops/gitea/ разбор поломки раннера
|
||||||
|
ops/ops/ ранбуки, включая REMEDIATION-API.md
|
||||||
|
ops/hermes/ jobs.yaml и README планировщика
|
||||||
|
ops/automations/ registry.yaml (генерируется)
|
||||||
|
/opt/hub-core ядро хаба, порт 9120
|
||||||
|
/opt/hermes планировщик, порт 9130
|
||||||
|
/root/.*.key, .*-pass секреты (600)
|
||||||
|
```
|
||||||
Reference in new issue
Block a user