Files
buryan-infra/docs/AUDIT-HANDOFF-2026-10-28.md

14 KiB
Raw Permalink Blame History

Полный аудит Buryan Hub — передача в новую сессию

Составлено 28.10.2026 по итогам марафона. Всё в документе проверено командами; где не проверено — помечено отдельно.


1. Что это за система

Домашняя инфраструктура buryans.ru на Proxmox VE 9 (хост 192.168.1.10, плата ASRock H610D4-P1/TPM, CPU i5-13400, 16 ГБ DDR4, 33 LXC + 1 VM), ~161 контейнер (74 «сервиса» без служебных агентов), единый вход Authentik, медиасервер Jellyfin, Home Assistant, боты Matrix, агентский слой, наблюдение Prometheus + Kuma + Loki.

Владелец — Роман (@akadmin), общается по-русски, требует проверенных фактов.


2. Доступы

Что Как
Хост Proxmox ssh root@192.168.1.10 (ключ buryan-vps, вход по паролю для root запрещён)
VPS ssh root@193.233.210.184, Tailscale 100.64.0.2
SSOT-репозиторий /root/buryan-infra на хосте, remote — Gitea 192.168.1.140:3000 (agent-qwen/buryan-infra)
Секреты Vaultwarden https://vault.buryans.ru (129 записей), дубли — файлами в /root/.* как аварийный путь
Локальная папка D:\Buryans Hub (Windows)

Секреты в чат не выводить. Файл импорта в Vaultwarden удалён и с сервера, и с диска.


3. Что сделано в марафоне 27–28.10

3.1 Железо и хранилище

Работа Результат
Установлены диски NVMe 1 ТБ (GIGABYTE, был Windows+BitLocker) → /mnt/media; HDD 1 ТБ (TOSHIBA) → /mnt/archive
Медиатека переехала 41 ГБ → NVMe, системный диск освободился с 51% до 12%
Общее хранилище /mnt/media: series 35 ГБ, movies, nextcloud 3.4 ГБ, models 2.5 ГБ, music 2.3 ГБ, books, photos (Immich через NFS), matrix 77 МБ, documents (Paperless), downloads, frigate
Бэкапы vzdump → /mnt/archive/backups (HDD), конфиги и дампы БД тоже на HDD
Ночная копия медиатеки archive_copy.py + таймер 04:10 на HDD
Swap 8 ГБ LV + 16 ГБ swapfile на /mnt/media + zram 7.7 ГБ, итого 31 ГБ
fsck корня вылечены повреждения (14 групп bitmap + orphan) через initramfs

3.2 Инцидент и его причины

  • Корень монтировался read-only из-за повреждений ext4 → падали pve-cluster, lxcfs, docker.
  • Сумма лимитов памяти CT была 75 ГБ при 15 ГБ RAM → трэшинг, load 2800.
  • authorized_keys был симлинком на /etc/pve/priv/ → при падении pve-cluster пропадал SSH. Заменён обычным файлом.
  • zram (swap в RAM) при нехватке памяти вредил — отключён.
  • Автозапуск 30 контейнеров замаскирован (pve-guests), подъём по группам с контролем памяти через юнит hub-boot-recover.

3.3 Безопасность (P0)

Что Состояние
fail2ban установлен и активен, тюрьма sshd: 4 попытки → бан 1 ч, LAN в белом списке
SSH root PermitRootLogin prohibit-password, MaxAuthTries 4, LoginGraceTime 30
2FA решено НЕ внедрять (только как общая задача для всей семьи, иначе никак) — см. docs/DECISION-2FA.md
Vaultwarden развёрнут, SSO через Authentik, 129 записей, 9 пользователей
Компенсация без 2FA SSO, fail2ban, ключи, Vaultwarden, план: Tailscale-only для админки

3.4 Hermes — шина событий и планировщик (новое)

/opt/hermes/, порт 9130, hermes.service, SQLite, код в ops/hermes/.

Функция Детали
API POST /event, POST /alertmanager, GET /events, /approvals, /health, /metrics, POST /jobs/<name>/run
Алерты цепочка Alertmanager → Hermes → хаб /notify → Matrix проверена живым critical-алертом
Дедуп 15 минут, тихие часы 23:30–07:30 (critical проходит всегда)
Задания backup-heartbeat (30 мин), updates-check (6 ч), disk-trend, verify-services, update-plan (08:45), home-heartbeat (5 мин → VPS)
Метрики hermes_events_total, hermes_job_fails{job}, hermes_quiet_active; скрейпит Prometheus

3.5 Наблюдение

Что Состояние
Prometheus (CT134) 37 таргетов, 0 down, алертов 0
Grafana (CT113) работает, 200
Loki (CT113) retention 30 дней + compactor
Kuma (CT107) 61 монитор, 0 down; push-мониторы починены (интервалы и токены)
Heartbeat бэкапов backup-heartbeat.sh в Hermes, пингует Kuma по свежести
Внешний сторож на VPS: 5 URL раз в 5 мин → Telegram, dead-man switch (нет heartbeat 15 мин → «дом пропал»)
Проверка обновлений переписана: все CT + хост, 132 образа, 26 обновлений

3.6 Обновления

update_plan.py → /var/lib/hub-agents/update-plan.md: группы 1) агенты 12, 2) UI 1, 3) медиа 6, 4) приложения 5, 5) инфраструктура, 6) вручную (Postgres, Authentik, Gitea, Synapse — stateful). Окно: первая суббота месяца 03:00–07:00, снапшот перед каждой группой, откат описан.

3.7 Сервисы

  • Jellystat развёрнут в CT103, порт 3100, healthy, БД jellystat в Postgres CT151. Ждёт Jellyfin API-ключ в интерфейсе (шаг владельца).
  • Plex (CT116) и Tautulli (CT122) остановлены, onboot 0, выведены из реестра/Kuma.
  • Immich ML запущен (лежал 6 дней), Immich добавлен в ежедневный бэкап.
  • Nextcloud, Paperless, Matrix media, Ollama-модели переехали в общее хранилище.

3.8 Matrix

  • 91 комната → удалены 19 пустых, созданы пространства: Личные (12), Боты (8), Работа (4), Дом (2), Медиа (4); ранее были Buryan Hub и Telegram.
  • Отключены 6 легаси-ботов: bot_adm, bot_alert, bot_auth, bot_books, bot_media, bot_work. Оставлены 11 ботов из конфига + comms_agent.
  • Ошибок в логах Synapse за сутки: 0.
  • Семья приглашена в пространства — приглашения нужно принять (шаг владельца).

3.9 Репозиторий и порядок

  • Реестр автоматизаций ops/automations/registry.yaml — 112 заданий (crontab 18, cron.d ~50, systemd 33, Hermes 6).
  • Индекс документации docs/INDEX.md — 116 документов.
  • Убраны старые cron.d/*.bak, бэкапы правил Prometheus.
  • Гигиена: очищены висячие образы и кэш на хосте и 32 CT, journal ограничен.

3.10 CI в Gitea

  • Actions включены в app.ini, runner ct140-runner зарегистрирован (образ gitea/act_runner, --security-opt apparmor=unconfined, т.к. AppArmor CT140 блокировал загрузку профиля), метки ubuntu-latest/24.04/22.04.
  • Workflow .gitea/workflows/lint.yml: линт YAML/compose, поиск закоммиченных секретов, наличие обязательных файлов.
  • Не закрыто: подтвердить итог первого прогона (runner брал задачу, статус не снят).

4. Текущее проверенное состояние

Показатель Значение
Сервисы хаба 74 из 74 (после фильтра sidecar; всего контейнеров 161)
Prometheus 37 таргетов, down 0, алертов 0
Kuma 61 монитор, down 0
Контейнеры 31 CT + VM Immich (Ollama выключен, Plex/Tautulli остановлены)
Упавших юнитов 0
Диск / 12%
Общее хранилище ~875 ГБ свободно
Память 11 из 15 ГБ, swap 9.7 из 31 ГБ
Бэкапы HDD: 37 дампов, конфиги, базы; offsite restic 113 снимков, 80.9 ГБ
Restore-тест 5 из 5 пройдено (был баг pipefail + grep -q)

5. Открытые задачи (приоритет)

# Задача Кто Заметка
1 Подтвердить прогон CI, ослабить правило секретов при ложных срабатываниях агент docker logs gitea-runner в CT140
2 Перенос hub-* cron в Hermes по группам агент начать с export-service-metrics, direct-health-check, check-services, swarm-watchdog
3 Compose-файлы в deploy/ репозитория агент по одному CT, Git = источник истины
4 Jellystat: ввести Jellyfin API-ключ владелец http://192.168.1.103:3100
5 Принять приглашения в пространства Matrix семья Element
6 Вторая планка DDR4 16 ГБ владелец не критично, swap есть
7 MCore 4 Pro NonOS: DDR5 16 ГБ, BIOS, установка Proxmox (mc-ai, 192.168.1.30) владелец дальше агент настраивает Ollama + NFS + мониторинг
8 Окно обновлений (26 образов) вместе первая суббота месяца
9 Голос отложено нет железа
10 Centralization: compose в git, cron в Hermes, HA-автоматизации в git агент

6. Ловушки, уже пойманные (не повторять)

  1. pct exec обязателен для путей внутри контейнеров: rsync по хостовому пути скопирует пустоту (Paperless).
  2. Unprivileged CT: uid внутри = host uid + 100000 (1000→101000, 33→100033, 999→100999). Копировать с --numeric-owner, затем chown.
  3. yaml.safe_dump убирает отступы списка — парсер хаба ждёт " - key:", поэтому реестр сервисов править генератором с проверкой grep -c '^ - key:'.
  4. Alertmanager/Prometheus править только YAML-парсером: строковая замена молча не применяется при несовпадении отступов.
  5. set -o pipefail + grep -q даёт SIGPIPE → ложный провал теста (restore-test «падал» на живых данных).
  6. fsck нельзя запускать без консоли: при ошибках ФС он ждёт человека, сервер жив по ping, но недоступен.
  7. authorized_keys не должен быть симлинком на /etc/pve — иначе SSH зависит от pve-cluster.
  8. AppArmor в CT мешает вложенному Docker: нужен --security-opt apparmor=unconfined.
  9. PowerShell + ssh: длинные команды ломаются на кавычках/2>/dev/null — писать скрипт файлом, scp, затем bash.
  10. zram при нехватке RAM вредит, а не помогает.

7. Где что лежит

/root/buryan-infra            SSOT (docs/, ops/, deploy/, .gitea/workflows)
/opt/hub-core                 ядро хаба (8120→9120): status, catalog, intent, ask, notify
/opt/hermes                   Hermes: шина, планировщик, SQLite, jobs.yaml
/opt/hub-bots                 боты Matrix (секретарь + профильные)
/opt/buryan-hub/scripts       служебные скрипты (backup, health, kuma-notify, restore-test)
/mnt/media                    общее хранилище 938 ГБ
/mnt/archive                  бэкапы: backups/{dump,configs,db}, media (ночная копия), old/
/mnt/backups                  старое LV (отключено, оставлено на неделю)

Mentальные артефакты этой сессии: docs/plan/FINISH-LINE.md, docs/DECISION-2FA.md, docs/P0-P1-2026-10-28.md, ops/ops/INCIDENT-2026-10-28.md, ops/ops/SHARED-STORAGE.md, ops/hermes/README.md, ops/automations/registry.yaml, docs/INDEX.md.


8. Как начинать новую сессию

  1. ssh root@192.168.1.10, uptime, free -h, pct list | grep -c running.
  2. curl -s http://127.0.0.1:9120/status.json | head -c 200 — хаб.
  3. systemctl --failed — должно быть 0.
  4. Kuma/Prometheus: 0 down, 0 алертов.
  5. Взять задачу из раздела 5 по порядку и проверять результат командами.