14 KiB
Полный аудит Buryan Hub — передача в новую сессию
Составлено 28.10.2026 по итогам марафона. Всё в документе проверено командами; где не проверено — помечено отдельно.
1. Что это за система
Домашняя инфраструктура buryans.ru на Proxmox VE 9 (хост 192.168.1.10, плата
ASRock H610D4-P1/TPM, CPU i5-13400, 16 ГБ DDR4, 33 LXC + 1 VM), ~161 контейнер
(74 «сервиса» без служебных агентов), единый вход Authentik, медиасервер Jellyfin,
Home Assistant, боты Matrix, агентский слой, наблюдение Prometheus + Kuma + Loki.
Владелец — Роман (@akadmin), общается по-русски, требует проверенных фактов.
2. Доступы
| Что | Как |
|---|---|
| Хост Proxmox | ssh root@192.168.1.10 (ключ buryan-vps, вход по паролю для root запрещён) |
| VPS | ssh root@193.233.210.184, Tailscale 100.64.0.2 |
| SSOT-репозиторий | /root/buryan-infra на хосте, remote — Gitea 192.168.1.140:3000 (agent-qwen/buryan-infra) |
| Секреты | Vaultwarden https://vault.buryans.ru (129 записей), дубли — файлами в /root/.* как аварийный путь |
| Локальная папка | D:\Buryans Hub (Windows) |
Секреты в чат не выводить. Файл импорта в Vaultwarden удалён и с сервера, и с диска.
3. Что сделано в марафоне 27–28.10
3.1 Железо и хранилище
| Работа | Результат |
|---|---|
| Установлены диски | NVMe 1 ТБ (GIGABYTE, был Windows+BitLocker) → /mnt/media; HDD 1 ТБ (TOSHIBA) → /mnt/archive |
| Медиатека переехала | 41 ГБ → NVMe, системный диск освободился с 51% до 12% |
| Общее хранилище | /mnt/media: series 35 ГБ, movies, nextcloud 3.4 ГБ, models 2.5 ГБ, music 2.3 ГБ, books, photos (Immich через NFS), matrix 77 МБ, documents (Paperless), downloads, frigate |
| Бэкапы | vzdump → /mnt/archive/backups (HDD), конфиги и дампы БД тоже на HDD |
| Ночная копия медиатеки | archive_copy.py + таймер 04:10 на HDD |
| Swap | 8 ГБ LV + 16 ГБ swapfile на /mnt/media + zram 7.7 ГБ, итого 31 ГБ |
| fsck корня | вылечены повреждения (14 групп bitmap + orphan) через initramfs |
3.2 Инцидент и его причины
- Корень монтировался read-only из-за повреждений ext4 → падали
pve-cluster,lxcfs,docker. - Сумма лимитов памяти CT была 75 ГБ при 15 ГБ RAM → трэшинг, load 2800.
authorized_keysбыл симлинком на/etc/pve/priv/→ при падении pve-cluster пропадал SSH. Заменён обычным файлом.- zram (swap в RAM) при нехватке памяти вредил — отключён.
- Автозапуск 30 контейнеров замаскирован (
pve-guests), подъём по группам с контролем памяти через юнитhub-boot-recover.
3.3 Безопасность (P0)
| Что | Состояние |
|---|---|
| fail2ban | установлен и активен, тюрьма sshd: 4 попытки → бан 1 ч, LAN в белом списке |
| SSH root | PermitRootLogin prohibit-password, MaxAuthTries 4, LoginGraceTime 30 |
| 2FA | решено НЕ внедрять (только как общая задача для всей семьи, иначе никак) — см. docs/DECISION-2FA.md |
| Vaultwarden | развёрнут, SSO через Authentik, 129 записей, 9 пользователей |
| Компенсация без 2FA | SSO, fail2ban, ключи, Vaultwarden, план: Tailscale-only для админки |
3.4 Hermes — шина событий и планировщик (новое)
/opt/hermes/, порт 9130, hermes.service, SQLite, код в ops/hermes/.
| Функция | Детали |
|---|---|
| API | POST /event, POST /alertmanager, GET /events, /approvals, /health, /metrics, POST /jobs/<name>/run |
| Алерты | цепочка Alertmanager → Hermes → хаб /notify → Matrix проверена живым critical-алертом |
| Дедуп | 15 минут, тихие часы 23:30–07:30 (critical проходит всегда) |
| Задания | backup-heartbeat (30 мин), updates-check (6 ч), disk-trend, verify-services, update-plan (08:45), home-heartbeat (5 мин → VPS) |
| Метрики | hermes_events_total, hermes_job_fails{job}, hermes_quiet_active; скрейпит Prometheus |
3.5 Наблюдение
| Что | Состояние |
|---|---|
| Prometheus (CT134) | 37 таргетов, 0 down, алертов 0 |
| Grafana (CT113) | работает, 200 |
| Loki (CT113) | retention 30 дней + compactor |
| Kuma (CT107) | 61 монитор, 0 down; push-мониторы починены (интервалы и токены) |
| Heartbeat бэкапов | backup-heartbeat.sh в Hermes, пингует Kuma по свежести |
| Внешний сторож | на VPS: 5 URL раз в 5 мин → Telegram, dead-man switch (нет heartbeat 15 мин → «дом пропал») |
| Проверка обновлений | переписана: все CT + хост, 132 образа, 26 обновлений |
3.6 Обновления
update_plan.py → /var/lib/hub-agents/update-plan.md: группы 1) агенты 12,
2) UI 1, 3) медиа 6, 4) приложения 5, 5) инфраструктура, 6) вручную (Postgres,
Authentik, Gitea, Synapse — stateful). Окно: первая суббота месяца 03:00–07:00,
снапшот перед каждой группой, откат описан.
3.7 Сервисы
- Jellystat развёрнут в CT103, порт 3100, healthy, БД
jellystatв Postgres CT151. Ждёт Jellyfin API-ключ в интерфейсе (шаг владельца). - Plex (CT116) и Tautulli (CT122) остановлены,
onboot 0, выведены из реестра/Kuma. - Immich ML запущен (лежал 6 дней), Immich добавлен в ежедневный бэкап.
- Nextcloud, Paperless, Matrix media, Ollama-модели переехали в общее хранилище.
3.8 Matrix
- 91 комната → удалены 19 пустых, созданы пространства: Личные (12), Боты (8), Работа (4), Дом (2), Медиа (4); ранее были Buryan Hub и Telegram.
- Отключены 6 легаси-ботов:
bot_adm, bot_alert, bot_auth, bot_books, bot_media, bot_work. Оставлены 11 ботов из конфига +comms_agent. - Ошибок в логах Synapse за сутки: 0.
- Семья приглашена в пространства — приглашения нужно принять (шаг владельца).
3.9 Репозиторий и порядок
- Реестр автоматизаций
ops/automations/registry.yaml— 112 заданий (crontab 18, cron.d ~50, systemd 33, Hermes 6). - Индекс документации
docs/INDEX.md— 116 документов. - Убраны старые
cron.d/*.bak, бэкапы правил Prometheus. - Гигиена: очищены висячие образы и кэш на хосте и 32 CT, journal ограничен.
3.10 CI в Gitea
- Actions включены в
app.ini, runnerct140-runnerзарегистрирован (образgitea/act_runner,--security-opt apparmor=unconfined, т.к. AppArmor CT140 блокировал загрузку профиля), меткиubuntu-latest/24.04/22.04. - Workflow
.gitea/workflows/lint.yml: линт YAML/compose, поиск закоммиченных секретов, наличие обязательных файлов. - Не закрыто: подтвердить итог первого прогона (runner брал задачу, статус не снят).
4. Текущее проверенное состояние
| Показатель | Значение |
|---|---|
| Сервисы хаба | 74 из 74 (после фильтра sidecar; всего контейнеров 161) |
| Prometheus | 37 таргетов, down 0, алертов 0 |
| Kuma | 61 монитор, down 0 |
| Контейнеры | 31 CT + VM Immich (Ollama выключен, Plex/Tautulli остановлены) |
| Упавших юнитов | 0 |
Диск / |
12% |
| Общее хранилище | ~875 ГБ свободно |
| Память | 11 из 15 ГБ, swap 9.7 из 31 ГБ |
| Бэкапы | HDD: 37 дампов, конфиги, базы; offsite restic 113 снимков, 80.9 ГБ |
| Restore-тест | 5 из 5 пройдено (был баг pipefail + grep -q) |
5. Открытые задачи (приоритет)
| # | Задача | Кто | Заметка |
|---|---|---|---|
| 1 | Подтвердить прогон CI, ослабить правило секретов при ложных срабатываниях | агент | docker logs gitea-runner в CT140 |
| 2 | Перенос hub-* cron в Hermes по группам |
агент | начать с export-service-metrics, direct-health-check, check-services, swarm-watchdog |
| 3 | Compose-файлы в deploy/ репозитория |
агент | по одному CT, Git = источник истины |
| 4 | Jellystat: ввести Jellyfin API-ключ | владелец | http://192.168.1.103:3100 |
| 5 | Принять приглашения в пространства Matrix | семья | Element |
| 6 | Вторая планка DDR4 16 ГБ | владелец | не критично, swap есть |
| 7 | MCore 4 Pro NonOS: DDR5 16 ГБ, BIOS, установка Proxmox (mc-ai, 192.168.1.30) |
владелец | дальше агент настраивает Ollama + NFS + мониторинг |
| 8 | Окно обновлений (26 образов) | вместе | первая суббота месяца |
| 9 | Голос | отложено | нет железа |
| 10 | Centralization: compose в git, cron в Hermes, HA-автоматизации в git | агент |
6. Ловушки, уже пойманные (не повторять)
pct execобязателен для путей внутри контейнеров:rsyncпо хостовому пути скопирует пустоту (Paperless).- Unprivileged CT: uid внутри = host uid + 100000 (1000→101000, 33→100033,
999→100999). Копировать с
--numeric-owner, затемchown. yaml.safe_dumpубирает отступы списка — парсер хаба ждёт" - key:", поэтому реестр сервисов править генератором с проверкойgrep -c '^ - key:'.- Alertmanager/Prometheus править только YAML-парсером: строковая замена молча не применяется при несовпадении отступов.
set -o pipefail+grep -qдаёт SIGPIPE → ложный провал теста (restore-test «падал» на живых данных).- fsck нельзя запускать без консоли: при ошибках ФС он ждёт человека, сервер жив по ping, но недоступен.
authorized_keysне должен быть симлинком на/etc/pve— иначе SSH зависит от pve-cluster.- AppArmor в CT мешает вложенному Docker: нужен
--security-opt apparmor=unconfined. - PowerShell + ssh: длинные команды ломаются на кавычках/
2>/dev/null— писать скрипт файлом,scp, затемbash. - zram при нехватке RAM вредит, а не помогает.
7. Где что лежит
/root/buryan-infra SSOT (docs/, ops/, deploy/, .gitea/workflows)
/opt/hub-core ядро хаба (8120→9120): status, catalog, intent, ask, notify
/opt/hermes Hermes: шина, планировщик, SQLite, jobs.yaml
/opt/hub-bots боты Matrix (секретарь + профильные)
/opt/buryan-hub/scripts служебные скрипты (backup, health, kuma-notify, restore-test)
/mnt/media общее хранилище 938 ГБ
/mnt/archive бэкапы: backups/{dump,configs,db}, media (ночная копия), old/
/mnt/backups старое LV (отключено, оставлено на неделю)
Mentальные артефакты этой сессии: docs/plan/FINISH-LINE.md,
docs/DECISION-2FA.md, docs/P0-P1-2026-10-28.md,
ops/ops/INCIDENT-2026-10-28.md, ops/ops/SHARED-STORAGE.md,
ops/hermes/README.md, ops/automations/registry.yaml, docs/INDEX.md.
8. Как начинать новую сессию
ssh root@192.168.1.10,uptime,free -h,pct list | grep -c running.curl -s http://127.0.0.1:9120/status.json | head -c 200— хаб.systemctl --failed— должно быть 0.- Kuma/Prometheus: 0 down, 0 алертов.
- Взять задачу из раздела 5 по порядку и проверять результат командами.