diff --git a/docs/AUDIT-HANDOFF-2026-10-28.md b/docs/AUDIT-HANDOFF-2026-10-28.md new file mode 100644 index 0000000..dff11f6 --- /dev/null +++ b/docs/AUDIT-HANDOFF-2026-10-28.md @@ -0,0 +1,215 @@ +# Полный аудит Buryan Hub — передача в новую сессию + +Составлено 28.10.2026 по итогам марафона. Всё в документе проверено командами; +где не проверено — помечено отдельно. + +--- + +## 1. Что это за система + +Домашняя инфраструктура `buryans.ru` на Proxmox VE 9 (хост `192.168.1.10`, плата +ASRock H610D4-P1/TPM, CPU i5-13400, 16 ГБ DDR4, 33 LXC + 1 VM), ~161 контейнер +(74 «сервиса» без служебных агентов), единый вход Authentik, медиасервер Jellyfin, +Home Assistant, боты Matrix, агентский слой, наблюдение Prometheus + Kuma + Loki. + +Владелец — Роман (`@akadmin`), общается по-русски, требует проверенных фактов. + +--- + +## 2. Доступы + +| Что | Как | +|---|---| +| Хост Proxmox | `ssh root@192.168.1.10` (ключ `buryan-vps`, вход по паролю для root запрещён) | +| VPS | `ssh root@193.233.210.184`, Tailscale `100.64.0.2` | +| SSOT-репозиторий | `/root/buryan-infra` на хосте, remote — Gitea `192.168.1.140:3000` (`agent-qwen/buryan-infra`) | +| Секреты | **Vaultwarden** `https://vault.buryans.ru` (129 записей), дубли — файлами в `/root/.*` как аварийный путь | +| Локальная папка | `D:\Buryans Hub` (Windows) | + +Секреты в чат не выводить. Файл импорта в Vaultwarden удалён и с сервера, и с диска. + +--- + +## 3. Что сделано в марафоне 27–28.10 + +### 3.1 Железо и хранилище + +| Работа | Результат | +|---|---| +| Установлены диски | NVMe 1 ТБ (GIGABYTE, был Windows+BitLocker) → `/mnt/media`; HDD 1 ТБ (TOSHIBA) → `/mnt/archive` | +| Медиатека переехала | 41 ГБ → NVMe, системный диск освободился с 51% до **12%** | +| Общее хранилище | `/mnt/media`: series 35 ГБ, movies, nextcloud 3.4 ГБ, models 2.5 ГБ, music 2.3 ГБ, books, photos (Immich через **NFS**), matrix 77 МБ, documents (Paperless), downloads, frigate | +| Бэкапы | vzdump → `/mnt/archive/backups` (HDD), конфиги и дампы БД тоже на HDD | +| Ночная копия медиатеки | `archive_copy.py` + таймер 04:10 на HDD | +| Swap | 8 ГБ LV + 16 ГБ swapfile на `/mnt/media` + zram 7.7 ГБ, итого 31 ГБ | +| fsck корня | вылечены повреждения (14 групп bitmap + orphan) через initramfs | + +### 3.2 Инцидент и его причины + +- Корень монтировался **read-only** из-за повреждений ext4 → падали `pve-cluster`, `lxcfs`, `docker`. +- **Сумма лимитов памяти CT была 75 ГБ при 15 ГБ RAM** → трэшинг, load 2800. +- `authorized_keys` был **симлинком на `/etc/pve/priv/`** → при падении pve-cluster пропадал SSH. Заменён обычным файлом. +- zram (swap в RAM) при нехватке памяти вредил — отключён. +- Автозапуск 30 контейнеров замаскирован (`pve-guests`), подъём по группам с контролем памяти через юнит `hub-boot-recover`. + +### 3.3 Безопасность (P0) + +| Что | Состояние | +|---|---| +| fail2ban | **установлен и активен**, тюрьма `sshd`: 4 попытки → бан 1 ч, LAN в белом списке | +| SSH root | **`PermitRootLogin prohibit-password`**, `MaxAuthTries 4`, `LoginGraceTime 30` | +| 2FA | **решено НЕ внедрять** (только как общая задача для всей семьи, иначе никак) — см. `docs/DECISION-2FA.md` | +| Vaultwarden | развёрнут, SSO через Authentik, **129 записей**, 9 пользователей | +| Компенсация без 2FA | SSO, fail2ban, ключи, Vaultwarden, план: Tailscale-only для админки | + +### 3.4 Hermes — шина событий и планировщик (новое) + +`/opt/hermes/`, порт **9130**, `hermes.service`, SQLite, код в `ops/hermes/`. + +| Функция | Детали | +|---|---| +| API | `POST /event`, `POST /alertmanager`, `GET /events`, `/approvals`, `/health`, `/metrics`, `POST /jobs//run` | +| Алерты | цепочка **Alertmanager → Hermes → хаб `/notify` → Matrix** проверена живым critical-алертом | +| Дедуп | 15 минут, тихие часы 23:30–07:30 (critical проходит всегда) | +| Задания | `backup-heartbeat` (30 мин), `updates-check` (6 ч), `disk-trend`, `verify-services`, `update-plan` (08:45), `home-heartbeat` (5 мин → VPS) | +| Метрики | `hermes_events_total`, `hermes_job_fails{job}`, `hermes_quiet_active`; скрейпит Prometheus | + +### 3.5 Наблюдение + +| Что | Состояние | +|---|---| +| Prometheus (CT134) | 37 таргетов, **0 down**, алертов **0** | +| Grafana (CT113) | работает, 200 | +| Loki (CT113) | retention **30 дней** + compactor | +| Kuma (CT107) | 61 монитор, **0 down**; push-мониторы починены (интервалы и токены) | +| Heartbeat бэкапов | `backup-heartbeat.sh` в Hermes, пингует Kuma по свежести | +| Внешний сторож | на **VPS**: 5 URL раз в 5 мин → Telegram, dead-man switch (нет heartbeat 15 мин → «дом пропал») | +| Проверка обновлений | переписана: все CT + хост, **132 образа, 26 обновлений** | + +### 3.6 Обновления + +`update_plan.py` → `/var/lib/hub-agents/update-plan.md`: группы 1) агенты 12, +2) UI 1, 3) медиа 6, 4) приложения 5, 5) инфраструктура, 6) **вручную** (Postgres, +Authentik, Gitea, Synapse — stateful). Окно: первая суббота месяца 03:00–07:00, +снапшот перед каждой группой, откат описан. + +### 3.7 Сервисы + +- **Jellystat** развёрнут в CT103, порт 3100, healthy, БД `jellystat` в Postgres CT151. + Ждёт Jellyfin API-ключ в интерфейсе (шаг владельца). +- **Plex (CT116) и Tautulli (CT122)** остановлены, `onboot 0`, выведены из реестра/Kuma. +- **Immich ML** запущен (лежал 6 дней), Immich добавлен в **ежедневный** бэкап. +- **Nextcloud, Paperless, Matrix media, Ollama-модели** переехали в общее хранилище. + +### 3.8 Matrix + +- 91 комната → удалены **19 пустых**, созданы пространства: **Личные (12), Боты (8), + Работа (4), Дом (2), Медиа (4)**; ранее были Buryan Hub и Telegram. +- Отключены 6 легаси-ботов: `bot_adm, bot_alert, bot_auth, bot_books, bot_media, bot_work`. + Оставлены 11 ботов из конфига + `comms_agent`. +- Ошибок в логах Synapse за сутки: **0**. +- Семья приглашена в пространства — **приглашения нужно принять** (шаг владельца). + +### 3.9 Репозиторий и порядок + +- **Реестр автоматизаций** `ops/automations/registry.yaml` — **112 заданий** (crontab 18, + cron.d ~50, systemd 33, Hermes 6). +- **Индекс документации** `docs/INDEX.md` — 116 документов. +- Убраны старые `cron.d/*.bak`, бэкапы правил Prometheus. +- Гигиена: очищены висячие образы и кэш на хосте и 32 CT, journal ограничен. + +### 3.10 CI в Gitea + +- Actions включены в `app.ini`, runner `ct140-runner` зарегистрирован + (образ `gitea/act_runner`, `--security-opt apparmor=unconfined`, т.к. AppArmor CT140 + блокировал загрузку профиля), метки `ubuntu-latest/24.04/22.04`. +- Workflow `.gitea/workflows/lint.yml`: линт YAML/compose, поиск закоммиченных + секретов, наличие обязательных файлов. +- **Не закрыто:** подтвердить итог первого прогона (runner брал задачу, статус не снят). + +--- + +## 4. Текущее проверенное состояние + +| Показатель | Значение | +|---|---| +| Сервисы хаба | **74 из 74** (после фильтра sidecar; всего контейнеров 161) | +| Prometheus | 37 таргетов, down 0, алертов 0 | +| Kuma | 61 монитор, down 0 | +| Контейнеры | 31 CT + VM Immich (Ollama выключен, Plex/Tautulli остановлены) | +| Упавших юнитов | 0 | +| Диск `/` | 12% | +| Общее хранилище | ~875 ГБ свободно | +| Память | 11 из 15 ГБ, swap 9.7 из 31 ГБ | +| Бэкапы | HDD: 37 дампов, конфиги, базы; offsite restic 113 снимков, 80.9 ГБ | +| Restore-тест | **5 из 5 пройдено** (был баг `pipefail` + `grep -q`) | + +--- + +## 5. Открытые задачи (приоритет) + +| # | Задача | Кто | Заметка | +|---|---|---|---| +| 1 | Подтвердить прогон CI, ослабить правило секретов при ложных срабатываниях | агент | `docker logs gitea-runner` в CT140 | +| 2 | Перенос `hub-*` cron в Hermes по группам | агент | начать с `export-service-metrics`, `direct-health-check`, `check-services`, `swarm-watchdog` | +| 3 | Compose-файлы в `deploy/` репозитория | агент | по одному CT, Git = источник истины | +| 4 | Jellystat: ввести Jellyfin API-ключ | **владелец** | `http://192.168.1.103:3100` | +| 5 | Принять приглашения в пространства Matrix | **семья** | Element | +| 6 | Вторая планка DDR4 16 ГБ | **владелец** | не критично, swap есть | +| 7 | MCore 4 Pro NonOS: DDR5 16 ГБ, BIOS, установка Proxmox (`mc-ai`, 192.168.1.30) | **владелец** | дальше агент настраивает Ollama + NFS + мониторинг | +| 8 | Окно обновлений (26 образов) | вместе | первая суббота месяца | +| 9 | Голос | отложено | нет железа | +| 10 | Centralization: compose в git, cron в Hermes, HA-автоматизации в git | агент | | + +--- + +## 6. Ловушки, уже пойманные (не повторять) + +1. **`pct exec` обязателен** для путей внутри контейнеров: `rsync` по хостовому пути + скопирует пустоту (Paperless). +2. **Unprivileged CT**: uid внутри = host uid + 100000 (1000→101000, 33→100033, + 999→100999). Копировать с `--numeric-owner`, затем `chown`. +3. **`yaml.safe_dump`** убирает отступы списка — парсер хаба ждёт `" - key:"`, + поэтому реестр сервисов править генератором с проверкой `grep -c '^ - key:'`. +4. **Alertmanager/Prometheus** править только YAML-парсером: строковая замена + молча не применяется при несовпадении отступов. +5. **`set -o pipefail` + `grep -q`** даёт SIGPIPE → ложный провал теста + (restore-test «падал» на живых данных). +6. **fsck нельзя запускать без консоли**: при ошибках ФС он ждёт человека, + сервер жив по ping, но недоступен. +7. **`authorized_keys` не должен быть симлинком на `/etc/pve`** — иначе SSH + зависит от pve-cluster. +8. **AppArmor в CT** мешает вложенному Docker: нужен `--security-opt apparmor=unconfined`. +9. **PowerShell + ssh**: длинные команды ломаются на кавычках/`2>/dev/null` — + писать скрипт файлом, `scp`, затем `bash`. +10. **zram при нехватке RAM вредит**, а не помогает. + +--- + +## 7. Где что лежит + +``` +/root/buryan-infra SSOT (docs/, ops/, deploy/, .gitea/workflows) +/opt/hub-core ядро хаба (8120→9120): status, catalog, intent, ask, notify +/opt/hermes Hermes: шина, планировщик, SQLite, jobs.yaml +/opt/hub-bots боты Matrix (секретарь + профильные) +/opt/buryan-hub/scripts служебные скрипты (backup, health, kuma-notify, restore-test) +/mnt/media общее хранилище 938 ГБ +/mnt/archive бэкапы: backups/{dump,configs,db}, media (ночная копия), old/ +/mnt/backups старое LV (отключено, оставлено на неделю) +``` + +Mentальные артефакты этой сессии: `docs/plan/FINISH-LINE.md`, +`docs/DECISION-2FA.md`, `docs/P0-P1-2026-10-28.md`, +`ops/ops/INCIDENT-2026-10-28.md`, `ops/ops/SHARED-STORAGE.md`, +`ops/hermes/README.md`, `ops/automations/registry.yaml`, `docs/INDEX.md`. + +--- + +## 8. Как начинать новую сессию + +1. `ssh root@192.168.1.10`, `uptime`, `free -h`, `pct list | grep -c running`. +2. `curl -s http://127.0.0.1:9120/status.json | head -c 200` — хаб. +3. `systemctl --failed` — должно быть 0. +4. Kuma/Prometheus: 0 down, 0 алертов. +5. Взять задачу из раздела 5 по порядку и **проверять результат командами**.