[AUDIT] Полный аудит системы для передачи в новую сессию
lint / hygiene (push) Failing after 0s

This commit is contained in:
buryan-agent committed 2026-10-28 11:52:53 +03:00
1 parent 971cc9f5d8
commit 5a162d6432
1 file changed
+215
+215
View File
@@ -0,0 +1,215 @@
# Полный аудит Buryan Hub — передача в новую сессию
Составлено 28.10.2026 по итогам марафона. Всё в документе проверено командами;
где не проверено — помечено отдельно.
---
## 1. Что это за система
Домашняя инфраструктура `buryans.ru` на Proxmox VE 9 (хост `192.168.1.10`, плата
ASRock H610D4-P1/TPM, CPU i5-13400, 16 ГБ DDR4, 33 LXC + 1 VM), ~161 контейнер
(74 «сервиса» без служебных агентов), единый вход Authentik, медиасервер Jellyfin,
Home Assistant, боты Matrix, агентский слой, наблюдение Prometheus + Kuma + Loki.
Владелец — Роман (`@akadmin`), общается по-русски, требует проверенных фактов.
---
## 2. Доступы
| Что | Как |
|---|---|
| Хост Proxmox | `ssh root@192.168.1.10` (ключ `buryan-vps`, вход по паролю для root запрещён) |
| VPS | `ssh root@193.233.210.184`, Tailscale `100.64.0.2` |
| SSOT-репозиторий | `/root/buryan-infra` на хосте, remote — Gitea `192.168.1.140:3000` (`agent-qwen/buryan-infra`) |
| Секреты | **Vaultwarden** `https://vault.buryans.ru` (129 записей), дубли — файлами в `/root/.*` как аварийный путь |
| Локальная папка | `D:\Buryans Hub` (Windows) |
Секреты в чат не выводить. Файл импорта в Vaultwarden удалён и с сервера, и с диска.
---
## 3. Что сделано в марафоне 27–28.10
### 3.1 Железо и хранилище
| Работа | Результат |
|---|---|
| Установлены диски | NVMe 1 ТБ (GIGABYTE, был Windows+BitLocker) → `/mnt/media`; HDD 1 ТБ (TOSHIBA) → `/mnt/archive` |
| Медиатека переехала | 41 ГБ → NVMe, системный диск освободился с 51% до **12%** |
| Общее хранилище | `/mnt/media`: series 35 ГБ, movies, nextcloud 3.4 ГБ, models 2.5 ГБ, music 2.3 ГБ, books, photos (Immich через **NFS**), matrix 77 МБ, documents (Paperless), downloads, frigate |
| Бэкапы | vzdump → `/mnt/archive/backups` (HDD), конфиги и дампы БД тоже на HDD |
| Ночная копия медиатеки | `archive_copy.py` + таймер 04:10 на HDD |
| Swap | 8 ГБ LV + 16 ГБ swapfile на `/mnt/media` + zram 7.7 ГБ, итого 31 ГБ |
| fsck корня | вылечены повреждения (14 групп bitmap + orphan) через initramfs |
### 3.2 Инцидент и его причины
- Корень монтировался **read-only** из-за повреждений ext4 → падали `pve-cluster`, `lxcfs`, `docker`.
- **Сумма лимитов памяти CT была 75 ГБ при 15 ГБ RAM** → трэшинг, load 2800.
- `authorized_keys` был **симлинком на `/etc/pve/priv/`** → при падении pve-cluster пропадал SSH. Заменён обычным файлом.
- zram (swap в RAM) при нехватке памяти вредил — отключён.
- Автозапуск 30 контейнеров замаскирован (`pve-guests`), подъём по группам с контролем памяти через юнит `hub-boot-recover`.
### 3.3 Безопасность (P0)
| Что | Состояние |
|---|---|
| fail2ban | **установлен и активен**, тюрьма `sshd`: 4 попытки → бан 1 ч, LAN в белом списке |
| SSH root | **`PermitRootLogin prohibit-password`**, `MaxAuthTries 4`, `LoginGraceTime 30` |
| 2FA | **решено НЕ внедрять** (только как общая задача для всей семьи, иначе никак) — см. `docs/DECISION-2FA.md` |
| Vaultwarden | развёрнут, SSO через Authentik, **129 записей**, 9 пользователей |
| Компенсация без 2FA | SSO, fail2ban, ключи, Vaultwarden, план: Tailscale-only для админки |
### 3.4 Hermes — шина событий и планировщик (новое)
`/opt/hermes/`, порт **9130**, `hermes.service`, SQLite, код в `ops/hermes/`.
| Функция | Детали |
|---|---|
| API | `POST /event`, `POST /alertmanager`, `GET /events`, `/approvals`, `/health`, `/metrics`, `POST /jobs/<name>/run` |
| Алерты | цепочка **Alertmanager → Hermes → хаб `/notify` → Matrix** проверена живым critical-алертом |
| Дедуп | 15 минут, тихие часы 23:30–07:30 (critical проходит всегда) |
| Задания | `backup-heartbeat` (30 мин), `updates-check` (6 ч), `disk-trend`, `verify-services`, `update-plan` (08:45), `home-heartbeat` (5 мин → VPS) |
| Метрики | `hermes_events_total`, `hermes_job_fails{job}`, `hermes_quiet_active`; скрейпит Prometheus |
### 3.5 Наблюдение
| Что | Состояние |
|---|---|
| Prometheus (CT134) | 37 таргетов, **0 down**, алертов **0** |
| Grafana (CT113) | работает, 200 |
| Loki (CT113) | retention **30 дней** + compactor |
| Kuma (CT107) | 61 монитор, **0 down**; push-мониторы починены (интервалы и токены) |
| Heartbeat бэкапов | `backup-heartbeat.sh` в Hermes, пингует Kuma по свежести |
| Внешний сторож | на **VPS**: 5 URL раз в 5 мин → Telegram, dead-man switch (нет heartbeat 15 мин → «дом пропал») |
| Проверка обновлений | переписана: все CT + хост, **132 образа, 26 обновлений** |
### 3.6 Обновления
`update_plan.py` → `/var/lib/hub-agents/update-plan.md`: группы 1) агенты 12,
2) UI 1, 3) медиа 6, 4) приложения 5, 5) инфраструктура, 6) **вручную** (Postgres,
Authentik, Gitea, Synapse — stateful). Окно: первая суббота месяца 03:00–07:00,
снапшот перед каждой группой, откат описан.
### 3.7 Сервисы
- **Jellystat** развёрнут в CT103, порт 3100, healthy, БД `jellystat` в Postgres CT151.
Ждёт Jellyfin API-ключ в интерфейсе (шаг владельца).
- **Plex (CT116) и Tautulli (CT122)** остановлены, `onboot 0`, выведены из реестра/Kuma.
- **Immich ML** запущен (лежал 6 дней), Immich добавлен в **ежедневный** бэкап.
- **Nextcloud, Paperless, Matrix media, Ollama-модели** переехали в общее хранилище.
### 3.8 Matrix
- 91 комната → удалены **19 пустых**, созданы пространства: **Личные (12), Боты (8),
Работа (4), Дом (2), Медиа (4)**; ранее были Buryan Hub и Telegram.
- Отключены 6 легаси-ботов: `bot_adm, bot_alert, bot_auth, bot_books, bot_media, bot_work`.
Оставлены 11 ботов из конфига + `comms_agent`.
- Ошибок в логах Synapse за сутки: **0**.
- Семья приглашена в пространства — **приглашения нужно принять** (шаг владельца).
### 3.9 Репозиторий и порядок
- **Реестр автоматизаций** `ops/automations/registry.yaml` — **112 заданий** (crontab 18,
cron.d ~50, systemd 33, Hermes 6).
- **Индекс документации** `docs/INDEX.md` — 116 документов.
- Убраны старые `cron.d/*.bak`, бэкапы правил Prometheus.
- Гигиена: очищены висячие образы и кэш на хосте и 32 CT, journal ограничен.
### 3.10 CI в Gitea
- Actions включены в `app.ini`, runner `ct140-runner` зарегистрирован
(образ `gitea/act_runner`, `--security-opt apparmor=unconfined`, т.к. AppArmor CT140
блокировал загрузку профиля), метки `ubuntu-latest/24.04/22.04`.
- Workflow `.gitea/workflows/lint.yml`: линт YAML/compose, поиск закоммиченных
секретов, наличие обязательных файлов.
- **Не закрыто:** подтвердить итог первого прогона (runner брал задачу, статус не снят).
---
## 4. Текущее проверенное состояние
| Показатель | Значение |
|---|---|
| Сервисы хаба | **74 из 74** (после фильтра sidecar; всего контейнеров 161) |
| Prometheus | 37 таргетов, down 0, алертов 0 |
| Kuma | 61 монитор, down 0 |
| Контейнеры | 31 CT + VM Immich (Ollama выключен, Plex/Tautulli остановлены) |
| Упавших юнитов | 0 |
| Диск `/` | 12% |
| Общее хранилище | ~875 ГБ свободно |
| Память | 11 из 15 ГБ, swap 9.7 из 31 ГБ |
| Бэкапы | HDD: 37 дампов, конфиги, базы; offsite restic 113 снимков, 80.9 ГБ |
| Restore-тест | **5 из 5 пройдено** (был баг `pipefail` + `grep -q`) |
---
## 5. Открытые задачи (приоритет)
| # | Задача | Кто | Заметка |
|---|---|---|---|
| 1 | Подтвердить прогон CI, ослабить правило секретов при ложных срабатываниях | агент | `docker logs gitea-runner` в CT140 |
| 2 | Перенос `hub-*` cron в Hermes по группам | агент | начать с `export-service-metrics`, `direct-health-check`, `check-services`, `swarm-watchdog` |
| 3 | Compose-файлы в `deploy/` репозитория | агент | по одному CT, Git = источник истины |
| 4 | Jellystat: ввести Jellyfin API-ключ | **владелец** | `http://192.168.1.103:3100` |
| 5 | Принять приглашения в пространства Matrix | **семья** | Element |
| 6 | Вторая планка DDR4 16 ГБ | **владелец** | не критично, swap есть |
| 7 | MCore 4 Pro NonOS: DDR5 16 ГБ, BIOS, установка Proxmox (`mc-ai`, 192.168.1.30) | **владелец** | дальше агент настраивает Ollama + NFS + мониторинг |
| 8 | Окно обновлений (26 образов) | вместе | первая суббота месяца |
| 9 | Голос | отложено | нет железа |
| 10 | Centralization: compose в git, cron в Hermes, HA-автоматизации в git | агент | |
---
## 6. Ловушки, уже пойманные (не повторять)
1. **`pct exec` обязателен** для путей внутри контейнеров: `rsync` по хостовому пути
скопирует пустоту (Paperless).
2. **Unprivileged CT**: uid внутри = host uid + 100000 (1000→101000, 33→100033,
999→100999). Копировать с `--numeric-owner`, затем `chown`.
3. **`yaml.safe_dump`** убирает отступы списка — парсер хаба ждёт `" - key:"`,
поэтому реестр сервисов править генератором с проверкой `grep -c '^ - key:'`.
4. **Alertmanager/Prometheus** править только YAML-парсером: строковая замена
молча не применяется при несовпадении отступов.
5. **`set -o pipefail` + `grep -q`** даёт SIGPIPE → ложный провал теста
(restore-test «падал» на живых данных).
6. **fsck нельзя запускать без консоли**: при ошибках ФС он ждёт человека,
сервер жив по ping, но недоступен.
7. **`authorized_keys` не должен быть симлинком на `/etc/pve`** — иначе SSH
зависит от pve-cluster.
8. **AppArmor в CT** мешает вложенному Docker: нужен `--security-opt apparmor=unconfined`.
9. **PowerShell + ssh**: длинные команды ломаются на кавычках/`2>/dev/null` —
писать скрипт файлом, `scp`, затем `bash`.
10. **zram при нехватке RAM вредит**, а не помогает.
---
## 7. Где что лежит
```
/root/buryan-infra SSOT (docs/, ops/, deploy/, .gitea/workflows)
/opt/hub-core ядро хаба (8120→9120): status, catalog, intent, ask, notify
/opt/hermes Hermes: шина, планировщик, SQLite, jobs.yaml
/opt/hub-bots боты Matrix (секретарь + профильные)
/opt/buryan-hub/scripts служебные скрипты (backup, health, kuma-notify, restore-test)
/mnt/media общее хранилище 938 ГБ
/mnt/archive бэкапы: backups/{dump,configs,db}, media (ночная копия), old/
/mnt/backups старое LV (отключено, оставлено на неделю)
```
Mentальные артефакты этой сессии: `docs/plan/FINISH-LINE.md`,
`docs/DECISION-2FA.md`, `docs/P0-P1-2026-10-28.md`,
`ops/ops/INCIDENT-2026-10-28.md`, `ops/ops/SHARED-STORAGE.md`,
`ops/hermes/README.md`, `ops/automations/registry.yaml`, `docs/INDEX.md`.
---
## 8. Как начинать новую сессию
1. `ssh root@192.168.1.10`, `uptime`, `free -h`, `pct list | grep -c running`.
2. `curl -s http://127.0.0.1:9120/status.json | head -c 200` — хаб.
3. `systemctl --failed` — должно быть 0.
4. Kuma/Prometheus: 0 down, 0 алертов.
5. Взять задачу из раздела 5 по порядку и **проверять результат командами**.