This commit is contained in:
1 parent
971cc9f5d8
commit
5a162d6432
1 file changed
+215
@@ -0,0 +1,215 @@
|
||||
# Полный аудит Buryan Hub — передача в новую сессию
|
||||
|
||||
Составлено 28.10.2026 по итогам марафона. Всё в документе проверено командами;
|
||||
где не проверено — помечено отдельно.
|
||||
|
||||
---
|
||||
|
||||
## 1. Что это за система
|
||||
|
||||
Домашняя инфраструктура `buryans.ru` на Proxmox VE 9 (хост `192.168.1.10`, плата
|
||||
ASRock H610D4-P1/TPM, CPU i5-13400, 16 ГБ DDR4, 33 LXC + 1 VM), ~161 контейнер
|
||||
(74 «сервиса» без служебных агентов), единый вход Authentik, медиасервер Jellyfin,
|
||||
Home Assistant, боты Matrix, агентский слой, наблюдение Prometheus + Kuma + Loki.
|
||||
|
||||
Владелец — Роман (`@akadmin`), общается по-русски, требует проверенных фактов.
|
||||
|
||||
---
|
||||
|
||||
## 2. Доступы
|
||||
|
||||
| Что | Как |
|
||||
|---|---|
|
||||
| Хост Proxmox | `ssh root@192.168.1.10` (ключ `buryan-vps`, вход по паролю для root запрещён) |
|
||||
| VPS | `ssh root@193.233.210.184`, Tailscale `100.64.0.2` |
|
||||
| SSOT-репозиторий | `/root/buryan-infra` на хосте, remote — Gitea `192.168.1.140:3000` (`agent-qwen/buryan-infra`) |
|
||||
| Секреты | **Vaultwarden** `https://vault.buryans.ru` (129 записей), дубли — файлами в `/root/.*` как аварийный путь |
|
||||
| Локальная папка | `D:\Buryans Hub` (Windows) |
|
||||
|
||||
Секреты в чат не выводить. Файл импорта в Vaultwarden удалён и с сервера, и с диска.
|
||||
|
||||
---
|
||||
|
||||
## 3. Что сделано в марафоне 27–28.10
|
||||
|
||||
### 3.1 Железо и хранилище
|
||||
|
||||
| Работа | Результат |
|
||||
|---|---|
|
||||
| Установлены диски | NVMe 1 ТБ (GIGABYTE, был Windows+BitLocker) → `/mnt/media`; HDD 1 ТБ (TOSHIBA) → `/mnt/archive` |
|
||||
| Медиатека переехала | 41 ГБ → NVMe, системный диск освободился с 51% до **12%** |
|
||||
| Общее хранилище | `/mnt/media`: series 35 ГБ, movies, nextcloud 3.4 ГБ, models 2.5 ГБ, music 2.3 ГБ, books, photos (Immich через **NFS**), matrix 77 МБ, documents (Paperless), downloads, frigate |
|
||||
| Бэкапы | vzdump → `/mnt/archive/backups` (HDD), конфиги и дампы БД тоже на HDD |
|
||||
| Ночная копия медиатеки | `archive_copy.py` + таймер 04:10 на HDD |
|
||||
| Swap | 8 ГБ LV + 16 ГБ swapfile на `/mnt/media` + zram 7.7 ГБ, итого 31 ГБ |
|
||||
| fsck корня | вылечены повреждения (14 групп bitmap + orphan) через initramfs |
|
||||
|
||||
### 3.2 Инцидент и его причины
|
||||
|
||||
- Корень монтировался **read-only** из-за повреждений ext4 → падали `pve-cluster`, `lxcfs`, `docker`.
|
||||
- **Сумма лимитов памяти CT была 75 ГБ при 15 ГБ RAM** → трэшинг, load 2800.
|
||||
- `authorized_keys` был **симлинком на `/etc/pve/priv/`** → при падении pve-cluster пропадал SSH. Заменён обычным файлом.
|
||||
- zram (swap в RAM) при нехватке памяти вредил — отключён.
|
||||
- Автозапуск 30 контейнеров замаскирован (`pve-guests`), подъём по группам с контролем памяти через юнит `hub-boot-recover`.
|
||||
|
||||
### 3.3 Безопасность (P0)
|
||||
|
||||
| Что | Состояние |
|
||||
|---|---|
|
||||
| fail2ban | **установлен и активен**, тюрьма `sshd`: 4 попытки → бан 1 ч, LAN в белом списке |
|
||||
| SSH root | **`PermitRootLogin prohibit-password`**, `MaxAuthTries 4`, `LoginGraceTime 30` |
|
||||
| 2FA | **решено НЕ внедрять** (только как общая задача для всей семьи, иначе никак) — см. `docs/DECISION-2FA.md` |
|
||||
| Vaultwarden | развёрнут, SSO через Authentik, **129 записей**, 9 пользователей |
|
||||
| Компенсация без 2FA | SSO, fail2ban, ключи, Vaultwarden, план: Tailscale-only для админки |
|
||||
|
||||
### 3.4 Hermes — шина событий и планировщик (новое)
|
||||
|
||||
`/opt/hermes/`, порт **9130**, `hermes.service`, SQLite, код в `ops/hermes/`.
|
||||
|
||||
| Функция | Детали |
|
||||
|---|---|
|
||||
| API | `POST /event`, `POST /alertmanager`, `GET /events`, `/approvals`, `/health`, `/metrics`, `POST /jobs/<name>/run` |
|
||||
| Алерты | цепочка **Alertmanager → Hermes → хаб `/notify` → Matrix** проверена живым critical-алертом |
|
||||
| Дедуп | 15 минут, тихие часы 23:30–07:30 (critical проходит всегда) |
|
||||
| Задания | `backup-heartbeat` (30 мин), `updates-check` (6 ч), `disk-trend`, `verify-services`, `update-plan` (08:45), `home-heartbeat` (5 мин → VPS) |
|
||||
| Метрики | `hermes_events_total`, `hermes_job_fails{job}`, `hermes_quiet_active`; скрейпит Prometheus |
|
||||
|
||||
### 3.5 Наблюдение
|
||||
|
||||
| Что | Состояние |
|
||||
|---|---|
|
||||
| Prometheus (CT134) | 37 таргетов, **0 down**, алертов **0** |
|
||||
| Grafana (CT113) | работает, 200 |
|
||||
| Loki (CT113) | retention **30 дней** + compactor |
|
||||
| Kuma (CT107) | 61 монитор, **0 down**; push-мониторы починены (интервалы и токены) |
|
||||
| Heartbeat бэкапов | `backup-heartbeat.sh` в Hermes, пингует Kuma по свежести |
|
||||
| Внешний сторож | на **VPS**: 5 URL раз в 5 мин → Telegram, dead-man switch (нет heartbeat 15 мин → «дом пропал») |
|
||||
| Проверка обновлений | переписана: все CT + хост, **132 образа, 26 обновлений** |
|
||||
|
||||
### 3.6 Обновления
|
||||
|
||||
`update_plan.py` → `/var/lib/hub-agents/update-plan.md`: группы 1) агенты 12,
|
||||
2) UI 1, 3) медиа 6, 4) приложения 5, 5) инфраструктура, 6) **вручную** (Postgres,
|
||||
Authentik, Gitea, Synapse — stateful). Окно: первая суббота месяца 03:00–07:00,
|
||||
снапшот перед каждой группой, откат описан.
|
||||
|
||||
### 3.7 Сервисы
|
||||
|
||||
- **Jellystat** развёрнут в CT103, порт 3100, healthy, БД `jellystat` в Postgres CT151.
|
||||
Ждёт Jellyfin API-ключ в интерфейсе (шаг владельца).
|
||||
- **Plex (CT116) и Tautulli (CT122)** остановлены, `onboot 0`, выведены из реестра/Kuma.
|
||||
- **Immich ML** запущен (лежал 6 дней), Immich добавлен в **ежедневный** бэкап.
|
||||
- **Nextcloud, Paperless, Matrix media, Ollama-модели** переехали в общее хранилище.
|
||||
|
||||
### 3.8 Matrix
|
||||
|
||||
- 91 комната → удалены **19 пустых**, созданы пространства: **Личные (12), Боты (8),
|
||||
Работа (4), Дом (2), Медиа (4)**; ранее были Buryan Hub и Telegram.
|
||||
- Отключены 6 легаси-ботов: `bot_adm, bot_alert, bot_auth, bot_books, bot_media, bot_work`.
|
||||
Оставлены 11 ботов из конфига + `comms_agent`.
|
||||
- Ошибок в логах Synapse за сутки: **0**.
|
||||
- Семья приглашена в пространства — **приглашения нужно принять** (шаг владельца).
|
||||
|
||||
### 3.9 Репозиторий и порядок
|
||||
|
||||
- **Реестр автоматизаций** `ops/automations/registry.yaml` — **112 заданий** (crontab 18,
|
||||
cron.d ~50, systemd 33, Hermes 6).
|
||||
- **Индекс документации** `docs/INDEX.md` — 116 документов.
|
||||
- Убраны старые `cron.d/*.bak`, бэкапы правил Prometheus.
|
||||
- Гигиена: очищены висячие образы и кэш на хосте и 32 CT, journal ограничен.
|
||||
|
||||
### 3.10 CI в Gitea
|
||||
|
||||
- Actions включены в `app.ini`, runner `ct140-runner` зарегистрирован
|
||||
(образ `gitea/act_runner`, `--security-opt apparmor=unconfined`, т.к. AppArmor CT140
|
||||
блокировал загрузку профиля), метки `ubuntu-latest/24.04/22.04`.
|
||||
- Workflow `.gitea/workflows/lint.yml`: линт YAML/compose, поиск закоммиченных
|
||||
секретов, наличие обязательных файлов.
|
||||
- **Не закрыто:** подтвердить итог первого прогона (runner брал задачу, статус не снят).
|
||||
|
||||
---
|
||||
|
||||
## 4. Текущее проверенное состояние
|
||||
|
||||
| Показатель | Значение |
|
||||
|---|---|
|
||||
| Сервисы хаба | **74 из 74** (после фильтра sidecar; всего контейнеров 161) |
|
||||
| Prometheus | 37 таргетов, down 0, алертов 0 |
|
||||
| Kuma | 61 монитор, down 0 |
|
||||
| Контейнеры | 31 CT + VM Immich (Ollama выключен, Plex/Tautulli остановлены) |
|
||||
| Упавших юнитов | 0 |
|
||||
| Диск `/` | 12% |
|
||||
| Общее хранилище | ~875 ГБ свободно |
|
||||
| Память | 11 из 15 ГБ, swap 9.7 из 31 ГБ |
|
||||
| Бэкапы | HDD: 37 дампов, конфиги, базы; offsite restic 113 снимков, 80.9 ГБ |
|
||||
| Restore-тест | **5 из 5 пройдено** (был баг `pipefail` + `grep -q`) |
|
||||
|
||||
---
|
||||
|
||||
## 5. Открытые задачи (приоритет)
|
||||
|
||||
| # | Задача | Кто | Заметка |
|
||||
|---|---|---|---|
|
||||
| 1 | Подтвердить прогон CI, ослабить правило секретов при ложных срабатываниях | агент | `docker logs gitea-runner` в CT140 |
|
||||
| 2 | Перенос `hub-*` cron в Hermes по группам | агент | начать с `export-service-metrics`, `direct-health-check`, `check-services`, `swarm-watchdog` |
|
||||
| 3 | Compose-файлы в `deploy/` репозитория | агент | по одному CT, Git = источник истины |
|
||||
| 4 | Jellystat: ввести Jellyfin API-ключ | **владелец** | `http://192.168.1.103:3100` |
|
||||
| 5 | Принять приглашения в пространства Matrix | **семья** | Element |
|
||||
| 6 | Вторая планка DDR4 16 ГБ | **владелец** | не критично, swap есть |
|
||||
| 7 | MCore 4 Pro NonOS: DDR5 16 ГБ, BIOS, установка Proxmox (`mc-ai`, 192.168.1.30) | **владелец** | дальше агент настраивает Ollama + NFS + мониторинг |
|
||||
| 8 | Окно обновлений (26 образов) | вместе | первая суббота месяца |
|
||||
| 9 | Голос | отложено | нет железа |
|
||||
| 10 | Centralization: compose в git, cron в Hermes, HA-автоматизации в git | агент | |
|
||||
|
||||
---
|
||||
|
||||
## 6. Ловушки, уже пойманные (не повторять)
|
||||
|
||||
1. **`pct exec` обязателен** для путей внутри контейнеров: `rsync` по хостовому пути
|
||||
скопирует пустоту (Paperless).
|
||||
2. **Unprivileged CT**: uid внутри = host uid + 100000 (1000→101000, 33→100033,
|
||||
999→100999). Копировать с `--numeric-owner`, затем `chown`.
|
||||
3. **`yaml.safe_dump`** убирает отступы списка — парсер хаба ждёт `" - key:"`,
|
||||
поэтому реестр сервисов править генератором с проверкой `grep -c '^ - key:'`.
|
||||
4. **Alertmanager/Prometheus** править только YAML-парсером: строковая замена
|
||||
молча не применяется при несовпадении отступов.
|
||||
5. **`set -o pipefail` + `grep -q`** даёт SIGPIPE → ложный провал теста
|
||||
(restore-test «падал» на живых данных).
|
||||
6. **fsck нельзя запускать без консоли**: при ошибках ФС он ждёт человека,
|
||||
сервер жив по ping, но недоступен.
|
||||
7. **`authorized_keys` не должен быть симлинком на `/etc/pve`** — иначе SSH
|
||||
зависит от pve-cluster.
|
||||
8. **AppArmor в CT** мешает вложенному Docker: нужен `--security-opt apparmor=unconfined`.
|
||||
9. **PowerShell + ssh**: длинные команды ломаются на кавычках/`2>/dev/null` —
|
||||
писать скрипт файлом, `scp`, затем `bash`.
|
||||
10. **zram при нехватке RAM вредит**, а не помогает.
|
||||
|
||||
---
|
||||
|
||||
## 7. Где что лежит
|
||||
|
||||
```
|
||||
/root/buryan-infra SSOT (docs/, ops/, deploy/, .gitea/workflows)
|
||||
/opt/hub-core ядро хаба (8120→9120): status, catalog, intent, ask, notify
|
||||
/opt/hermes Hermes: шина, планировщик, SQLite, jobs.yaml
|
||||
/opt/hub-bots боты Matrix (секретарь + профильные)
|
||||
/opt/buryan-hub/scripts служебные скрипты (backup, health, kuma-notify, restore-test)
|
||||
/mnt/media общее хранилище 938 ГБ
|
||||
/mnt/archive бэкапы: backups/{dump,configs,db}, media (ночная копия), old/
|
||||
/mnt/backups старое LV (отключено, оставлено на неделю)
|
||||
```
|
||||
|
||||
Mentальные артефакты этой сессии: `docs/plan/FINISH-LINE.md`,
|
||||
`docs/DECISION-2FA.md`, `docs/P0-P1-2026-10-28.md`,
|
||||
`ops/ops/INCIDENT-2026-10-28.md`, `ops/ops/SHARED-STORAGE.md`,
|
||||
`ops/hermes/README.md`, `ops/automations/registry.yaml`, `docs/INDEX.md`.
|
||||
|
||||
---
|
||||
|
||||
## 8. Как начинать новую сессию
|
||||
|
||||
1. `ssh root@192.168.1.10`, `uptime`, `free -h`, `pct list | grep -c running`.
|
||||
2. `curl -s http://127.0.0.1:9120/status.json | head -c 200` — хаб.
|
||||
3. `systemctl --failed` — должно быть 0.
|
||||
4. Kuma/Prometheus: 0 down, 0 алертов.
|
||||
5. Взять задачу из раздела 5 по порядку и **проверять результат командами**.
|
||||
Reference in new issue
Block a user