diff --git a/ops/hub/COHERENCE-MAP.md b/ops/hub/COHERENCE-MAP.md new file mode 100644 index 0000000..f365f36 --- /dev/null +++ b/ops/hub/COHERENCE-MAP.md @@ -0,0 +1,138 @@ +# Цельность системы: карта параллельных реализаций (10.11.2026) + +## Диагноз владельца + +> «У нас нет организма, но мы делали в параллель. Важно найти все эти моменты +> и сделать цельность» + +Это подтверждается фактами: одни и те же механизмы существуют в двух-трёх +экземплярах, и часть из них **молча не работает** — как RAG, который искал +в пустой базе. + +## Карта дублей + +| # | Что | Сколько реализаций | Состояние | +|---|---|---|---| +| 1 | **RAG (поиск по документации)** | 2 индекса: SQLite (5086 фрагментов) + PostgreSQL (0) | ✅ сведено к SQLite | +| 2 | **Уведомления** | 5 путей | ✅ один шлюз | +| 3 | **Боты** | 9 аккаунтов | ✅ 2 говорящих + служебный | +| 4 | **Недельный отчёт** | 3 скрипта, 2 расписания | ✅ один скрипт | +| 5 | **Планировщики** | 4: crontab 16, cron.d 129, systemd 55, Hermes 27 | ⏳ план миграции | +| 6 | **Мониторинг** | 4: check-services 40, Kuma 69, Prometheus 35, watchdog 4 | ⏳ план | +| 7 | **Прямые отправители в Matrix** | 15 файлов | частично | +| 8 | **Мёртвый код** | 4 модуля без ссылок | кандидаты | + +## Что исправлено сегодня + +### 1. RAG + +``` +ИНДЕКСАТОР ops/scripts/rag_index.py → SQLite (5086 фрагментов) ← читается +ИНДЕКСАТОР hub-core/rag.py index() → PostgreSQL (0 строк) ← отключён +``` + +`hub-rag.timer` (недельный, падал с 9 ноября) отключён. Единственный +индексатор — задание Hermes `rag-reindex` в 03:40. + +### 2. Уведомления + +Пять путей → один шлюз `hub /notify` (дедуп, тихие часы, лимит, приоритеты). +Hermes стал журналом: в Matrix только `critical` и провалы заданий. + +### 3. Боты + +9 аккаунтов → 2 говорящих (`@secretary`, `@home`) + служебный `@bot_alert`. +Внутренние модули работают без аккаунтов. + +### 4. Недельный отчёт + +Было три разных: + +| Файл | Строк | Что делал | +|---|---|---| +| `/opt/hub-bots/weekly.py` | 42 | сводка в личку (cron, пн 9:30) | +| `/opt/hub-core/weekly.py` | 119 | отчёт за 7 дней (cron, вс 20:00) | +| `ops/scripts/weekly_report.py` | 124 | документ `ops/weekly/*.md` (Hermes, ежедневно) | + +**Стало:** один `weekly_report.py`. Два cron-файла отключены +(`.disabled-dup`), отчёт формируется **только по понедельникам** и отдаётся +**через секретаря**. Проверка: сегодня вторник → «не понедельник — отчёт +не формируется». + +## Что осталось (по приоритету) + +### P1. Четыре планировщика + +``` +crontab 16 строк +cron.d 129 строк +systemd 55 таймеров +Hermes 27 заданий +───────────────────── +≈227 автоматизаций в четырёх местах +``` + +**Проблема:** чтобы понять «что у нас запускается», нужно смотреть четыре +места. Часть задач дублируется (нашли: `media_digest`, `export-service-metrics`, +`weekly`), часть уже мертва. + +**План:** +1. Реестр (уже есть `ops/automations/registry.yaml`, 124 записи) — обновить. +2. Перевести частые рабочие задачи в Hermes (там история, провалы, повторы). +3. Оставить в cron только то, что должно работать при падении Hermes + (сеть, бэкапы, очистка). +4. Системные таймеры (certbot, logrotate) не трогать — они часть ОС. + +### P2. Мониторинг дублируется четырежды + +| Система | Что проверяет | +|---|---| +| `check-services.sh` | 40 проверок по смыслу (содержимое, БД) | +| Uptime Kuma | 69 мониторов (HTTP/TCP) | +| Prometheus | 35 таргетов | +| `swarm-watchdog` | 4 CT раз в минуту | + +Одни и те же сервисы проверяются 2–3 раза с разными порогами и разными +каналами тревог. Отсюда противоречия «всё ок» и «алерт» одновременно. + +**План:** оставить `check-services` как источник истины для внутренних +проверок, Kuma — только для внешнего наблюдателя (чтобы ловил падение самого +хаба), Prometheus — для метрик и графиков, не для тревог. `swarm-watchdog` +поглощается `check-services`. + +### P3. Мёртвый код + +| Файл | Ссылок извне | +|---|---| +| `/opt/hub-bots/secretary_ai.py` | 0 (отключён 09.11) | +| `/opt/hub-core/media_maintenance.py` | 0 | +| `/opt/hub-core/smtp_matrix.py` | 0 | +| `/opt/hub-bots/media_hook.py` | 0 (но живёт `hub-media-hook.service`) | + +**Важно:** `hub-media-hook.service` и `smtp-to-matrix.service` — **живые +бриджи контента** (Radarr/Sonarr → Matrix, Authentik SMTP → Matrix), их +удалять нельзя. Удалять нужно только резервные копии в `.bak`. + +### P4. Прямые отправители + +Осталось 15 файлов, пишущих в Matrix напрямую. Из них: + +* **живые бриджи контента** (media-hook, smtp-to-matrix, webhook-to-matrix) — + оставить; +* **дайджесты** (events_digest, resume, family_digest) — перевести на + `send_content`; +* **статусные** — уже через шлюз. + +## Правило, чтобы не повторялось + +Перед новой функцией — **проверить, нет ли уже механизма**: + +1. Уведомление → `notify.py` → hub `/notify`. +2. Событие → Hermes `/event`. +3. Задача по расписанию → Hermes `jobs.yaml`. +4. Сообщение в Matrix от имени хаба → `send_content.py` (секретарь). +5. Поиск по документации → `rag.find` (SQLite-индекс). +6. Проверка сервиса → `check-services.sh`. + +Если что-то из этого не подходит — **сначала меняем механизм**, а не заводим +второй.