[HUB] Карта дублей и сведение RAG: единый индексатор (SQLite), hub-rag.timer отключён; три недельных отчёта сведены в один (только понедельник, доставка от секретаря). Составлена карта параллельных реализаций: RAG, уведомления, боты, отчёты, 4 планировщика, 4 системы мониторинга

This commit is contained in:
root committed 2026-11-10 14:25:27 +03:00
1 parent ac72950adc
commit f896dd66b7
1 file changed
+138
+138
View File
@@ -0,0 +1,138 @@
# Цельность системы: карта параллельных реализаций (10.11.2026)
## Диагноз владельца
> «У нас нет организма, но мы делали в параллель. Важно найти все эти моменты
> и сделать цельность»
Это подтверждается фактами: одни и те же механизмы существуют в двух-трёх
экземплярах, и часть из них **молча не работает** — как RAG, который искал
в пустой базе.
## Карта дублей
| # | Что | Сколько реализаций | Состояние |
|---|---|---|---|
| 1 | **RAG (поиск по документации)** | 2 индекса: SQLite (5086 фрагментов) + PostgreSQL (0) | ✅ сведено к SQLite |
| 2 | **Уведомления** | 5 путей | ✅ один шлюз |
| 3 | **Боты** | 9 аккаунтов | ✅ 2 говорящих + служебный |
| 4 | **Недельный отчёт** | 3 скрипта, 2 расписания | ✅ один скрипт |
| 5 | **Планировщики** | 4: crontab 16, cron.d 129, systemd 55, Hermes 27 | ⏳ план миграции |
| 6 | **Мониторинг** | 4: check-services 40, Kuma 69, Prometheus 35, watchdog 4 | ⏳ план |
| 7 | **Прямые отправители в Matrix** | 15 файлов | частично |
| 8 | **Мёртвый код** | 4 модуля без ссылок | кандидаты |
## Что исправлено сегодня
### 1. RAG
```
ИНДЕКСАТОР ops/scripts/rag_index.py → SQLite (5086 фрагментов) ← читается
ИНДЕКСАТОР hub-core/rag.py index() → PostgreSQL (0 строк) ← отключён
```
`hub-rag.timer` (недельный, падал с 9 ноября) отключён. Единственный
индексатор — задание Hermes `rag-reindex` в 03:40.
### 2. Уведомления
Пять путей → один шлюз `hub /notify` (дедуп, тихие часы, лимит, приоритеты).
Hermes стал журналом: в Matrix только `critical` и провалы заданий.
### 3. Боты
9 аккаунтов → 2 говорящих (`@secretary`, `@home`) + служебный `@bot_alert`.
Внутренние модули работают без аккаунтов.
### 4. Недельный отчёт
Было три разных:
| Файл | Строк | Что делал |
|---|---|---|
| `/opt/hub-bots/weekly.py` | 42 | сводка в личку (cron, пн 9:30) |
| `/opt/hub-core/weekly.py` | 119 | отчёт за 7 дней (cron, вс 20:00) |
| `ops/scripts/weekly_report.py` | 124 | документ `ops/weekly/*.md` (Hermes, ежедневно) |
**Стало:** один `weekly_report.py`. Два cron-файла отключены
(`.disabled-dup`), отчёт формируется **только по понедельникам** и отдаётся
**через секретаря**. Проверка: сегодня вторник → «не понедельник — отчёт
не формируется».
## Что осталось (по приоритету)
### P1. Четыре планировщика
```
crontab 16 строк
cron.d 129 строк
systemd 55 таймеров
Hermes 27 заданий
─────────────────────
≈227 автоматизаций в четырёх местах
```
**Проблема:** чтобы понять «что у нас запускается», нужно смотреть четыре
места. Часть задач дублируется (нашли: `media_digest`, `export-service-metrics`,
`weekly`), часть уже мертва.
**План:**
1. Реестр (уже есть `ops/automations/registry.yaml`, 124 записи) — обновить.
2. Перевести частые рабочие задачи в Hermes (там история, провалы, повторы).
3. Оставить в cron только то, что должно работать при падении Hermes
(сеть, бэкапы, очистка).
4. Системные таймеры (certbot, logrotate) не трогать — они часть ОС.
### P2. Мониторинг дублируется четырежды
| Система | Что проверяет |
|---|---|
| `check-services.sh` | 40 проверок по смыслу (содержимое, БД) |
| Uptime Kuma | 69 мониторов (HTTP/TCP) |
| Prometheus | 35 таргетов |
| `swarm-watchdog` | 4 CT раз в минуту |
Одни и те же сервисы проверяются 2–3 раза с разными порогами и разными
каналами тревог. Отсюда противоречия «всё ок» и «алерт» одновременно.
**План:** оставить `check-services` как источник истины для внутренних
проверок, Kuma — только для внешнего наблюдателя (чтобы ловил падение самого
хаба), Prometheus — для метрик и графиков, не для тревог. `swarm-watchdog`
поглощается `check-services`.
### P3. Мёртвый код
| Файл | Ссылок извне |
|---|---|
| `/opt/hub-bots/secretary_ai.py` | 0 (отключён 09.11) |
| `/opt/hub-core/media_maintenance.py` | 0 |
| `/opt/hub-core/smtp_matrix.py` | 0 |
| `/opt/hub-bots/media_hook.py` | 0 (но живёт `hub-media-hook.service`) |
**Важно:** `hub-media-hook.service` и `smtp-to-matrix.service` — **живые
бриджи контента** (Radarr/Sonarr → Matrix, Authentik SMTP → Matrix), их
удалять нельзя. Удалять нужно только резервные копии в `.bak`.
### P4. Прямые отправители
Осталось 15 файлов, пишущих в Matrix напрямую. Из них:
* **живые бриджи контента** (media-hook, smtp-to-matrix, webhook-to-matrix) —
оставить;
* **дайджесты** (events_digest, resume, family_digest) — перевести на
`send_content`;
* **статусные** — уже через шлюз.
## Правило, чтобы не повторялось
Перед новой функцией — **проверить, нет ли уже механизма**:
1. Уведомление → `notify.py` → hub `/notify`.
2. Событие → Hermes `/event`.
3. Задача по расписанию → Hermes `jobs.yaml`.
4. Сообщение в Matrix от имени хаба → `send_content.py` (секретарь).
5. Поиск по документации → `rag.find` (SQLite-индекс).
6. Проверка сервиса → `check-services.sh`.
Если что-то из этого не подходит — **сначала меняем механизм**, а не заводим
второй.