Files
buryan-infra/ops/hub/EVENT-BUS.md
T

4.1 KiB
Raw Blame History

Шина событий Buryan Hub (09.11.2026)

Что было

Hermes существовал с 20 заданиями и журналом событий, но никто его не читал и почти никто не писал. Боты опрашивали Synapse, секретарь отвечал «всё в порядке» по /status.json, а провалы заданий копились тысячами без реакции.

Что стало

                 ┌──────────────────────────────┐
   боты ────────▶│                              │
   Hermes-jobs ─▶│   HERMES  (порт 9130)        │──▶ /notify (hub-core)
   Alertmanager ▶│   журнал + дедуп + тишина    │       │
   hub-core ────▶│                              │       ▼
                 └──────────────┬───────────────┘    Matrix (только critical)
                                │
                                ▼
                    секретарь: tool «hermes»
                    health / events / run

Кто пишет в шину

Источник Что Severity
Hermes-jobs провал задания medium
Hermes-jobs запуск Hermes low
боты (новое) ошибка обработки сообщения medium
боты (новое) пожелание от пользователя low
Alertmanager тревоги critical / warning
hub-core /alert алерты по важности

Кто читает

Потребитель Как
владелец Matrix, только critical (настройка alertmanager.yml)
секретарь tool hermes → health, events, run
hub-core /notify — маршрутизация доставки

Проверено

Q: «Что ночью сломалось?»
A: «Ночью (по журналу Hermes):
    • Падало задание check-services — несколько раз с 21:55 до 23:24
    • home-heartbeat не достучался до 193.233.210.184 — таймаут
    • Hermes перезапускался (22:38–23:46)»

Q: «Какие были ошибки за сутки?»
A: «check-services падал 4 раза, home-heartbeat — таймауты, Hermes перезапуски»

Публикация из бота: publish_event(...) → True
Журнал: «Проверка шины событий [low] quiet-hours» — событие записано

Правила

  1. Не падать при недоступной шине. publish_event возвращает False и молчит — событие не должно ломать обработку сообщения.
  2. Дедуп обязателен для повторяющихся событий (dedup_key).
  3. Severity честно: critical — только то, что требует владельца; medium — то, что система может починить сама; low — информационное.
  4. Тихие часы 23:30–07:30 в hermes.yaml — события ниже critical не будят.

Что осталось

# Задача
1 hub-core публикует изменения состояния служб (сейчас только /alert)
2 Hermes-задание «увидел medium → попробовал починить → отчитался»
3 Секретарь сам создаёт события о своих действиях (сейчас только ошибки и пожелания)

Ловушка

cmd_services в ботах ходил на /status — это HTML-страница, а не JSON, поэтому отвечал «0 из 0 сервисов». Правильный путь — /status.json. Проверять тип ответа, а не только код 200.