Files
buryan-agent 0397bfb71d Проверка закрытия тревог: resolved доходит до Matrix
Проверено: полезная нагрузка со status=resolved через вебхук ядра даёт
сообщение «✅ Всё восстановилось» в Matrix; в Alertmanager включён
send_resolved: true; реальное срабатывание правила тоже доходит.

Зафиксировано важное поведение: при перезапуске Prometheus теряет состояние
правил и не отправляет resolved для активных тревог — Alertmanager
закрывает их сам по resolve_timeout (5 минут). Попытка закрыть вручную
через POST с endsAt в прошлом не работает: запись считается новой тревогой,
нужен silence.
2026-10-19 21:22:40 +03:00
..

Ядро в Prometheus и Grafana

Что добавлено

Эндпоинт GET http://192.168.1.10:9120/metrics в формате Prometheus:

Метрика Смысл
hub_events_total{source} события по источникам
hub_events_24h события за сутки
hub_entities{kind} карточки по видам
hub_problems_open открытые проблемы
hub_actions{kind,status} действия автоматики
hub_links связи между карточками
hub_storage_percent{name,type} заполненность хранилищ
hub_backup_age_hours{name} возраст последнего бэкапа

Подключение

/opt/prometheus/prometheus.yml (CT 134) — цель hub-core:

  - job_name: hub-core
    static_configs:
      - targets: ["192.168.1.10:9120"]
        labels:
          app: hub-core

Тревоги

/opt/prometheus/rules/hub-core.yml — три правила:

Правило Условие Смысл
HubSilent hub_events_24h == 0 6 ч коннекторы остановились
HubStorageHigh hub_storage_percent > 90 30 мин место кончается
HubBackupStale hub_backup_age_hours > 48 1 ч бэкап перестал обновляться

Тревоги идут в Alertmanager, оттуда — в Matrix (бот Инфраструктура).

Проверено

hub-core → up
HubSilent | inactive | ok
HubStorageHigh | inactive | ok
HubBackupStale | inactive | ok
правил ядра: 3

hub_problems_open: 1
hub_events_24h: 85

Старый файл правил (buryan-alerts.yml, 10 правил) не тронут.

Ловушки

  • Контейнер Prometheus не может писать в свой конфиг (нет прав) — правим файл на хосте CT 134: /opt/prometheus/prometheus.yml.
  • Новый блок нельзя дописывать в конец файла: он попадёт в rule_files и YAML сломается. Вставлять нужно внутрь scrape_configs — перед строкой rule_files:.
  • Правила проще держать отдельным файлом: /etc/prometheus/rules/*.yml подхватывается автоматически, а правка общего файла рискованна.