Files
buryan-infra/ops/prometheus
buryan-agent 9732a84ce7 Чиню цепочку тревог: Prometheus не отправлял их в Alertmanager
В prometheus.yml не было секции alerting — Prometheus не знал про
Alertmanager, поэтому ни одно правило (включая 10 существующих) никогда не
доходило до Matrix. Правила срабатывали внутри и молчали.

Добавлен блок alerting с целью 192.168.1.134:9093. Проверено end-to-end
временным правилом vector(1): Prometheus видит Alertmanager, тревога
переходит в firing, Alertmanager получает её, в Matrix приходит сообщение
«🔥 Тревога | 🟡 HubTestAlert | Проверка цепочки тревог».

Тестовое правило удалено, активных тревог 0, три правила ядра на месте.

На панель добавлены ссылки на дашборд Grafana и эндпоинт метрик.
2026-10-19 21:18:54 +03:00
..

Ядро в Prometheus и Grafana

Что добавлено

Эндпоинт GET http://192.168.1.10:9120/metrics в формате Prometheus:

Метрика Смысл
hub_events_total{source} события по источникам
hub_events_24h события за сутки
hub_entities{kind} карточки по видам
hub_problems_open открытые проблемы
hub_actions{kind,status} действия автоматики
hub_links связи между карточками
hub_storage_percent{name,type} заполненность хранилищ
hub_backup_age_hours{name} возраст последнего бэкапа

Подключение

/opt/prometheus/prometheus.yml (CT 134) — цель hub-core:

  - job_name: hub-core
    static_configs:
      - targets: ["192.168.1.10:9120"]
        labels:
          app: hub-core

Тревоги

/opt/prometheus/rules/hub-core.yml — три правила:

Правило Условие Смысл
HubSilent hub_events_24h == 0 6 ч коннекторы остановились
HubStorageHigh hub_storage_percent > 90 30 мин место кончается
HubBackupStale hub_backup_age_hours > 48 1 ч бэкап перестал обновляться

Тревоги идут в Alertmanager, оттуда — в Matrix (бот Инфраструктура).

Проверено

hub-core → up
HubSilent | inactive | ok
HubStorageHigh | inactive | ok
HubBackupStale | inactive | ok
правил ядра: 3

hub_problems_open: 1
hub_events_24h: 85

Старый файл правил (buryan-alerts.yml, 10 правил) не тронут.

Ловушки

  • Контейнер Prometheus не может писать в свой конфиг (нет прав) — правим файл на хосте CT 134: /opt/prometheus/prometheus.yml.
  • Новый блок нельзя дописывать в конец файла: он попадёт в rule_files и YAML сломается. Вставлять нужно внутрь scrape_configs — перед строкой rule_files:.
  • Правила проще держать отдельным файлом: /etc/prometheus/rules/*.yml подхватывается автоматически, а правка общего файла рискованна.