В prometheus.yml не было секции alerting — Prometheus не знал про Alertmanager, поэтому ни одно правило (включая 10 существующих) никогда не доходило до Matrix. Правила срабатывали внутри и молчали. Добавлен блок alerting с целью 192.168.1.134:9093. Проверено end-to-end временным правилом vector(1): Prometheus видит Alertmanager, тревога переходит в firing, Alertmanager получает её, в Matrix приходит сообщение «🔥 Тревога | 🟡 HubTestAlert | Проверка цепочки тревог». Тестовое правило удалено, активных тревог 0, три правила ядра на месте. На панель добавлены ссылки на дашборд Grafana и эндпоинт метрик.
Ядро в Prometheus и Grafana
Что добавлено
Эндпоинт GET http://192.168.1.10:9120/metrics в формате Prometheus:
| Метрика | Смысл |
|---|---|
hub_events_total{source} |
события по источникам |
hub_events_24h |
события за сутки |
hub_entities{kind} |
карточки по видам |
hub_problems_open |
открытые проблемы |
hub_actions{kind,status} |
действия автоматики |
hub_links |
связи между карточками |
hub_storage_percent{name,type} |
заполненность хранилищ |
hub_backup_age_hours{name} |
возраст последнего бэкапа |
Подключение
/opt/prometheus/prometheus.yml (CT 134) — цель hub-core:
- job_name: hub-core
static_configs:
- targets: ["192.168.1.10:9120"]
labels:
app: hub-core
Тревоги
/opt/prometheus/rules/hub-core.yml — три правила:
| Правило | Условие | Смысл |
|---|---|---|
HubSilent |
hub_events_24h == 0 6 ч |
коннекторы остановились |
HubStorageHigh |
hub_storage_percent > 90 30 мин |
место кончается |
HubBackupStale |
hub_backup_age_hours > 48 1 ч |
бэкап перестал обновляться |
Тревоги идут в Alertmanager, оттуда — в Matrix (бот Инфраструктура).
Проверено
hub-core → up
HubSilent | inactive | ok
HubStorageHigh | inactive | ok
HubBackupStale | inactive | ok
правил ядра: 3
hub_problems_open: 1
hub_events_24h: 85
Старый файл правил (buryan-alerts.yml, 10 правил) не тронут.
Ловушки
- Контейнер Prometheus не может писать в свой конфиг (нет прав) — правим
файл на хосте CT 134:
/opt/prometheus/prometheus.yml. - Новый блок нельзя дописывать в конец файла: он попадёт в
rule_filesи YAML сломается. Вставлять нужно внутрьscrape_configs— перед строкойrule_files:. - Правила проще держать отдельным файлом:
/etc/prometheus/rules/*.ymlподхватывается автоматически, а правка общего файла рискованна.