Проверено: полезная нагрузка со status=resolved через вебхук ядра даёт
сообщение «✅ Всё восстановилось» в Matrix; в Alertmanager включён
send_resolved: true; реальное срабатывание правила тоже доходит.
Зафиксировано важное поведение: при перезапуске Prometheus теряет состояние
правил и не отправляет resolved для активных тревог — Alertmanager
закрывает их сам по resolve_timeout (5 минут). Попытка закрыть вручную
через POST с endsAt в прошлом не работает: запись считается новой тревогой,
нужен silence.
Ядро в Prometheus и Grafana
Что добавлено
Эндпоинт GET http://192.168.1.10:9120/metrics в формате Prometheus:
| Метрика | Смысл |
|---|---|
hub_events_total{source} |
события по источникам |
hub_events_24h |
события за сутки |
hub_entities{kind} |
карточки по видам |
hub_problems_open |
открытые проблемы |
hub_actions{kind,status} |
действия автоматики |
hub_links |
связи между карточками |
hub_storage_percent{name,type} |
заполненность хранилищ |
hub_backup_age_hours{name} |
возраст последнего бэкапа |
Подключение
/opt/prometheus/prometheus.yml (CT 134) — цель hub-core:
- job_name: hub-core
static_configs:
- targets: ["192.168.1.10:9120"]
labels:
app: hub-core
Тревоги
/opt/prometheus/rules/hub-core.yml — три правила:
| Правило | Условие | Смысл |
|---|---|---|
HubSilent |
hub_events_24h == 0 6 ч |
коннекторы остановились |
HubStorageHigh |
hub_storage_percent > 90 30 мин |
место кончается |
HubBackupStale |
hub_backup_age_hours > 48 1 ч |
бэкап перестал обновляться |
Тревоги идут в Alertmanager, оттуда — в Matrix (бот Инфраструктура).
Проверено
hub-core → up
HubSilent | inactive | ok
HubStorageHigh | inactive | ok
HubBackupStale | inactive | ok
правил ядра: 3
hub_problems_open: 1
hub_events_24h: 85
Старый файл правил (buryan-alerts.yml, 10 правил) не тронут.
Ловушки
- Контейнер Prometheus не может писать в свой конфиг (нет прав) — правим
файл на хосте CT 134:
/opt/prometheus/prometheus.yml. - Новый блок нельзя дописывать в конец файла: он попадёт в
rule_filesи YAML сломается. Вставлять нужно внутрьscrape_configs— перед строкойrule_files:. - Правила проще держать отдельным файлом:
/etc/prometheus/rules/*.ymlподхватывается автоматически, а правка общего файла рискованна.