GET /metrics в формате Prometheus: события по источникам, события за сутки, карточки по видам, открытые проблемы, действия автоматики, связи, заполненность хранилищ и возраст бэкапов. Prometheus (CT 134) получил цель hub-core — проверено, статус up, метрики hub_problems_open и hub_events_24h читаются. Добавлены три правила: HubSilent (сутки без событий), HubStorageHigh (хранилище >90%), HubBackupStale (бэкап старше 48 ч). Все загружены, состояние inactive, health ok. Старый файл из 10 правил не тронут. Ловушки: контейнер не может править свой конфиг (правим на хосте); блок нельзя дописывать в конец — попадёт в rule_files и сломает YAML; правила держим отдельным файлом.
2.5 KiB
2.5 KiB
Ядро в Prometheus и Grafana
Что добавлено
Эндпоинт GET http://192.168.1.10:9120/metrics в формате Prometheus:
| Метрика | Смысл |
|---|---|
hub_events_total{source} |
события по источникам |
hub_events_24h |
события за сутки |
hub_entities{kind} |
карточки по видам |
hub_problems_open |
открытые проблемы |
hub_actions{kind,status} |
действия автоматики |
hub_links |
связи между карточками |
hub_storage_percent{name,type} |
заполненность хранилищ |
hub_backup_age_hours{name} |
возраст последнего бэкапа |
Подключение
/opt/prometheus/prometheus.yml (CT 134) — цель hub-core:
- job_name: hub-core
static_configs:
- targets: ["192.168.1.10:9120"]
labels:
app: hub-core
Тревоги
/opt/prometheus/rules/hub-core.yml — три правила:
| Правило | Условие | Смысл |
|---|---|---|
HubSilent |
hub_events_24h == 0 6 ч |
коннекторы остановились |
HubStorageHigh |
hub_storage_percent > 90 30 мин |
место кончается |
HubBackupStale |
hub_backup_age_hours > 48 1 ч |
бэкап перестал обновляться |
Тревоги идут в Alertmanager, оттуда — в Matrix (бот Инфраструктура).
Проверено
hub-core → up
HubSilent | inactive | ok
HubStorageHigh | inactive | ok
HubBackupStale | inactive | ok
правил ядра: 3
hub_problems_open: 1
hub_events_24h: 85
Старый файл правил (buryan-alerts.yml, 10 правил) не тронут.
Ловушки
- Контейнер Prometheus не может писать в свой конфиг (нет прав) — правим
файл на хосте CT 134:
/opt/prometheus/prometheus.yml. - Новый блок нельзя дописывать в конец файла: он попадёт в
rule_filesи YAML сломается. Вставлять нужно внутрьscrape_configs— перед строкойrule_files:. - Правила проще держать отдельным файлом:
/etc/prometheus/rules/*.ymlподхватывается автоматически, а правка общего файла рискованна.