GET /metrics в формате Prometheus: события по источникам, события за сутки, карточки по видам, открытые проблемы, действия автоматики, связи, заполненность хранилищ и возраст бэкапов. Prometheus (CT 134) получил цель hub-core — проверено, статус up, метрики hub_problems_open и hub_events_24h читаются. Добавлены три правила: HubSilent (сутки без событий), HubStorageHigh (хранилище >90%), HubBackupStale (бэкап старше 48 ч). Все загружены, состояние inactive, health ok. Старый файл из 10 правил не тронут. Ловушки: контейнер не может править свой конфиг (правим на хосте); блок нельзя дописывать в конец — попадёт в rule_files и сломает YAML; правила держим отдельным файлом.
66 lines
2.5 KiB
Markdown
66 lines
2.5 KiB
Markdown
# Ядро в Prometheus и Grafana
|
|
|
|
## Что добавлено
|
|
|
|
Эндпоинт `GET http://192.168.1.10:9120/metrics` в формате Prometheus:
|
|
|
|
| Метрика | Смысл |
|
|
|---|---|
|
|
| `hub_events_total{source}` | события по источникам |
|
|
| `hub_events_24h` | события за сутки |
|
|
| `hub_entities{kind}` | карточки по видам |
|
|
| `hub_problems_open` | открытые проблемы |
|
|
| `hub_actions{kind,status}` | действия автоматики |
|
|
| `hub_links` | связи между карточками |
|
|
| `hub_storage_percent{name,type}` | заполненность хранилищ |
|
|
| `hub_backup_age_hours{name}` | возраст последнего бэкапа |
|
|
|
|
## Подключение
|
|
|
|
`/opt/prometheus/prometheus.yml` (CT 134) — цель `hub-core`:
|
|
|
|
```yaml
|
|
- job_name: hub-core
|
|
static_configs:
|
|
- targets: ["192.168.1.10:9120"]
|
|
labels:
|
|
app: hub-core
|
|
```
|
|
|
|
## Тревоги
|
|
|
|
`/opt/prometheus/rules/hub-core.yml` — три правила:
|
|
|
|
| Правило | Условие | Смысл |
|
|
|---|---|---|
|
|
| `HubSilent` | `hub_events_24h == 0` 6 ч | коннекторы остановились |
|
|
| `HubStorageHigh` | `hub_storage_percent > 90` 30 мин | место кончается |
|
|
| `HubBackupStale` | `hub_backup_age_hours > 48` 1 ч | бэкап перестал обновляться |
|
|
|
|
Тревоги идут в Alertmanager, оттуда — в Matrix (бот Инфраструктура).
|
|
|
|
## Проверено
|
|
|
|
```
|
|
hub-core → up
|
|
HubSilent | inactive | ok
|
|
HubStorageHigh | inactive | ok
|
|
HubBackupStale | inactive | ok
|
|
правил ядра: 3
|
|
|
|
hub_problems_open: 1
|
|
hub_events_24h: 85
|
|
```
|
|
|
|
Старый файл правил (`buryan-alerts.yml`, 10 правил) не тронут.
|
|
|
|
## Ловушки
|
|
|
|
* Контейнер Prometheus не может писать в свой конфиг (нет прав) — правим
|
|
файл на хосте CT 134: `/opt/prometheus/prometheus.yml`.
|
|
* Новый блок нельзя дописывать в конец файла: он попадёт в `rule_files`
|
|
и YAML сломается. Вставлять нужно внутрь `scrape_configs` — перед
|
|
строкой `rule_files:`.
|
|
* Правила проще держать отдельным файлом: `/etc/prometheus/rules/*.yml`
|
|
подхватывается автоматически, а правка общего файла рискованна.
|