Files
buryan-infra/ops/prometheus/README.md
buryan-agent d9fac17571 Ядро отдаёт метрики в Prometheus + три тревоги
GET /metrics в формате Prometheus: события по источникам, события за сутки,
карточки по видам, открытые проблемы, действия автоматики, связи,
заполненность хранилищ и возраст бэкапов.

Prometheus (CT 134) получил цель hub-core — проверено, статус up, метрики
hub_problems_open и hub_events_24h читаются.

Добавлены три правила: HubSilent (сутки без событий), HubStorageHigh
(хранилище >90%), HubBackupStale (бэкап старше 48 ч). Все загружены,
состояние inactive, health ok. Старый файл из 10 правил не тронут.

Ловушки: контейнер не может править свой конфиг (правим на хосте);
блок нельзя дописывать в конец — попадёт в rule_files и сломает YAML;
правила держим отдельным файлом.
2026-10-19 21:14:33 +03:00

66 lines
2.5 KiB
Markdown

# Ядро в Prometheus и Grafana
## Что добавлено
Эндпоинт `GET http://192.168.1.10:9120/metrics` в формате Prometheus:
| Метрика | Смысл |
|---|---|
| `hub_events_total{source}` | события по источникам |
| `hub_events_24h` | события за сутки |
| `hub_entities{kind}` | карточки по видам |
| `hub_problems_open` | открытые проблемы |
| `hub_actions{kind,status}` | действия автоматики |
| `hub_links` | связи между карточками |
| `hub_storage_percent{name,type}` | заполненность хранилищ |
| `hub_backup_age_hours{name}` | возраст последнего бэкапа |
## Подключение
`/opt/prometheus/prometheus.yml` (CT 134) — цель `hub-core`:
```yaml
- job_name: hub-core
static_configs:
- targets: ["192.168.1.10:9120"]
labels:
app: hub-core
```
## Тревоги
`/opt/prometheus/rules/hub-core.yml` — три правила:
| Правило | Условие | Смысл |
|---|---|---|
| `HubSilent` | `hub_events_24h == 0` 6 ч | коннекторы остановились |
| `HubStorageHigh` | `hub_storage_percent > 90` 30 мин | место кончается |
| `HubBackupStale` | `hub_backup_age_hours > 48` 1 ч | бэкап перестал обновляться |
Тревоги идут в Alertmanager, оттуда — в Matrix (бот Инфраструктура).
## Проверено
```
hub-core → up
HubSilent | inactive | ok
HubStorageHigh | inactive | ok
HubBackupStale | inactive | ok
правил ядра: 3
hub_problems_open: 1
hub_events_24h: 85
```
Старый файл правил (`buryan-alerts.yml`, 10 правил) не тронут.
## Ловушки
* Контейнер Prometheus не может писать в свой конфиг (нет прав) — правим
файл на хосте CT 134: `/opt/prometheus/prometheus.yml`.
* Новый блок нельзя дописывать в конец файла: он попадёт в `rule_files`
и YAML сломается. Вставлять нужно внутрь `scrape_configs` — перед
строкой `rule_files:`.
* Правила проще держать отдельным файлом: `/etc/prometheus/rules/*.yml`
подхватывается автоматически, а правка общего файла рискованна.