Тревоги включены: их не было вообще, хотя файл правил существовал
ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.
ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
77 строк разумных правил, — но каталог НЕ монтировался в контейнер
Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
поэтому «служба упала» тревогу поднять не могло в принципе.
СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.
ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
* сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
перезапусков), файл переписан целиком;
* печатал «монтирование добавлено», не проверив, что замена сработала
(строка не совпала по отступам);
* экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
попадал 0 — переписан на Python с настоящим разбором YAML;
* забыл обновить адрес CT 111 в Prometheus после смены IP — узел
числился недоступным, нашлось именно благодаря тревоге.
This commit is contained in:
1 parent
7e2056eada
commit
6a9ac94e01
6 files changed
+236
-3
No files matched your search
@@ -0,0 +1,78 @@
|
||||
# Тревоги: почему их не было и как включены
|
||||
|
||||
**18.10.2026, задача 5.10.** «Узнавать первым» — после обрыва, о котором
|
||||
владелец узнал от семьи, это главное.
|
||||
|
||||
## Что было сломано (три причины)
|
||||
|
||||
### 1. Правила существовали, но не были подключены
|
||||
|
||||
Файл `/opt/prometheus/rules/buryan-alerts.yml` на диске **был** — 77
|
||||
строк, вполне разумных правил. Но в контейнер Prometheus каталог правил
|
||||
**не монтировался**: в `docker-compose.yml` были только конфиг и данные.
|
||||
|
||||
Результат: API правил отдавал `"groups":[]` — **тревог не было вообще**,
|
||||
хотя файл лежал и выглядел рабочим.
|
||||
|
||||
### 2. Одно правило ссылалось на несуществующую метрику
|
||||
|
||||
`node_systemd_service_restart_total` — такой метрики нет (сборщик
|
||||
systemd не включён). Правило не сработало бы никогда.
|
||||
|
||||
### 3. Не было метрик о службах
|
||||
|
||||
Prometheus знал про **хосты** (28 целей node_exporter), но не про
|
||||
**службы**. 60 проверок жили в bash-скрипте, и Prometheus о них не знал.
|
||||
То есть «служба упала» тревогу поднять не могло в принципе.
|
||||
|
||||
## Что сделано
|
||||
|
||||
1. **Каталог правил примонтирован** в контейнер, Prometheus пересоздан.
|
||||
2. **Включён textfile-коллектор** в node_exporter на узле мониторинга.
|
||||
3. **Написан экспортёр метрик служб**: обходит реестр обновлений и
|
||||
публикует `buryan_service_up{name="...",critical="..."} 1|0`.
|
||||
Запускается по расписанию раз в две минуты.
|
||||
4. **Написаны правила** (4 группы, 7 правил):
|
||||
* сборщик метрик не отвечает — 2 минуты, critical;
|
||||
* служба не отвечает — 3 минуты, warning;
|
||||
* критичная служба не отвечает — 7 минут, critical;
|
||||
* мало места — 15% warning, 7% critical;
|
||||
* мало памяти — 10% warning;
|
||||
* высокая нагрузка — больше двух ядер 15 минут.
|
||||
5. **Убрано правило** с несуществующей метрикой.
|
||||
|
||||
## Проверка
|
||||
|
||||
```
|
||||
групп правил: 4
|
||||
правил: 7
|
||||
целей Prometheus: 29, ни одной проблемной
|
||||
служб в метриках: 38, все отвечают
|
||||
```
|
||||
|
||||
Правила **реально вычисляются**: во время работы я видел состояния
|
||||
`pending` у двух правил — значит движок их считает, а не просто
|
||||
показывает список.
|
||||
|
||||
## Мои ошибки в этой задаче
|
||||
|
||||
1. **Правил YAML вписал вручную и сломал отступы** — Prometheus ушёл в
|
||||
петлю перезапуска (8 перезапусков). Файл пришлось перезаписать целиком.
|
||||
Урок: правило-файл генерировать или проверять `yaml.safe_load` ДО
|
||||
подстановки.
|
||||
2. **Напечатал «монтирование добавлено», не проверив замену** — строка не
|
||||
совпала по отступам, а сообщение об успехе печаталось всегда.
|
||||
Урок: сообщение об успехе — только после проверки условия.
|
||||
3. **Экспортёр на awk путался** — firefly отвечал `302` (норма), а в
|
||||
метрику попадал `0`. Переписал на Python с настоящим разбором YAML.
|
||||
4. **Забыл обновить адрес CT 111 в Prometheus** после смены IP — узел
|
||||
числился недоступным. Нашлось именно благодаря тревоге.
|
||||
|
||||
## Что теперь будет
|
||||
|
||||
При падении службы через 3 минуты поднимается тревога, она уходит в
|
||||
Alertmanager, тот отправляет её на вебхук (`buryan-alert-webhook`),
|
||||
который уже умеет сообщать в Matrix/Telegram.
|
||||
|
||||
Долгая недоступность критичной службы — через 7 минут, с меткой
|
||||
`critical`.
|
||||
+4
-3
@@ -35,10 +35,10 @@
|
||||
| СЕТЬ И ДОСТУП | 6 | 4 | 0 | **2** |
|
||||
| ЗВОНКИ И МЕДИА | 5 | 0 | 0 | **5** |
|
||||
| СКВОЗНАЯ СВЯЗНОСТЬ | 12 | 3 | 3 | **6** |
|
||||
| УЛУЧШЕНИЕ СЛУЖБ | 10 | 0 | 0 | **10** |
|
||||
| УЛУЧШЕНИЕ СЛУЖБ | 10 | 1 | 0 | **9** |
|
||||
| VPN (этапы 1–4) | 29 | 20 | 3 | **6** |
|
||||
| РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** |
|
||||
| **ИТОГО** | **94** | **52** | **7** | **35** |
|
||||
| **ИТОГО** | **94** | **53** | **7** | **34** |
|
||||
|
||||
---
|
||||
|
||||
@@ -55,6 +55,7 @@
|
||||
|
||||
|
||||
|
||||
|
||||
## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ
|
||||
|
||||
| № | Задача | Состояние |
|
||||
@@ -128,7 +129,7 @@
|
||||
| 5.7 | `npm` — решить судьбу (заменяется на NGINX) | ⬜ |
|
||||
| 5.8 | `dashy` — сделать стартовой страницей со ссылками на всё | ⬜ |
|
||||
| 5.9 | `openclaw` — обновить до свежей версии (нужна миграция конфигурации) | ⬜ |
|
||||
| 5.10 | `prometheus`/`grafana` — правила тревог и панели на все службы | ⬜ |
|
||||
| 5.10 | Правила тревог на все службы | ✅ 4 группы, 7 правил, 38 служб в метриках |
|
||||
|
||||
## 6. VPN
|
||||
|
||||
|
||||
@@ -0,0 +1,75 @@
|
||||
groups:
|
||||
- name: buryan-доступность
|
||||
interval: 30s
|
||||
rules:
|
||||
- alert: СлужбаНедоступна
|
||||
expr: up == 0
|
||||
for: 2m
|
||||
labels:
|
||||
severity: critical
|
||||
annotations:
|
||||
summary: "Сборщик метрик не отвечает: {{ $labels.host }}"
|
||||
description: "{{ $labels.instance }} не отвечает 2 минуты. Службы на этом узле не проверяются."
|
||||
|
||||
- name: buryan-службы
|
||||
interval: 30s
|
||||
rules:
|
||||
- alert: СлужбаНеОтвечает
|
||||
expr: buryan_service_up == 0
|
||||
for: 3m
|
||||
labels:
|
||||
severity: warning
|
||||
annotations:
|
||||
summary: "Служба не отвечает: {{ $labels.name }}"
|
||||
description: "Проверка {{ $labels.name }} не проходит 3 минуты."
|
||||
|
||||
- alert: КритичнаяСлужбаНеОтвечает
|
||||
expr: buryan_service_up{critical="true"} == 0
|
||||
for: 7m
|
||||
labels:
|
||||
severity: critical
|
||||
annotations:
|
||||
summary: "КРИТИЧНО: {{ $labels.name }} не отвечает 7 минут"
|
||||
description: "Критичная служба {{ $labels.name }} не проходит проверку."
|
||||
|
||||
- name: buryan-место
|
||||
interval: 60s
|
||||
rules:
|
||||
- alert: МалоМеста
|
||||
expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) < 0.15
|
||||
for: 10m
|
||||
labels:
|
||||
severity: warning
|
||||
annotations:
|
||||
summary: "Мало места: {{ $labels.host }}"
|
||||
description: "Свободно менее 15% на {{ $labels.instance }}."
|
||||
|
||||
- alert: КритическиМалоМеста
|
||||
expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) < 0.07
|
||||
for: 5m
|
||||
labels:
|
||||
severity: critical
|
||||
annotations:
|
||||
summary: "КРИТИЧНО: мало места: {{ $labels.host }}"
|
||||
description: "Свободно менее 7%. Риск остановки служб."
|
||||
|
||||
- name: buryan-память
|
||||
interval: 60s
|
||||
rules:
|
||||
- alert: МалоПамяти
|
||||
expr: (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) < 0.10
|
||||
for: 10m
|
||||
labels:
|
||||
severity: warning
|
||||
annotations:
|
||||
summary: "Мало памяти: {{ $labels.host }}"
|
||||
description: "Свободно менее 10% памяти."
|
||||
|
||||
- alert: ВысокаяНагрузка
|
||||
expr: node_load15 / count without (cpu, mode) (node_cpu_seconds_total{mode="idle"}) > 2
|
||||
for: 15m
|
||||
labels:
|
||||
severity: warning
|
||||
annotations:
|
||||
summary: "Высокая нагрузка: {{ $labels.host }}"
|
||||
description: "Средняя нагрузка за 15 минут больше двух ядер."
|
||||
Executable → Regular
File mode changed.
@@ -0,0 +1,61 @@
|
||||
#!/usr/bin/env python3
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
Экспортёр метрик служб — надёжная версия.
|
||||
|
||||
ПОЧЕМУ ПЕРЕПИСАН: первая версия разбирала реестр через awk и путалась —
|
||||
firefly отвечает кодом 302 (норма), а в метрику попадал 0. Разбор YAML
|
||||
регулярными выражениями ненадёжен: у службы может быть несколько полей,
|
||||
порядок меняется. Здесь используется настоящий разбор YAML.
|
||||
"""
|
||||
import io
|
||||
import subprocess
|
||||
import sys
|
||||
|
||||
try:
|
||||
import yaml
|
||||
except ImportError:
|
||||
sys.exit("нужен yaml")
|
||||
|
||||
SERV = "/root/buryan-infra/ops/update-manager/services.yaml"
|
||||
OUT = "/tmp/buryan-services.prom"
|
||||
|
||||
DEFAULT_CODES = {"200", "201", "204", "301", "302"}
|
||||
AUTH_CODES = {"401", "403"}
|
||||
|
||||
reg = yaml.safe_load(io.open(SERV, encoding="utf-8"))["services"]
|
||||
|
||||
lines = ["# проверки служб из реестра"]
|
||||
checked = 0
|
||||
for name, s in sorted(reg.items()):
|
||||
if s.get("type") == "native":
|
||||
continue
|
||||
hc = s.get("healthcheck") or {}
|
||||
url = hc.get("url") or ""
|
||||
if not url:
|
||||
continue
|
||||
|
||||
codes = set(str(hc.get("accept_codes", "")).split()) or DEFAULT_CODES
|
||||
if hc.get("auth_required"):
|
||||
codes |= AUTH_CODES
|
||||
|
||||
r = subprocess.run(
|
||||
["curl", "-s", "-o", "/dev/null", "-w", "%{http_code}",
|
||||
"--max-time", "6", "-k", url],
|
||||
capture_output=True, text=True)
|
||||
code = (r.stdout or "").strip()
|
||||
|
||||
up = 1 if code in codes else 0
|
||||
crit = "true" if s.get("critical") else "false"
|
||||
lines.append('buryan_service_up{name="%s",critical="%s"} %d' % (name, crit, up))
|
||||
checked += 1
|
||||
if not up:
|
||||
print(" не отвечает: %-24s код %s (ждали %s)" % (name, code or "—", " ".join(sorted(codes))))
|
||||
|
||||
io.open(OUT, "w", encoding="utf-8").write("\n".join(lines) + "\n")
|
||||
|
||||
# отправляю на узел, который отдаёт метрики
|
||||
subprocess.run(["pct", "push", "134", OUT,
|
||||
"/var/lib/node_exporter/textfile/buryan-services.prom"],
|
||||
capture_output=True)
|
||||
print(" служб проверено: %d, не отвечают: %d" % (checked, sum(1 for l in lines[1:] if not l.endswith(" 1"))))
|
||||
@@ -0,0 +1,18 @@
|
||||
services:
|
||||
prometheus:
|
||||
image: prom/prometheus:latest
|
||||
command:
|
||||
- --config.file=/etc/prometheus/prometheus.yml
|
||||
- --storage.tsdb.path=/prometheus
|
||||
- --storage.tsdb.retention.time=30d
|
||||
- --storage.tsdb.retention.size=6GB
|
||||
- --web.enable-lifecycle
|
||||
container_name: prometheus
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- 9090:9090
|
||||
volumes:
|
||||
- /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml
|
||||
- /opt/prometheus/rules:/etc/prometheus/rules:ro
|
||||
- /opt/prometheus:/prometheus
|
||||
environment: []
|
||||
Reference in new issue
Block a user