Files
buryan-infra/ops/runbooks/monitoring.md
T

177 lines
7.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Runbook: наблюдение за инфраструктурой
**Относится к:** F6-6 (проактивный мониторинг), контроль пула томов
**Расположение:** pve, `/opt/buryan-hub/scripts/`, расписания в `/etc/cron.d/`
---
## 1. Что и как часто проверяется
| Проверка | Скрипт | Как часто | Порог |
|---|---|---|---|
| Пул томов | `check_thin_pool.py` | каждые 5 минут | 75% предупреждение |
| Диски гостей и хоста | `check_disk.py` | ежечасно | 85% / 92% |
| Сроки сертификатов | `check_certs.py` | ежедневно в 08:30 | 14 / 7 дней |
| Ночной отчёт об обновлениях | `nightly-report.sh` | ежедневно в 03:05 | — |
Расписания: `/etc/cron.d/buryan-monitor` и `/etc/cron.d/buryan-monitoring`.
Пароль базы — в `/root/.buryan-monitor.env` (права 600), **не в файлах расписания**.
Уведомления шлёт бот аварий `@Buryans_AlertBot` в чат владельца.
---
## 2. Как устроены уведомления
- **Переход через порог** — сообщение.
- **Возврат в норму** — сообщение о восстановлении.
- **Повтор в том же состоянии** — молчание до суток, чтобы не заваливать чат.
- Если порог перешли несколько точек, приходит **одно сообщение со списком**,
а не по сообщению на каждую.
Состояние хранится в `/var/lib/buryan-monitor/`:
```
disk-state.json cert-state.json last-alert.json
```
Удаление файла состояния сбрасывает память: следующая тревога придёт сразу.
Это полезно при проверке, но не делайте так без причины.
---
## 3. Проверка, что оповещения работают
Запустить с заниженным порогом — тревога должна прийти в Telegram:
```bash
. /root/.buryan-monitor.env
# диски: тревога по всем, кто выше 50%
THRESH_WARN=50 python3 /opt/buryan-hub/scripts/check_disk.py
# сертификаты: тревога по всем, у кого меньше 90 дней
THRESH_WARN_DAYS=90 python3 /opt/buryan-hub/scripts/check_certs.py
# вернуть нормальные пороги и сбросить память о ложной тревоге
rm -f /var/lib/buryan-monitor/disk-state.json /var/lib/buryan-monitor/cert-state.json
python3 /opt/buryan-hub/scripts/check_disk.py
python3 /opt/buryan-hub/scripts/check_certs.py
```
---
## 4. Сбор метрик
Prometheus (CT 134) собирает данные со сборщиков `node_exporter` во всех гостях.
```bash
# сколько целей и все ли отвечают
curl -s 'http://192.168.1.134:9090/api/v1/targets?state=active' \
| jq -r '[.data.activeTargets[] | .health] | group_by(.) | map({(.[0]): length}) | add'
# ожидается: {"up": 29}
```
**14.10.2026 выяснилось, что Prometheus собирал данные только с себя** — одна
цель из двадцати девяти, при том что сборщики работали везде. Конфигурация
пересобирается скриптом:
```bash
bash /opt/buryan-hub/scripts/prometheus-targets.sh
```
Запускать после добавления или удаления гостя: список адресов берётся из живых
контейнеров.
**Важно:** Prometheus сам уведомления не отправляет — для этого нужен
Alertmanager, которого нет. Уведомления шлют скрипты. Prometheus даёт историю
и графики.
---
## 5. История замеров
```bash
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring <<'SQL'
-- что растёт быстрее всего
SELECT guest_key, guest_title, now_pct, day_ago_pct,
now_pct - day_ago_pct AS рост
FROM disk_growth
ORDER BY рост DESC NULLS LAST
LIMIT 10;
-- сколько осталось сертификатам
SELECT domain, days_left FROM cert_metrics
WHERE collected_at > now() - interval '2 days'
ORDER BY days_left LIMIT 10;
SQL
```
---
## 6. Что делать при срабатывании
### Диск заполнен
Порядок действий — от самого частого к самому редкому:
```bash
# 1. разросшиеся логи контейнеров (самая частая причина)
bash /opt/buryan-hub/scripts/fix-logs.sh
# 2. старые образы Docker
pct exec <CT> -- docker system prune -a
# 3. расширить диск, если данные действительно нужны
pct resize <CT> rootfs +4G
```
**14.10.2026:** в CT 110 один лог контейнера разросся до 3,9 ГБ и заполнил диск
на 87%. Причина — в `daemon.json` не были заданы ограничения на размер логов.
Ограничения прописаны во всех 26 контейнерах, ежедневная уборка поставлена
в `/etc/cron.d/buryan-log-hygiene`.
### Пул томов заполнен
```bash
lvs -o lv_name,data_percent | grep data
fstrim -v /mnt/backups
for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done
```
Проверить, не осталось ли снимков от обновлений — они занимают место и должны
удаляться сами:
```bash
for id in $(pct list | awk 'NR>1{print $1}'); do
pct listsnapshot "$id" | grep pre-update && echo " ^ CT $id"
done
```
### Сертификат истекает
Продлением занимается обратный прокси (CT 101, контейнер `npm-app-1`):
```bash
pct exec 101 -- docker exec npm-app-1 certbot renew --dry-run
```
Проверка читает **настоящий сертификат, отдаваемый по домену**, а не файл на
диске — поэтому ловит случай, когда файл обновился, а прокси его не подхватил.
---
## 7. Принцип, который дорого дался
**Проверять надо результат, а не факт выполнения команды.**
За один день 14.10.2026 три разных механизма сообщали об успехе, ничего не сделав:
- `curl` возвращает код 0 даже при ошибке сервера — запись «задача создана»
появлялась, когда задача не создавалась;
- проверка здоровья проходила при старом образе — сервис жив, но версия не та;
- в журнале писалось «ГОТОВО» при отсутствии обновления.
Поэтому у каждой проверки должно быть подтверждение: новый образ совпадает
со скачанным, в базе появилась запись, файл состояния изменился.