177 lines
7.5 KiB
Markdown
177 lines
7.5 KiB
Markdown
# Runbook: наблюдение за инфраструктурой
|
||
|
||
**Относится к:** F6-6 (проактивный мониторинг), контроль пула томов
|
||
**Расположение:** pve, `/opt/buryan-hub/scripts/`, расписания в `/etc/cron.d/`
|
||
|
||
---
|
||
|
||
## 1. Что и как часто проверяется
|
||
|
||
| Проверка | Скрипт | Как часто | Порог |
|
||
|---|---|---|---|
|
||
| Пул томов | `check_thin_pool.py` | каждые 5 минут | 75% предупреждение |
|
||
| Диски гостей и хоста | `check_disk.py` | ежечасно | 85% / 92% |
|
||
| Сроки сертификатов | `check_certs.py` | ежедневно в 08:30 | 14 / 7 дней |
|
||
| Ночной отчёт об обновлениях | `nightly-report.sh` | ежедневно в 03:05 | — |
|
||
|
||
Расписания: `/etc/cron.d/buryan-monitor` и `/etc/cron.d/buryan-monitoring`.
|
||
Пароль базы — в `/root/.buryan-monitor.env` (права 600), **не в файлах расписания**.
|
||
|
||
Уведомления шлёт бот аварий `@Buryans_AlertBot` в чат владельца.
|
||
|
||
---
|
||
|
||
## 2. Как устроены уведомления
|
||
|
||
- **Переход через порог** — сообщение.
|
||
- **Возврат в норму** — сообщение о восстановлении.
|
||
- **Повтор в том же состоянии** — молчание до суток, чтобы не заваливать чат.
|
||
- Если порог перешли несколько точек, приходит **одно сообщение со списком**,
|
||
а не по сообщению на каждую.
|
||
|
||
Состояние хранится в `/var/lib/buryan-monitor/`:
|
||
|
||
```
|
||
disk-state.json cert-state.json last-alert.json
|
||
```
|
||
|
||
Удаление файла состояния сбрасывает память: следующая тревога придёт сразу.
|
||
Это полезно при проверке, но не делайте так без причины.
|
||
|
||
---
|
||
|
||
## 3. Проверка, что оповещения работают
|
||
|
||
Запустить с заниженным порогом — тревога должна прийти в Telegram:
|
||
|
||
```bash
|
||
. /root/.buryan-monitor.env
|
||
|
||
# диски: тревога по всем, кто выше 50%
|
||
THRESH_WARN=50 python3 /opt/buryan-hub/scripts/check_disk.py
|
||
|
||
# сертификаты: тревога по всем, у кого меньше 90 дней
|
||
THRESH_WARN_DAYS=90 python3 /opt/buryan-hub/scripts/check_certs.py
|
||
|
||
# вернуть нормальные пороги и сбросить память о ложной тревоге
|
||
rm -f /var/lib/buryan-monitor/disk-state.json /var/lib/buryan-monitor/cert-state.json
|
||
python3 /opt/buryan-hub/scripts/check_disk.py
|
||
python3 /opt/buryan-hub/scripts/check_certs.py
|
||
```
|
||
|
||
---
|
||
|
||
## 4. Сбор метрик
|
||
|
||
Prometheus (CT 134) собирает данные со сборщиков `node_exporter` во всех гостях.
|
||
|
||
```bash
|
||
# сколько целей и все ли отвечают
|
||
curl -s 'http://192.168.1.134:9090/api/v1/targets?state=active' \
|
||
| jq -r '[.data.activeTargets[] | .health] | group_by(.) | map({(.[0]): length}) | add'
|
||
# ожидается: {"up": 29}
|
||
```
|
||
|
||
**14.10.2026 выяснилось, что Prometheus собирал данные только с себя** — одна
|
||
цель из двадцати девяти, при том что сборщики работали везде. Конфигурация
|
||
пересобирается скриптом:
|
||
|
||
```bash
|
||
bash /opt/buryan-hub/scripts/prometheus-targets.sh
|
||
```
|
||
|
||
Запускать после добавления или удаления гостя: список адресов берётся из живых
|
||
контейнеров.
|
||
|
||
**Важно:** Prometheus сам уведомления не отправляет — для этого нужен
|
||
Alertmanager, которого нет. Уведомления шлют скрипты. Prometheus даёт историю
|
||
и графики.
|
||
|
||
---
|
||
|
||
## 5. История замеров
|
||
|
||
```bash
|
||
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring <<'SQL'
|
||
-- что растёт быстрее всего
|
||
SELECT guest_key, guest_title, now_pct, day_ago_pct,
|
||
now_pct - day_ago_pct AS рост
|
||
FROM disk_growth
|
||
ORDER BY рост DESC NULLS LAST
|
||
LIMIT 10;
|
||
|
||
-- сколько осталось сертификатам
|
||
SELECT domain, days_left FROM cert_metrics
|
||
WHERE collected_at > now() - interval '2 days'
|
||
ORDER BY days_left LIMIT 10;
|
||
SQL
|
||
```
|
||
|
||
---
|
||
|
||
## 6. Что делать при срабатывании
|
||
|
||
### Диск заполнен
|
||
|
||
Порядок действий — от самого частого к самому редкому:
|
||
|
||
```bash
|
||
# 1. разросшиеся логи контейнеров (самая частая причина)
|
||
bash /opt/buryan-hub/scripts/fix-logs.sh
|
||
|
||
# 2. старые образы Docker
|
||
pct exec <CT> -- docker system prune -a
|
||
|
||
# 3. расширить диск, если данные действительно нужны
|
||
pct resize <CT> rootfs +4G
|
||
```
|
||
|
||
**14.10.2026:** в CT 110 один лог контейнера разросся до 3,9 ГБ и заполнил диск
|
||
на 87%. Причина — в `daemon.json` не были заданы ограничения на размер логов.
|
||
Ограничения прописаны во всех 26 контейнерах, ежедневная уборка поставлена
|
||
в `/etc/cron.d/buryan-log-hygiene`.
|
||
|
||
### Пул томов заполнен
|
||
|
||
```bash
|
||
lvs -o lv_name,data_percent | grep data
|
||
fstrim -v /mnt/backups
|
||
for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done
|
||
```
|
||
|
||
Проверить, не осталось ли снимков от обновлений — они занимают место и должны
|
||
удаляться сами:
|
||
|
||
```bash
|
||
for id in $(pct list | awk 'NR>1{print $1}'); do
|
||
pct listsnapshot "$id" | grep pre-update && echo " ^ CT $id"
|
||
done
|
||
```
|
||
|
||
### Сертификат истекает
|
||
|
||
Продлением занимается обратный прокси (CT 101, контейнер `npm-app-1`):
|
||
|
||
```bash
|
||
pct exec 101 -- docker exec npm-app-1 certbot renew --dry-run
|
||
```
|
||
|
||
Проверка читает **настоящий сертификат, отдаваемый по домену**, а не файл на
|
||
диске — поэтому ловит случай, когда файл обновился, а прокси его не подхватил.
|
||
|
||
---
|
||
|
||
## 7. Принцип, который дорого дался
|
||
|
||
**Проверять надо результат, а не факт выполнения команды.**
|
||
|
||
За один день 14.10.2026 три разных механизма сообщали об успехе, ничего не сделав:
|
||
|
||
- `curl` возвращает код 0 даже при ошибке сервера — запись «задача создана»
|
||
появлялась, когда задача не создавалась;
|
||
- проверка здоровья проходила при старом образе — сервис жив, но версия не та;
|
||
- в журнале писалось «ГОТОВО» при отсутствии обновления.
|
||
|
||
Поэтому у каждой проверки должно быть подтверждение: новый образ совпадает
|
||
со скачанным, в базе появилась запись, файл состояния изменился.
|