7.5 KiB
Runbook: наблюдение за инфраструктурой
Относится к: F6-6 (проактивный мониторинг), контроль пула томов
Расположение: pve, /opt/buryan-hub/scripts/, расписания в /etc/cron.d/
1. Что и как часто проверяется
| Проверка | Скрипт | Как часто | Порог |
|---|---|---|---|
| Пул томов | check_thin_pool.py |
каждые 5 минут | 75% предупреждение |
| Диски гостей и хоста | check_disk.py |
ежечасно | 85% / 92% |
| Сроки сертификатов | check_certs.py |
ежедневно в 08:30 | 14 / 7 дней |
| Ночной отчёт об обновлениях | nightly-report.sh |
ежедневно в 03:05 | — |
Расписания: /etc/cron.d/buryan-monitor и /etc/cron.d/buryan-monitoring.
Пароль базы — в /root/.buryan-monitor.env (права 600), не в файлах расписания.
Уведомления шлёт бот аварий @Buryans_AlertBot в чат владельца.
2. Как устроены уведомления
- Переход через порог — сообщение.
- Возврат в норму — сообщение о восстановлении.
- Повтор в том же состоянии — молчание до суток, чтобы не заваливать чат.
- Если порог перешли несколько точек, приходит одно сообщение со списком, а не по сообщению на каждую.
Состояние хранится в /var/lib/buryan-monitor/:
disk-state.json cert-state.json last-alert.json
Удаление файла состояния сбрасывает память: следующая тревога придёт сразу. Это полезно при проверке, но не делайте так без причины.
3. Проверка, что оповещения работают
Запустить с заниженным порогом — тревога должна прийти в Telegram:
. /root/.buryan-monitor.env
# диски: тревога по всем, кто выше 50%
THRESH_WARN=50 python3 /opt/buryan-hub/scripts/check_disk.py
# сертификаты: тревога по всем, у кого меньше 90 дней
THRESH_WARN_DAYS=90 python3 /opt/buryan-hub/scripts/check_certs.py
# вернуть нормальные пороги и сбросить память о ложной тревоге
rm -f /var/lib/buryan-monitor/disk-state.json /var/lib/buryan-monitor/cert-state.json
python3 /opt/buryan-hub/scripts/check_disk.py
python3 /opt/buryan-hub/scripts/check_certs.py
4. Сбор метрик
Prometheus (CT 134) собирает данные со сборщиков node_exporter во всех гостях.
# сколько целей и все ли отвечают
curl -s 'http://192.168.1.134:9090/api/v1/targets?state=active' \
| jq -r '[.data.activeTargets[] | .health] | group_by(.) | map({(.[0]): length}) | add'
# ожидается: {"up": 29}
14.10.2026 выяснилось, что Prometheus собирал данные только с себя — одна цель из двадцати девяти, при том что сборщики работали везде. Конфигурация пересобирается скриптом:
bash /opt/buryan-hub/scripts/prometheus-targets.sh
Запускать после добавления или удаления гостя: список адресов берётся из живых контейнеров.
Важно: Prometheus сам уведомления не отправляет — для этого нужен Alertmanager, которого нет. Уведомления шлют скрипты. Prometheus даёт историю и графики.
5. История замеров
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring <<'SQL'
-- что растёт быстрее всего
SELECT guest_key, guest_title, now_pct, day_ago_pct,
now_pct - day_ago_pct AS рост
FROM disk_growth
ORDER BY рост DESC NULLS LAST
LIMIT 10;
-- сколько осталось сертификатам
SELECT domain, days_left FROM cert_metrics
WHERE collected_at > now() - interval '2 days'
ORDER BY days_left LIMIT 10;
SQL
6. Что делать при срабатывании
Диск заполнен
Порядок действий — от самого частого к самому редкому:
# 1. разросшиеся логи контейнеров (самая частая причина)
bash /opt/buryan-hub/scripts/fix-logs.sh
# 2. старые образы Docker
pct exec <CT> -- docker system prune -a
# 3. расширить диск, если данные действительно нужны
pct resize <CT> rootfs +4G
14.10.2026: в CT 110 один лог контейнера разросся до 3,9 ГБ и заполнил диск
на 87%. Причина — в daemon.json не были заданы ограничения на размер логов.
Ограничения прописаны во всех 26 контейнерах, ежедневная уборка поставлена
в /etc/cron.d/buryan-log-hygiene.
Пул томов заполнен
lvs -o lv_name,data_percent | grep data
fstrim -v /mnt/backups
for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done
Проверить, не осталось ли снимков от обновлений — они занимают место и должны удаляться сами:
for id in $(pct list | awk 'NR>1{print $1}'); do
pct listsnapshot "$id" | grep pre-update && echo " ^ CT $id"
done
Сертификат истекает
Продлением занимается обратный прокси (CT 101, контейнер npm-app-1):
pct exec 101 -- docker exec npm-app-1 certbot renew --dry-run
Проверка читает настоящий сертификат, отдаваемый по домену, а не файл на диске — поэтому ловит случай, когда файл обновился, а прокси его не подхватил.
7. Принцип, который дорого дался
Проверять надо результат, а не факт выполнения команды.
За один день 14.10.2026 три разных механизма сообщали об успехе, ничего не сделав:
curlвозвращает код 0 даже при ошибке сервера — запись «задача создана» появлялась, когда задача не создавалась;- проверка здоровья проходила при старом образе — сервис жив, но версия не та;
- в журнале писалось «ГОТОВО» при отсутствии обновления.
Поэтому у каждой проверки должно быть подтверждение: новый образ совпадает со скачанным, в базе появилась запись, файл состояния изменился.