Files

7.5 KiB

Runbook: наблюдение за инфраструктурой

Относится к: F6-6 (проактивный мониторинг), контроль пула томов Расположение: pve, /opt/buryan-hub/scripts/, расписания в /etc/cron.d/


1. Что и как часто проверяется

Проверка Скрипт Как часто Порог
Пул томов check_thin_pool.py каждые 5 минут 75% предупреждение
Диски гостей и хоста check_disk.py ежечасно 85% / 92%
Сроки сертификатов check_certs.py ежедневно в 08:30 14 / 7 дней
Ночной отчёт об обновлениях nightly-report.sh ежедневно в 03:05 —

Расписания: /etc/cron.d/buryan-monitor и /etc/cron.d/buryan-monitoring. Пароль базы — в /root/.buryan-monitor.env (права 600), не в файлах расписания.

Уведомления шлёт бот аварий @Buryans_AlertBot в чат владельца.


2. Как устроены уведомления

  • Переход через порог — сообщение.
  • Возврат в норму — сообщение о восстановлении.
  • Повтор в том же состоянии — молчание до суток, чтобы не заваливать чат.
  • Если порог перешли несколько точек, приходит одно сообщение со списком, а не по сообщению на каждую.

Состояние хранится в /var/lib/buryan-monitor/:

disk-state.json    cert-state.json    last-alert.json

Удаление файла состояния сбрасывает память: следующая тревога придёт сразу. Это полезно при проверке, но не делайте так без причины.


3. Проверка, что оповещения работают

Запустить с заниженным порогом — тревога должна прийти в Telegram:

. /root/.buryan-monitor.env

# диски: тревога по всем, кто выше 50%
THRESH_WARN=50 python3 /opt/buryan-hub/scripts/check_disk.py

# сертификаты: тревога по всем, у кого меньше 90 дней
THRESH_WARN_DAYS=90 python3 /opt/buryan-hub/scripts/check_certs.py

# вернуть нормальные пороги и сбросить память о ложной тревоге
rm -f /var/lib/buryan-monitor/disk-state.json /var/lib/buryan-monitor/cert-state.json
python3 /opt/buryan-hub/scripts/check_disk.py
python3 /opt/buryan-hub/scripts/check_certs.py

4. Сбор метрик

Prometheus (CT 134) собирает данные со сборщиков node_exporter во всех гостях.

# сколько целей и все ли отвечают
curl -s 'http://192.168.1.134:9090/api/v1/targets?state=active' \
  | jq -r '[.data.activeTargets[] | .health] | group_by(.) | map({(.[0]): length}) | add'
# ожидается: {"up": 29}

14.10.2026 выяснилось, что Prometheus собирал данные только с себя — одна цель из двадцати девяти, при том что сборщики работали везде. Конфигурация пересобирается скриптом:

bash /opt/buryan-hub/scripts/prometheus-targets.sh

Запускать после добавления или удаления гостя: список адресов берётся из живых контейнеров.

Важно: Prometheus сам уведомления не отправляет — для этого нужен Alertmanager, которого нет. Уведомления шлют скрипты. Prometheus даёт историю и графики.


5. История замеров

psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring <<'SQL'
-- что растёт быстрее всего
SELECT guest_key, guest_title, now_pct, day_ago_pct,
       now_pct - day_ago_pct AS рост
  FROM disk_growth
 ORDER BY рост DESC NULLS LAST
 LIMIT 10;

-- сколько осталось сертификатам
SELECT domain, days_left FROM cert_metrics
 WHERE collected_at > now() - interval '2 days'
 ORDER BY days_left LIMIT 10;
SQL

6. Что делать при срабатывании

Диск заполнен

Порядок действий — от самого частого к самому редкому:

# 1. разросшиеся логи контейнеров (самая частая причина)
bash /opt/buryan-hub/scripts/fix-logs.sh

# 2. старые образы Docker
pct exec <CT> -- docker system prune -a

# 3. расширить диск, если данные действительно нужны
pct resize <CT> rootfs +4G

14.10.2026: в CT 110 один лог контейнера разросся до 3,9 ГБ и заполнил диск на 87%. Причина — в daemon.json не были заданы ограничения на размер логов. Ограничения прописаны во всех 26 контейнерах, ежедневная уборка поставлена в /etc/cron.d/buryan-log-hygiene.

Пул томов заполнен

lvs -o lv_name,data_percent | grep data
fstrim -v /mnt/backups
for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done

Проверить, не осталось ли снимков от обновлений — они занимают место и должны удаляться сами:

for id in $(pct list | awk 'NR>1{print $1}'); do
  pct listsnapshot "$id" | grep pre-update && echo "  ^ CT $id"
done

Сертификат истекает

Продлением занимается обратный прокси (CT 101, контейнер npm-app-1):

pct exec 101 -- docker exec npm-app-1 certbot renew --dry-run

Проверка читает настоящий сертификат, отдаваемый по домену, а не файл на диске — поэтому ловит случай, когда файл обновился, а прокси его не подхватил.


7. Принцип, который дорого дался

Проверять надо результат, а не факт выполнения команды.

За один день 14.10.2026 три разных механизма сообщали об успехе, ничего не сделав:

  • curl возвращает код 0 даже при ошибке сервера — запись «задача создана» появлялась, когда задача не создавалась;
  • проверка здоровья проходила при старом образе — сервис жив, но версия не та;
  • в журнале писалось «ГОТОВО» при отсутствии обновления.

Поэтому у каждой проверки должно быть подтверждение: новый образ совпадает со скачанным, в базе появилась запись, файл состояния изменился.