# Runbook: наблюдение за инфраструктурой **Относится к:** F6-6 (проактивный мониторинг), контроль пула томов **Расположение:** pve, `/opt/buryan-hub/scripts/`, расписания в `/etc/cron.d/` --- ## 1. Что и как часто проверяется | Проверка | Скрипт | Как часто | Порог | |---|---|---|---| | Пул томов | `check_thin_pool.py` | каждые 5 минут | 75% предупреждение | | Диски гостей и хоста | `check_disk.py` | ежечасно | 85% / 92% | | Сроки сертификатов | `check_certs.py` | ежедневно в 08:30 | 14 / 7 дней | | Ночной отчёт об обновлениях | `nightly-report.sh` | ежедневно в 03:05 | — | Расписания: `/etc/cron.d/buryan-monitor` и `/etc/cron.d/buryan-monitoring`. Пароль базы — в `/root/.buryan-monitor.env` (права 600), **не в файлах расписания**. Уведомления шлёт бот аварий `@Buryans_AlertBot` в чат владельца. --- ## 2. Как устроены уведомления - **Переход через порог** — сообщение. - **Возврат в норму** — сообщение о восстановлении. - **Повтор в том же состоянии** — молчание до суток, чтобы не заваливать чат. - Если порог перешли несколько точек, приходит **одно сообщение со списком**, а не по сообщению на каждую. Состояние хранится в `/var/lib/buryan-monitor/`: ``` disk-state.json cert-state.json last-alert.json ``` Удаление файла состояния сбрасывает память: следующая тревога придёт сразу. Это полезно при проверке, но не делайте так без причины. --- ## 3. Проверка, что оповещения работают Запустить с заниженным порогом — тревога должна прийти в Telegram: ```bash . /root/.buryan-monitor.env # диски: тревога по всем, кто выше 50% THRESH_WARN=50 python3 /opt/buryan-hub/scripts/check_disk.py # сертификаты: тревога по всем, у кого меньше 90 дней THRESH_WARN_DAYS=90 python3 /opt/buryan-hub/scripts/check_certs.py # вернуть нормальные пороги и сбросить память о ложной тревоге rm -f /var/lib/buryan-monitor/disk-state.json /var/lib/buryan-monitor/cert-state.json python3 /opt/buryan-hub/scripts/check_disk.py python3 /opt/buryan-hub/scripts/check_certs.py ``` --- ## 4. Сбор метрик Prometheus (CT 134) собирает данные со сборщиков `node_exporter` во всех гостях. ```bash # сколько целей и все ли отвечают curl -s 'http://192.168.1.134:9090/api/v1/targets?state=active' \ | jq -r '[.data.activeTargets[] | .health] | group_by(.) | map({(.[0]): length}) | add' # ожидается: {"up": 29} ``` **14.10.2026 выяснилось, что Prometheus собирал данные только с себя** — одна цель из двадцати девяти, при том что сборщики работали везде. Конфигурация пересобирается скриптом: ```bash bash /opt/buryan-hub/scripts/prometheus-targets.sh ``` Запускать после добавления или удаления гостя: список адресов берётся из живых контейнеров. **Важно:** Prometheus сам уведомления не отправляет — для этого нужен Alertmanager, которого нет. Уведомления шлют скрипты. Prometheus даёт историю и графики. --- ## 5. История замеров ```bash psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring <<'SQL' -- что растёт быстрее всего SELECT guest_key, guest_title, now_pct, day_ago_pct, now_pct - day_ago_pct AS рост FROM disk_growth ORDER BY рост DESC NULLS LAST LIMIT 10; -- сколько осталось сертификатам SELECT domain, days_left FROM cert_metrics WHERE collected_at > now() - interval '2 days' ORDER BY days_left LIMIT 10; SQL ``` --- ## 6. Что делать при срабатывании ### Диск заполнен Порядок действий — от самого частого к самому редкому: ```bash # 1. разросшиеся логи контейнеров (самая частая причина) bash /opt/buryan-hub/scripts/fix-logs.sh # 2. старые образы Docker pct exec -- docker system prune -a # 3. расширить диск, если данные действительно нужны pct resize rootfs +4G ``` **14.10.2026:** в CT 110 один лог контейнера разросся до 3,9 ГБ и заполнил диск на 87%. Причина — в `daemon.json` не были заданы ограничения на размер логов. Ограничения прописаны во всех 26 контейнерах, ежедневная уборка поставлена в `/etc/cron.d/buryan-log-hygiene`. ### Пул томов заполнен ```bash lvs -o lv_name,data_percent | grep data fstrim -v /mnt/backups for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done ``` Проверить, не осталось ли снимков от обновлений — они занимают место и должны удаляться сами: ```bash for id in $(pct list | awk 'NR>1{print $1}'); do pct listsnapshot "$id" | grep pre-update && echo " ^ CT $id" done ``` ### Сертификат истекает Продлением занимается обратный прокси (CT 101, контейнер `npm-app-1`): ```bash pct exec 101 -- docker exec npm-app-1 certbot renew --dry-run ``` Проверка читает **настоящий сертификат, отдаваемый по домену**, а не файл на диске — поэтому ловит случай, когда файл обновился, а прокси его не подхватил. --- ## 7. Принцип, который дорого дался **Проверять надо результат, а не факт выполнения команды.** За один день 14.10.2026 три разных механизма сообщали об успехе, ничего не сделав: - `curl` возвращает код 0 даже при ошибке сервера — запись «задача создана» появлялась, когда задача не создавалась; - проверка здоровья проходила при старом образе — сервис жив, но версия не та; - в журнале писалось «ГОТОВО» при отсутствии обновления. Поэтому у каждой проверки должно быть подтверждение: новый образ совпадает со скачанным, в базе появилась запись, файл состояния изменился.