Files
buryan-infra/ops/monitoring/CHECKS-HOWTO.md
T

2.6 KiB
Raw Blame History

Проверки по смыслу

Что это

Было: проверяем «порт открыт». Стало: проверяем «служба РАБОТАЕТ».

Разница важная: служба может отвечать кодом 200, но при этом не работать с базой, отдавать заглушку или страницу ошибки.

Как проверяем

Способ Что проверяет
Содержимое ответа отдаёт ли служба ОЖИДАЕМЫЙ ответ
Работа с базой реальный SQL-запрос к каждой базе
Через домены работает ли вход так, как видит пользователь
Не 5xx служба не отдаёт ошибку сервера

Примеры проверок

Gitea       → /api/v1/version должен вернуть "version"
Vaultwarden → /alive должен ответить
Matrix      → /_matrix/client/versions должен вернуть "versions"
Element     → должен вернуть "Buryan" (наш бренд)
Immich      → /api/server/ping должен вернуть "pong"
Grafana     → /api/health должен вернуть "ok"
Prometheus  → /-/healthy должен вернуть "Healthy"
Loki        → /ready должен вернуть "ready"

Базы (реальные запросы):
  gitea_db       → количество репозиториев
  matrix_db      → количество пользователей
  vaultwarden_db → количество пользователей

Расписание

каждые 5 минут: /opt/buryan-hub/scripts/check-services.sh
журнал:         /var/log/buryan-hub/checks.log
состояние:      /var/lib/buryan-checks/last-fail

Умная тревога

Тревога отправляется ТОЛЬКО при НОВОМ провале. Если та же проблема повторяется — не заваливает повторами.

При восстановлении приходит сообщение «всё восстановилось» с перечнем того, что сбоило.

Проверить вручную

/opt/buryan-hub/scripts/check-services.sh
tail -20 /var/log/buryan-hub/checks.log
cat /var/lib/buryan-checks/last-fail

Что это даёт

О поломке узнаём до пользователя — и узнаём, что именно сломалось, а не просто «что-то не отвечает».