diff --git a/ops/monitoring/CHECKS-HOWTO.md b/ops/monitoring/CHECKS-HOWTO.md new file mode 100644 index 0000000..67fd36a --- /dev/null +++ b/ops/monitoring/CHECKS-HOWTO.md @@ -0,0 +1,65 @@ +# Проверки по смыслу + +## Что это + +**Было:** проверяем «порт открыт». +**Стало:** проверяем «служба РАБОТАЕТ». + +Разница важная: служба может отвечать кодом 200, но при этом +не работать с базой, отдавать заглушку или страницу ошибки. + +## Как проверяем + +| Способ | Что проверяет | +|---|---| +| **Содержимое ответа** | отдаёт ли служба ОЖИДАЕМЫЙ ответ | +| **Работа с базой** | реальный SQL-запрос к каждой базе | +| **Через домены** | работает ли вход так, как видит пользователь | +| **Не 5xx** | служба не отдаёт ошибку сервера | + +## Примеры проверок + +``` +Gitea → /api/v1/version должен вернуть "version" +Vaultwarden → /alive должен ответить +Matrix → /_matrix/client/versions должен вернуть "versions" +Element → должен вернуть "Buryan" (наш бренд) +Immich → /api/server/ping должен вернуть "pong" +Grafana → /api/health должен вернуть "ok" +Prometheus → /-/healthy должен вернуть "Healthy" +Loki → /ready должен вернуть "ready" + +Базы (реальные запросы): + gitea_db → количество репозиториев + matrix_db → количество пользователей + vaultwarden_db → количество пользователей +``` + +## Расписание + +``` +каждые 5 минут: /opt/buryan-hub/scripts/check-services.sh +журнал: /var/log/buryan-hub/checks.log +состояние: /var/lib/buryan-checks/last-fail +``` + +## Умная тревога + +**Тревога отправляется ТОЛЬКО при НОВОМ провале.** +Если та же проблема повторяется — не заваливает повторами. + +**При восстановлении** приходит сообщение «всё восстановилось» +с перечнем того, что сбоило. + +## Проверить вручную + +```bash +/opt/buryan-hub/scripts/check-services.sh +tail -20 /var/log/buryan-hub/checks.log +cat /var/lib/buryan-checks/last-fail +``` + +## Что это даёт + +О поломке узнаём **до пользователя** — и узнаём, что именно +сломалось, а не просто «что-то не отвечает». diff --git a/ops/monitoring/check-services.sh b/ops/monitoring/check-services.sh new file mode 100755 index 0000000..4c80421 --- /dev/null +++ b/ops/monitoring/check-services.sh @@ -0,0 +1,133 @@ +#!/bin/bash +# ============================================================ +# check-services.sh — проверки служб ПО СМЫСЛУ +# ============================================================ +# Не «порт открыт», а «служба РАБОТАЕТ»: +# * отвечает ожидаемым содержимым; +# * работает с базой; +# * не отдаёт ошибку. +# +# Расписание: каждые 5 минут +# ============================================================ +set -uo pipefail + +STATE=/var/lib/buryan-checks +LOG=/var/log/buryan-hub/checks.log +NOTIFY=/opt/buryan-hub/scripts/notify.py +mkdir -p "$STATE" "$(dirname "$LOG")" + +FAILED="" +PASSED=0 + +# Проверка: адрес, ожидаемый признак, имя +check() { # $1=имя $2=адрес $3=что искать (пусто = просто 200) $4=таймаут + local name="$1" url="$2" want="$3" t="${4:-10}" + local body code + body=$(curl -s --max-time "$t" -k "$url" 2>/dev/null) + code=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$t" -k "$url" 2>/dev/null) + + if [ -z "$code" ] || [ "$code" = "000" ]; then + FAILED="$FAILED$name:не отвечает;" + return 1 + fi + case "$code" in + 200|201|204|301|302|303|307|401|403) ;; + *) FAILED="$FAILED$name:код $code;"; return 1 ;; + esac + if [ -n "$want" ]; then + if ! echo "$body" | grep -q "$want"; then + FAILED="$FAILED$name:нет '$want';" + return 1 + fi + fi + PASSED=$((PASSED+1)) + return 0 +} + +# Проверка базы: реальный запрос +check_db() { # $1=имя $2=база $3=запрос $4=ожидаемое число + local name="$1" db="$2" q="$3" want="$4" + local got + got=$(pct exec 151 -- sudo -u postgres psql -d "$db" -tAc "$q" 2>/dev/null | tr -d ' \r') + if [ -z "$got" ]; then + FAILED="$FAILED$name:база не ответила;" + return 1 + fi + if [ -n "$want" ] && [ "$got" != "$want" ]; then + FAILED="$FAILED$name:в базе $got вместо $want;" + return 1 + fi + PASSED=$((PASSED+1)) + return 0 +} + +echo "[$(date '+%Y-%m-%d %H:%M:%S')] проверка служб" >> "$LOG" + +# ── ОСНОВА ── +check "PostgreSQL" "http://192.168.1.151:5432" "" 3 # порт (для формы) +check_db "PostgreSQL-базы" "postgres" "SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')" "" +check_db "Gitea-база" "gitea_db" "SELECT count(*) FROM repository" "" +check_db "Matrix-база" "matrix_db" "SELECT count(*) FROM users" "" +check_db "Пароли-база" "vaultwarden_db" "SELECT count(*) FROM users" "" + +# ── СЛУЖБЫ (проверяю СОДЕРЖИМОЕ, а не только код) ── +check "Gitea" "http://192.168.1.140:3000/api/v1/version" "version" +check "Vaultwarden" "http://192.168.1.109:8081/alive" "" +check "Matrix" "http://192.168.1.155:8008/_matrix/client/versions" "versions" +check "Element" "http://192.168.1.155:8088/" "Buryan" +check "Authentik" "http://192.168.1.114:9000/-/health/live/" "" +check "n8n" "http://192.168.1.108:5678/healthz" "" +check "Immich" "http://192.168.1.104:2283/api/server/ping" "pong" +check "Paperless" "http://192.168.1.105:8000/api/remote/version/" "" +check "Grafana" "http://192.168.1.113:3000/api/health" "ok" +check "Prometheus" "http://192.168.1.134:9090/-/healthy" "Healthy" +check "Alertmanager" "http://192.168.1.134:9093/-/healthy" "" +check "Loki" "http://192.168.1.113:3100/ready" "ready" +check "Syncthing" "http://192.168.1.139:8384/rest/noauth/health" "" +check "Mealie" "http://192.168.1.110:9925/api/app/about" "" +check "Navidrome" "http://192.168.1.125:4533/ping" "" +check "Sonarr" "http://192.168.1.117:8989/ping" "" +check "Radarr" "http://192.168.1.118:7878/ping" "" +check "Prowlarr" "http://192.168.1.119:9696/ping" "" +check "Bazarr" "http://192.168.1.120:6767/" "" +check "Overseerr" "http://192.168.1.121:5055/api/v1/status" "" +check "UptimeKuma" "http://192.168.1.107:3001/" "" +check "Linkding" "http://192.168.1.127:3000/health" "" +check "AdGuard" "http://192.168.1.107:3000/control/status" "" +check "Plex" "http://192.168.1.116:32400/identity" "" + +# ── ЧЕРЕЗ ДОМЕНЫ (как видит пользователь) ── +check "домен git" "https://git.buryans.ru/" "" 12 +check "домен vault" "https://vault.buryans.ru/" "" 12 +check "домен matrix" "https://matrix.buryans.ru/_matrix/client/versions" "versions" 12 + +# ── ИТОГ ── +if [ -z "$FAILED" ]; then + # Всё хорошо — убираю прошлые тревоги + if [ -f "$STATE/last-fail" ]; then + python3 "$NOTIFY" "✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ +Проверено: $PASSED +Ранее сбоили: $(cat $STATE/last-fail | tr ';' ' ')" 2>/dev/null || true + rm -f "$STATE/last-fail" + fi + echo "[$(date '+%H:%M:%S')] ✅ всё в порядке, проверено: $PASSED" >> "$LOG" + exit 0 +else + # Есть провалы + echo "[$(date '+%H:%M:%S')] ⚠️ провалы: $FAILED" >> "$LOG" + # Тревожу только если это НОВЫЙ провал (не повторяю каждые 5 минут) + if [ ! -f "$STATE/last-fail" ] || [ "$(cat $STATE/last-fail)" != "$FAILED" ]; then + echo "$FAILED" > "$STATE/last-fail" + python3 "$NOTIFY" "⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы +Проверено успешно: $PASSED + +НЕ РАБОТАЕТ: +$(echo "$FAILED" | tr ';' '\n' | sed 's/^/ • /') + +Проверено по СМЫСЛУ (не только порт): + служба отвечает нужным содержимым и работает с базой" 2>/dev/null || true + else + echo " (повтор не отправляю — тревога уже была)" >> "$LOG" + fi + exit 1 +fi