проверки по смыслу: содержимое ответа, реальные запросы к базам, умная тревога без повторов
This commit is contained in:
1 parent
39aa31f5a5
commit
e227583689
2 files changed
+198
No files matched your search
@@ -0,0 +1,65 @@
|
||||
# Проверки по смыслу
|
||||
|
||||
## Что это
|
||||
|
||||
**Было:** проверяем «порт открыт».
|
||||
**Стало:** проверяем «служба РАБОТАЕТ».
|
||||
|
||||
Разница важная: служба может отвечать кодом 200, но при этом
|
||||
не работать с базой, отдавать заглушку или страницу ошибки.
|
||||
|
||||
## Как проверяем
|
||||
|
||||
| Способ | Что проверяет |
|
||||
|---|---|
|
||||
| **Содержимое ответа** | отдаёт ли служба ОЖИДАЕМЫЙ ответ |
|
||||
| **Работа с базой** | реальный SQL-запрос к каждой базе |
|
||||
| **Через домены** | работает ли вход так, как видит пользователь |
|
||||
| **Не 5xx** | служба не отдаёт ошибку сервера |
|
||||
|
||||
## Примеры проверок
|
||||
|
||||
```
|
||||
Gitea → /api/v1/version должен вернуть "version"
|
||||
Vaultwarden → /alive должен ответить
|
||||
Matrix → /_matrix/client/versions должен вернуть "versions"
|
||||
Element → должен вернуть "Buryan" (наш бренд)
|
||||
Immich → /api/server/ping должен вернуть "pong"
|
||||
Grafana → /api/health должен вернуть "ok"
|
||||
Prometheus → /-/healthy должен вернуть "Healthy"
|
||||
Loki → /ready должен вернуть "ready"
|
||||
|
||||
Базы (реальные запросы):
|
||||
gitea_db → количество репозиториев
|
||||
matrix_db → количество пользователей
|
||||
vaultwarden_db → количество пользователей
|
||||
```
|
||||
|
||||
## Расписание
|
||||
|
||||
```
|
||||
каждые 5 минут: /opt/buryan-hub/scripts/check-services.sh
|
||||
журнал: /var/log/buryan-hub/checks.log
|
||||
состояние: /var/lib/buryan-checks/last-fail
|
||||
```
|
||||
|
||||
## Умная тревога
|
||||
|
||||
**Тревога отправляется ТОЛЬКО при НОВОМ провале.**
|
||||
Если та же проблема повторяется — не заваливает повторами.
|
||||
|
||||
**При восстановлении** приходит сообщение «всё восстановилось»
|
||||
с перечнем того, что сбоило.
|
||||
|
||||
## Проверить вручную
|
||||
|
||||
```bash
|
||||
/opt/buryan-hub/scripts/check-services.sh
|
||||
tail -20 /var/log/buryan-hub/checks.log
|
||||
cat /var/lib/buryan-checks/last-fail
|
||||
```
|
||||
|
||||
## Что это даёт
|
||||
|
||||
О поломке узнаём **до пользователя** — и узнаём, что именно
|
||||
сломалось, а не просто «что-то не отвечает».
|
||||
Executable
+133
@@ -0,0 +1,133 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# check-services.sh — проверки служб ПО СМЫСЛУ
|
||||
# ============================================================
|
||||
# Не «порт открыт», а «служба РАБОТАЕТ»:
|
||||
# * отвечает ожидаемым содержимым;
|
||||
# * работает с базой;
|
||||
# * не отдаёт ошибку.
|
||||
#
|
||||
# Расписание: каждые 5 минут
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
STATE=/var/lib/buryan-checks
|
||||
LOG=/var/log/buryan-hub/checks.log
|
||||
NOTIFY=/opt/buryan-hub/scripts/notify.py
|
||||
mkdir -p "$STATE" "$(dirname "$LOG")"
|
||||
|
||||
FAILED=""
|
||||
PASSED=0
|
||||
|
||||
# Проверка: адрес, ожидаемый признак, имя
|
||||
check() { # $1=имя $2=адрес $3=что искать (пусто = просто 200) $4=таймаут
|
||||
local name="$1" url="$2" want="$3" t="${4:-10}"
|
||||
local body code
|
||||
body=$(curl -s --max-time "$t" -k "$url" 2>/dev/null)
|
||||
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$t" -k "$url" 2>/dev/null)
|
||||
|
||||
if [ -z "$code" ] || [ "$code" = "000" ]; then
|
||||
FAILED="$FAILED$name:не отвечает;"
|
||||
return 1
|
||||
fi
|
||||
case "$code" in
|
||||
200|201|204|301|302|303|307|401|403) ;;
|
||||
*) FAILED="$FAILED$name:код $code;"; return 1 ;;
|
||||
esac
|
||||
if [ -n "$want" ]; then
|
||||
if ! echo "$body" | grep -q "$want"; then
|
||||
FAILED="$FAILED$name:нет '$want';"
|
||||
return 1
|
||||
fi
|
||||
fi
|
||||
PASSED=$((PASSED+1))
|
||||
return 0
|
||||
}
|
||||
|
||||
# Проверка базы: реальный запрос
|
||||
check_db() { # $1=имя $2=база $3=запрос $4=ожидаемое число
|
||||
local name="$1" db="$2" q="$3" want="$4"
|
||||
local got
|
||||
got=$(pct exec 151 -- sudo -u postgres psql -d "$db" -tAc "$q" 2>/dev/null | tr -d ' \r')
|
||||
if [ -z "$got" ]; then
|
||||
FAILED="$FAILED$name:база не ответила;"
|
||||
return 1
|
||||
fi
|
||||
if [ -n "$want" ] && [ "$got" != "$want" ]; then
|
||||
FAILED="$FAILED$name:в базе $got вместо $want;"
|
||||
return 1
|
||||
fi
|
||||
PASSED=$((PASSED+1))
|
||||
return 0
|
||||
}
|
||||
|
||||
echo "[$(date '+%Y-%m-%d %H:%M:%S')] проверка служб" >> "$LOG"
|
||||
|
||||
# ── ОСНОВА ──
|
||||
check "PostgreSQL" "http://192.168.1.151:5432" "" 3 # порт (для формы)
|
||||
check_db "PostgreSQL-базы" "postgres" "SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')" ""
|
||||
check_db "Gitea-база" "gitea_db" "SELECT count(*) FROM repository" ""
|
||||
check_db "Matrix-база" "matrix_db" "SELECT count(*) FROM users" ""
|
||||
check_db "Пароли-база" "vaultwarden_db" "SELECT count(*) FROM users" ""
|
||||
|
||||
# ── СЛУЖБЫ (проверяю СОДЕРЖИМОЕ, а не только код) ──
|
||||
check "Gitea" "http://192.168.1.140:3000/api/v1/version" "version"
|
||||
check "Vaultwarden" "http://192.168.1.109:8081/alive" ""
|
||||
check "Matrix" "http://192.168.1.155:8008/_matrix/client/versions" "versions"
|
||||
check "Element" "http://192.168.1.155:8088/" "Buryan"
|
||||
check "Authentik" "http://192.168.1.114:9000/-/health/live/" ""
|
||||
check "n8n" "http://192.168.1.108:5678/healthz" ""
|
||||
check "Immich" "http://192.168.1.104:2283/api/server/ping" "pong"
|
||||
check "Paperless" "http://192.168.1.105:8000/api/remote/version/" ""
|
||||
check "Grafana" "http://192.168.1.113:3000/api/health" "ok"
|
||||
check "Prometheus" "http://192.168.1.134:9090/-/healthy" "Healthy"
|
||||
check "Alertmanager" "http://192.168.1.134:9093/-/healthy" ""
|
||||
check "Loki" "http://192.168.1.113:3100/ready" "ready"
|
||||
check "Syncthing" "http://192.168.1.139:8384/rest/noauth/health" ""
|
||||
check "Mealie" "http://192.168.1.110:9925/api/app/about" ""
|
||||
check "Navidrome" "http://192.168.1.125:4533/ping" ""
|
||||
check "Sonarr" "http://192.168.1.117:8989/ping" ""
|
||||
check "Radarr" "http://192.168.1.118:7878/ping" ""
|
||||
check "Prowlarr" "http://192.168.1.119:9696/ping" ""
|
||||
check "Bazarr" "http://192.168.1.120:6767/" ""
|
||||
check "Overseerr" "http://192.168.1.121:5055/api/v1/status" ""
|
||||
check "UptimeKuma" "http://192.168.1.107:3001/" ""
|
||||
check "Linkding" "http://192.168.1.127:3000/health" ""
|
||||
check "AdGuard" "http://192.168.1.107:3000/control/status" ""
|
||||
check "Plex" "http://192.168.1.116:32400/identity" ""
|
||||
|
||||
# ── ЧЕРЕЗ ДОМЕНЫ (как видит пользователь) ──
|
||||
check "домен git" "https://git.buryans.ru/" "" 12
|
||||
check "домен vault" "https://vault.buryans.ru/" "" 12
|
||||
check "домен matrix" "https://matrix.buryans.ru/_matrix/client/versions" "versions" 12
|
||||
|
||||
# ── ИТОГ ──
|
||||
if [ -z "$FAILED" ]; then
|
||||
# Всё хорошо — убираю прошлые тревоги
|
||||
if [ -f "$STATE/last-fail" ]; then
|
||||
python3 "$NOTIFY" "✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ
|
||||
Проверено: $PASSED
|
||||
Ранее сбоили: $(cat $STATE/last-fail | tr ';' ' ')" 2>/dev/null || true
|
||||
rm -f "$STATE/last-fail"
|
||||
fi
|
||||
echo "[$(date '+%H:%M:%S')] ✅ всё в порядке, проверено: $PASSED" >> "$LOG"
|
||||
exit 0
|
||||
else
|
||||
# Есть провалы
|
||||
echo "[$(date '+%H:%M:%S')] ⚠️ провалы: $FAILED" >> "$LOG"
|
||||
# Тревожу только если это НОВЫЙ провал (не повторяю каждые 5 минут)
|
||||
if [ ! -f "$STATE/last-fail" ] || [ "$(cat $STATE/last-fail)" != "$FAILED" ]; then
|
||||
echo "$FAILED" > "$STATE/last-fail"
|
||||
python3 "$NOTIFY" "⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы
|
||||
Проверено успешно: $PASSED
|
||||
|
||||
НЕ РАБОТАЕТ:
|
||||
$(echo "$FAILED" | tr ';' '\n' | sed 's/^/ • /')
|
||||
|
||||
Проверено по СМЫСЛУ (не только порт):
|
||||
служба отвечает нужным содержимым и работает с базой" 2>/dev/null || true
|
||||
else
|
||||
echo " (повтор не отправляю — тревога уже была)" >> "$LOG"
|
||||
fi
|
||||
exit 1
|
||||
fi
|
||||
Reference in new issue
Block a user