Files
buryan-infra/ops/monitoring/check-services.sh
T

134 lines
6.1 KiB
Bash
Executable File

#!/bin/bash
# ============================================================
# check-services.sh — проверки служб ПО СМЫСЛУ
# ============================================================
# Не «порт открыт», а «служба РАБОТАЕТ»:
# * отвечает ожидаемым содержимым;
# * работает с базой;
# * не отдаёт ошибку.
#
# Расписание: каждые 5 минут
# ============================================================
set -uo pipefail
STATE=/var/lib/buryan-checks
LOG=/var/log/buryan-hub/checks.log
NOTIFY=/opt/buryan-hub/scripts/notify.py
mkdir -p "$STATE" "$(dirname "$LOG")"
FAILED=""
PASSED=0
# Проверка: адрес, ожидаемый признак, имя
check() { # $1=имя $2=адрес $3=что искать (пусто = просто 200) $4=таймаут
local name="$1" url="$2" want="$3" t="${4:-10}"
local body code
body=$(curl -s --max-time "$t" -k "$url" 2>/dev/null)
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$t" -k "$url" 2>/dev/null)
if [ -z "$code" ] || [ "$code" = "000" ]; then
FAILED="$FAILED$name:не отвечает;"
return 1
fi
case "$code" in
200|201|204|301|302|303|307|401|403) ;;
*) FAILED="$FAILED$name:код $code;"; return 1 ;;
esac
if [ -n "$want" ]; then
if ! echo "$body" | grep -q "$want"; then
FAILED="$FAILED$name:нет '$want';"
return 1
fi
fi
PASSED=$((PASSED+1))
return 0
}
# Проверка базы: реальный запрос
check_db() { # $1=имя $2=база $3=запрос $4=ожидаемое число
local name="$1" db="$2" q="$3" want="$4"
local got
got=$(pct exec 151 -- sudo -u postgres psql -d "$db" -tAc "$q" 2>/dev/null | tr -d ' \r')
if [ -z "$got" ]; then
FAILED="$FAILED$name:база не ответила;"
return 1
fi
if [ -n "$want" ] && [ "$got" != "$want" ]; then
FAILED="$FAILED$name:в базе $got вместо $want;"
return 1
fi
PASSED=$((PASSED+1))
return 0
}
echo "[$(date '+%Y-%m-%d %H:%M:%S')] проверка служб" >> "$LOG"
# ── ОСНОВА ──
check "PostgreSQL" "http://192.168.1.151:5432" "" 3 # порт (для формы)
check_db "PostgreSQL-базы" "postgres" "SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')" ""
check_db "Gitea-база" "gitea_db" "SELECT count(*) FROM repository" ""
check_db "Matrix-база" "matrix_db" "SELECT count(*) FROM users" ""
check_db "Пароли-база" "vaultwarden_db" "SELECT count(*) FROM users" ""
# ── СЛУЖБЫ (проверяю СОДЕРЖИМОЕ, а не только код) ──
check "Gitea" "http://192.168.1.140:3000/api/v1/version" "version"
check "Vaultwarden" "http://192.168.1.109:8081/alive" ""
check "Matrix" "http://192.168.1.155:8008/_matrix/client/versions" "versions"
check "Element" "http://192.168.1.155:8088/" "Buryan"
check "Authentik" "http://192.168.1.114:9000/-/health/live/" ""
check "n8n" "http://192.168.1.108:5678/healthz" ""
check "Immich" "http://192.168.1.104:2283/api/server/ping" "pong"
check "Paperless" "http://192.168.1.105:8000/api/remote/version/" ""
check "Grafana" "http://192.168.1.113:3000/api/health" "ok"
check "Prometheus" "http://192.168.1.134:9090/-/healthy" "Healthy"
check "Alertmanager" "http://192.168.1.134:9093/-/healthy" ""
check "Loki" "http://192.168.1.113:3100/ready" "ready"
check "Syncthing" "http://192.168.1.139:8384/rest/noauth/health" ""
check "Mealie" "http://192.168.1.110:9925/api/app/about" ""
check "Navidrome" "http://192.168.1.125:4533/ping" ""
check "Sonarr" "http://192.168.1.117:8989/ping" ""
check "Radarr" "http://192.168.1.118:7878/ping" ""
check "Prowlarr" "http://192.168.1.119:9696/ping" ""
check "Bazarr" "http://192.168.1.120:6767/" ""
check "Overseerr" "http://192.168.1.121:5055/api/v1/status" ""
check "UptimeKuma" "http://192.168.1.107:3001/" ""
check "Linkding" "http://192.168.1.127:3000/health" ""
check "AdGuard" "http://192.168.1.107:3000/control/status" ""
check "Plex" "http://192.168.1.116:32400/identity" ""
# ── ЧЕРЕЗ ДОМЕНЫ (как видит пользователь) ──
check "домен git" "https://git.buryans.ru/" "" 12
check "домен vault" "https://vault.buryans.ru/" "" 12
check "домен matrix" "https://matrix.buryans.ru/_matrix/client/versions" "versions" 12
# ── ИТОГ ──
if [ -z "$FAILED" ]; then
# Всё хорошо — убираю прошлые тревоги
if [ -f "$STATE/last-fail" ]; then
python3 "$NOTIFY" "✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ
Проверено: $PASSED
Ранее сбоили: $(cat $STATE/last-fail | tr ';' ' ')" 2>/dev/null || true
rm -f "$STATE/last-fail"
fi
echo "[$(date '+%H:%M:%S')] ✅ всё в порядке, проверено: $PASSED" >> "$LOG"
exit 0
else
# Есть провалы
echo "[$(date '+%H:%M:%S')] ⚠️ провалы: $FAILED" >> "$LOG"
# Тревожу только если это НОВЫЙ провал (не повторяю каждые 5 минут)
if [ ! -f "$STATE/last-fail" ] || [ "$(cat $STATE/last-fail)" != "$FAILED" ]; then
echo "$FAILED" > "$STATE/last-fail"
python3 "$NOTIFY" "⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы
Проверено успешно: $PASSED
НЕ РАБОТАЕТ:
$(echo "$FAILED" | tr ';' '\n' | sed 's/^/ • /')
Проверено по СМЫСЛУ (не только порт):
служба отвечает нужным содержимым и работает с базой" 2>/dev/null || true
else
echo " (повтор не отправляю — тревога уже была)" >> "$LOG"
fi
exit 1
fi