#!/bin/bash # ============================================================ # check-services.sh — проверки служб ПО СМЫСЛУ # ============================================================ # Не «порт открыт», а «служба РАБОТАЕТ»: # * отвечает ожидаемым содержимым; # * работает с базой; # * не отдаёт ошибку. # # Расписание: каждые 5 минут # ============================================================ set -uo pipefail STATE=/var/lib/buryan-checks LOG=/var/log/buryan-hub/checks.log NOTIFY=/opt/buryan-hub/scripts/notify.py mkdir -p "$STATE" "$(dirname "$LOG")" FAILED="" PASSED=0 # Проверка: адрес, ожидаемый признак, имя check() { # $1=имя $2=адрес $3=что искать (пусто = просто 200) $4=таймаут local name="$1" url="$2" want="$3" t="${4:-10}" local body code body=$(curl -s --max-time "$t" -k "$url" 2>/dev/null) code=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$t" -k "$url" 2>/dev/null) if [ -z "$code" ] || [ "$code" = "000" ]; then FAILED="$FAILED$name:не отвечает;" return 1 fi case "$code" in 200|201|204|301|302|303|307|401|403) ;; *) FAILED="$FAILED$name:код $code;"; return 1 ;; esac if [ -n "$want" ]; then if ! echo "$body" | grep -q "$want"; then FAILED="$FAILED$name:нет '$want';" return 1 fi fi PASSED=$((PASSED+1)) return 0 } # Проверка базы: реальный запрос check_db() { # $1=имя $2=база $3=запрос $4=ожидаемое число local name="$1" db="$2" q="$3" want="$4" local got got=$(pct exec 151 -- sudo -u postgres psql -d "$db" -tAc "$q" 2>/dev/null | tr -d ' \r') if [ -z "$got" ]; then FAILED="$FAILED$name:база не ответила;" return 1 fi if [ -n "$want" ] && [ "$got" != "$want" ]; then FAILED="$FAILED$name:в базе $got вместо $want;" return 1 fi PASSED=$((PASSED+1)) return 0 } echo "[$(date '+%Y-%m-%d %H:%M:%S')] проверка служб" >> "$LOG" # ── ОСНОВА ── check_db "PostgreSQL-базы" "postgres" "SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')" "" check_db "Gitea-база" "gitea_db" "SELECT count(*) FROM repository" "" check_db "Matrix-база" "matrix_db" "SELECT count(*) FROM users" "" check_db "Пароли-база" "vaultwarden_db" "SELECT count(*) FROM users" "" # ── СЛУЖБЫ (проверяю СОДЕРЖИМОЕ, а не только код) ── check "Gitea" "http://192.168.1.140:3000/api/v1/version" "version" check "Vaultwarden" "http://192.168.1.109:8081/alive" "" check "Matrix" "http://192.168.1.155:8008/_matrix/client/versions" "versions" check "Element" "http://192.168.1.155:8088/config.json" "Buryan" check "Authentik" "http://192.168.1.114:9000/-/health/live/" "" check "n8n" "http://192.168.1.108:5678/healthz" "" check "Immich" "http://192.168.1.104:2283/api/server/ping" "pong" check "Paperless" "http://192.168.1.105:8000/api/remote/version/" "" check "Grafana" "http://192.168.1.113:3000/api/health" "ok" check "Prometheus" "http://192.168.1.134:9090/-/healthy" "Healthy" check "Alertmanager" "http://192.168.1.134:9093/" "" check "Loki" "http://192.168.1.113:3100/ready" "ready" check "Syncthing" "http://192.168.1.139:8384/rest/noauth/health" "" check "Mealie" "http://192.168.1.110:9925/api/app/about" "" check "Navidrome" "http://192.168.1.125:4533/ping" "" check "Sonarr" "http://192.168.1.117:8989/ping" "" check "Radarr" "http://192.168.1.118:7878/ping" "" check "Prowlarr" "http://192.168.1.119:9696/ping" "" check "Bazarr" "http://192.168.1.120:6767/" "" check "Overseerr" "http://192.168.1.121:5055/api/v1/status" "" check "UptimeKuma" "http://192.168.1.107:3001/" "" check "Linkding" "http://192.168.1.127:3000/health" "" check "AdGuard" "http://192.168.1.107:3000/control/status" "" check "Plex" "http://192.168.1.116:32400/identity" "" # ── ЧЕРЕЗ ДОМЕНЫ (как видит пользователь) ── check "домен git" "https://git.buryans.ru/" "" 12 check "домен vault" "https://vault.buryans.ru/" "" 12 check "домен matrix" "https://matrix.buryans.ru/_matrix/client/versions" "versions" 12 # ── ИТОГ ── if [ -z "$FAILED" ]; then # Всё хорошо — убираю прошлые тревоги if [ -f "$STATE/last-fail" ]; then python3 "$NOTIFY" "✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ Проверено: $PASSED Ранее сбоили: $(cat $STATE/last-fail | tr ';' ' ')" 2>/dev/null || true rm -f "$STATE/last-fail" fi echo "[$(date '+%H:%M:%S')] ✅ всё в порядке, проверено: $PASSED" >> "$LOG" exit 0 else # Есть провалы echo "[$(date '+%H:%M:%S')] ⚠️ провалы: $FAILED" >> "$LOG" # Тревожу только если это НОВЫЙ провал (не повторяю каждые 5 минут) if [ ! -f "$STATE/last-fail" ] || [ "$(cat $STATE/last-fail)" != "$FAILED" ]; then echo "$FAILED" > "$STATE/last-fail" python3 "$NOTIFY" "⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы Проверено успешно: $PASSED НЕ РАБОТАЕТ: $(echo "$FAILED" | tr ';' '\n' | sed 's/^/ • /') Проверено по СМЫСЛУ (не только порт): служба отвечает нужным содержимым и работает с базой" 2>/dev/null || true else echo " (повтор не отправляю — тревога уже была)" >> "$LOG" fi exit 1 fi