#!/bin/bash # ============================================================ # check-services.sh — проверки служб ПО СМЫСЛУ # ============================================================ # Не «порт открыт», а «служба РАБОТАЕТ»: # * отвечает ожидаемым содержимым; # * работает с базой; # * не отдаёт ошибку. # # Расписание: каждые 5 минут # ============================================================ set -uo pipefail STATE=/var/lib/buryan-checks LOG=/var/log/buryan-hub/checks.log NOTIFY=/opt/buryan-hub/scripts/notify.py mkdir -p "$STATE" "$(dirname "$LOG")" FAILED="" PASSED=0 # Проверка: адрес, ожидаемый признак, имя check() { # $1=имя $2=адрес $3=что искать (пусто = просто 200) $4=таймаут local name="$1" url="$2" want="$3" t="${4:-10}" local body code body=$(curl -s --max-time "$t" -k "$url" 2>/dev/null) code=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$t" -k "$url" 2>/dev/null) if [ -z "$code" ] || [ "$code" = "000" ]; then FAILED="$FAILED$name:не отвечает;" return 1 fi case "$code" in 200|201|204|301|302|303|307|401|403) ;; *) FAILED="$FAILED$name:код $code;"; return 1 ;; esac if [ -n "$want" ]; then if ! echo "$body" | grep -q "$want"; then FAILED="$FAILED$name:нет '$want';" return 1 fi fi PASSED=$((PASSED+1)) return 0 } # Проверка базы: реальный запрос check_alive() { # Проверка служб, требующих пароль. 401 и 403 здесь — признак ЖИВОЙ # службы, а не поломки: она отвечает, просто просит вход. # Обычная check() такие коды считает ошибкой — отсюда были бы ложные # тревоги, если применить её к службам с авторизацией. local name="$1" url="$2" code code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 -k "$url" 2>/dev/null) case "$code" in 200|201|204|301|302|401|403) PASSED=$((PASSED+1)) return 0 ;; ""|000) FAILED="$FAILED$name:не отвечает;" return 1 ;; *) FAILED="$FAILED$name:код $code;" return 1 ;; esac } check_login() { # Проверка 4.3.3: важно не «порт отвечает», а «страница входа отдаётся». # Служба может отвечать 302 на корень и при этом не отдавать страницу # входа — тогда человек видит пустоту, а наблюдение молчит. local name="Вход Authentik" url="https://authentik.buryans.ru/" local body code body=$(curl -sL --max-time 25 -k "$url" 2>/dev/null) code=$(curl -s -o /dev/null -w "%{http_code}" --max-time 25 -k -L "$url" 2>/dev/null) if [ "$code" != "200" ]; then FAILED="$FAILED$name:код $code;" return 1 fi if [ ${#body} -lt 500 ]; then FAILED="$FAILED$name:пустой ответ;" return 1 fi case "$body" in *ak-flow*|*authentik*|*authentik*|*"ak-flow"*) PASSED=$((PASSED+1)) return 0 ;; *) FAILED="$FAILED$name:не похоже на страницу входа;" return 1 ;; esac } check_db() { # $1=имя $2=база $3=запрос $4=ожидаемое число local name="$1" db="$2" q="$3" want="$4" local got got=$(pct exec 151 -- sudo -u postgres psql -d "$db" -tAc "$q" 2>/dev/null | tr -d ' \r') if [ -z "$got" ]; then FAILED="$FAILED$name:база не ответила;" return 1 fi if [ -n "$want" ] && [ "$got" != "$want" ]; then FAILED="$FAILED$name:в базе $got вместо $want;" return 1 fi PASSED=$((PASSED+1)) return 0 } # Проверка VPN: РАБОТАЕТ ли канал, а не «порт открыт» # Порт может слушать, а трафик не проходить — такую картину мы уже видели, # когда провайдер вмешивался в поток. Открытый порт об этом не говорит. # Порт 2087 (Reality) намеренно НЕ проверяем: он не работает и занесён # в план задачами VPN-2.3, иначе тревога будет каждые 5 минут. check_vpn() { local name="VPN" out out=$(timeout 60 ssh -oBatchMode=yes -oConnectTimeout=10 \ -oStrictHostKeyChecking=no root@193.233.210.184 \ 'bash /usr/local/bin/vpn-check.sh --quiet' 2>/dev/null | tr -d '\r') if echo "$out" | grep -q '^РАБОТАЕТ'; then PASSED=$((PASSED+1)) return 0 fi if [ -z "$out" ]; then FAILED="$FAILED$name:нет ответа от проверки;" else FAILED="$FAILED$name:$(echo "$out" | head -1 | cut -c1-90);" fi return 1 } echo "[$(date '+%Y-%m-%d %H:%M:%S')] проверка служб" >> "$LOG" # ── ОСНОВА ── check_gateway_dns() { # Домашний домен обязан вести на ДОМАШНИЙ сервер, иначе трафик # уходит в интернет и возвращается — это и было причиной тормозов. local name="DNS дома (AdGuard)" got # DNS в доме — AdGuard (192.168.1.107). Шлюз DNS больше не делает: # выяснилось, что AdGuard уже отдавал все 43 домашних домена, и # второй DNS был дублем (и обходил фильтрацию рекламы). got=$(timeout 12 dig +short +time=3 +tries=1 git.buryans.ru \ @192.168.1.107 2>/dev/null | head -1 | tr -d '\r') if [ "$got" = "192.168.1.10" ]; then PASSED=$((PASSED+1)) return 0 fi FAILED="$FAILED$name:вернул '${got:-пусто}';" return 1 } check_gateway_tunnel() { # Туннель шлюза: иностранный адрес должен выходить через VPS. # Проверяю именно ВЫХОД, а не «порт открыт»: порт может слушать, # а трафик не идти. local name="Шлюз туннель" got got=$(timeout 40 curl -s --max-time 30 -x http://192.168.1.161:7890 \ https://api.ipify.org 2>/dev/null | tr -d '\r\n ') if [ "$got" = "193.233.210.184" ]; then PASSED=$((PASSED+1)) return 0 fi FAILED="$FAILED$name:выход '${got:-нет ответа}';" return 1 } check_db "PostgreSQL-базы" "postgres" "SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')" "" check_db "Gitea-база" "gitea_db" "SELECT count(*) FROM repository" "" check_db "Matrix-база" "matrix_db" "SELECT count(*) FROM users" "" check_db "Пароли-база" "vaultwarden_db" "SELECT count(*) FROM users" "" # ── СЛУЖБЫ (проверяю СОДЕРЖИМОЕ, а не только код) ── check "Gitea" "http://192.168.1.140:3000/api/v1/version" "version" check "Vaultwarden" "http://192.168.1.109:8081/alive" "" check "Matrix" "http://192.168.1.155:8008/_matrix/client/versions" "versions" check "Element" "http://192.168.1.155:8088/config.json" "Buryan" check "Authentik" "http://192.168.1.114:9000/-/health/live/" "" check "n8n" "http://192.168.1.108:5678/healthz" "" check "Immich" "http://192.168.1.104:2283/api/server/ping" "pong" check "Paperless" "http://192.168.1.105:8000/api/remote/version/" "" check "Grafana" "http://192.168.1.113:3000/api/health" "ok" check "Prometheus" "http://192.168.1.134:9090/-/healthy" "Healthy" check "Alertmanager" "http://192.168.1.134:9093/" "" check "Loki" "http://192.168.1.113:3100/ready" "ready" check "Syncthing" "http://192.168.1.139:8384/rest/noauth/health" "" check "Mealie" "http://192.168.1.110:9925/api/app/about" "" check "Navidrome" "http://192.168.1.125:4533/ping" "" check "Sonarr" "http://192.168.1.117:8989/ping" "" check "Radarr" "http://192.168.1.118:7878/ping" "" check "Prowlarr" "http://192.168.1.119:9696/ping" "" check "Bazarr" "http://192.168.1.120:6767/" "" check "Overseerr" "http://192.168.1.121:5055/api/v1/status" "" check "UptimeKuma" "http://192.168.1.107:3001/" "" check "Linkding" "http://192.168.1.127:3000/health" "" check "AdGuard" "http://192.168.1.107:3000/control/status" "" check "Plex" "http://192.168.1.116:32400/identity" "" # ── ЧЕРЕЗ ДОМЕНЫ (как видит пользователь) ── check "домен git" "https://git.buryans.ru/" "" 12 check "домен vault" "https://vault.buryans.ru/" "" 12 check "домен matrix" "https://matrix.buryans.ru/_matrix/client/versions" "versions" 12 # ── VPN: канал действительно пропускает трафик ── # --- службы из реестра обновлений (добавлено 17.10.2026) --- check "uptime-kuma" "http://192.168.1.107:3001/api/entry-page" "" check "dashy" "http://192.168.1.102:8080/" "" check_alive "paperless" "http://192.168.1.105:8000/api/status/" check_alive "syncthing" "http://192.168.1.139:8384/rest/system/version" check_alive "linkding" "http://192.168.1.127:3000/" check "jellyfin" "http://192.168.1.103:8096/health" "" check_alive "sonarr" "http://192.168.1.117:8989/api/v3/system/status" check_alive "radarr" "http://192.168.1.118:7878/api/v3/system/status" check_alive "prowlarr" "http://192.168.1.119:9696/api/v1/system/status" check_alive "bazarr" "http://192.168.1.120:6767/api/system/status" check "tautulli" "http://192.168.1.122:8181/status" "" check_alive "calibre" "http://192.168.1.240:8083/" check_alive "freshrss" "http://192.168.1.240:8090/" check "openclaw" "http://192.168.1.115:18789/healthz" "" check "Умный дом" "http://192.168.1.106:8123/" "" check "Zigbee" "http://192.168.1.106:8080/" "" check "Nextcloud" "http://192.168.1.109:8080/status.php" "" check "Финансы" "http://192.168.1.110:8080/" "" check "Копии Duplicati" "http://192.168.1.240:8200/" "" check "Очередь NATS" "http://192.168.1.115:8222/healthz" "" check "Тревоги" "http://192.168.1.134:9093/-/healthy" "" check "Element" "http://192.168.1.155:8088/" "" check "Звонки LiveKit" "http://192.168.1.155:7880/" "" check_login check_vpn check_gateway_dns check_gateway_tunnel # ── ИТОГ ── if [ -z "$FAILED" ]; then # Всё хорошо — убираю прошлые тревоги if [ -f "$STATE/last-fail" ]; then python3 "$NOTIFY" "✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ Проверено: $PASSED Ранее сбоили: $(cat $STATE/last-fail | tr ';' ' ')" 2>/dev/null || true rm -f "$STATE/last-fail" fi echo "[$(date '+%H:%M:%S')] ✅ всё в порядке, проверено: $PASSED" >> "$LOG" exit 0 else # Есть провалы echo "[$(date '+%H:%M:%S')] ⚠️ провалы: $FAILED" >> "$LOG" # Тревожу только если это НОВЫЙ провал (не повторяю каждые 5 минут) if [ ! -f "$STATE/last-fail" ] || [ "$(cat $STATE/last-fail)" != "$FAILED" ]; then echo "$FAILED" > "$STATE/last-fail" python3 "$NOTIFY" "⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы Проверено успешно: $PASSED НЕ РАБОТАЕТ: $(echo "$FAILED" | tr ';' '\n' | sed 's/^/ • /') Проверено по СМЫСЛУ (не только порт): служба отвечает нужным содержимым и работает с базой" 2>/dev/null || true else echo " (повтор не отправляю — тревога уже была)" >> "$LOG" fi exit 1 fi