По решению владельца: политики на роутере нет, меняем адрес. БЫЛО: из CT 111 не было выхода в интернет — шлюз не отвечал, при этом все остальные хосты локальной сети были доступны. Перед этим исключил маршруты, ARP, политики маршрутизации, правила по IP/MAC/интерфейсу на хосте, firewall Proxmox (отключён), цепочки Tailscale и второй адрес на том же интерфейсе. СТАЛО: 192.168.1.111 -> 192.168.1.240 (в стороне от DHCP-диапазона: .112, .124, .128 оказались заняты устройствами). Шлюз доступен, example.com отвечает 200, службы поднялись. ВМЕСТЕ С АДРЕСОМ поправлены ссылки: настройки контейнера, внешний nginx на VPS (3), домашний nginx (3), наблюдение (3), реестр обновлений (3), карта доменов (3). ОТКРЫТИЕ: домашние домены проксирует nginx НА ХОСТЕ PVE (/etc/nginx/conf.d/buryans-all.conf, 41 домен), а не NPM в CT 101. Значит при любой смене адреса искать ссылки надо в двух местах — на VPS и на хосте. Записано в документ. Проверено: книги/новости/rss работают дома и снаружи (302), наблюдение 60 проверок без провалов.
267 lines
12 KiB
Bash
Executable File
267 lines
12 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# check-services.sh — проверки служб ПО СМЫСЛУ
|
||
# ============================================================
|
||
# Не «порт открыт», а «служба РАБОТАЕТ»:
|
||
# * отвечает ожидаемым содержимым;
|
||
# * работает с базой;
|
||
# * не отдаёт ошибку.
|
||
#
|
||
# Расписание: каждые 5 минут
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
STATE=/var/lib/buryan-checks
|
||
LOG=/var/log/buryan-hub/checks.log
|
||
NOTIFY=/opt/buryan-hub/scripts/notify.py
|
||
mkdir -p "$STATE" "$(dirname "$LOG")"
|
||
|
||
FAILED=""
|
||
PASSED=0
|
||
|
||
# Проверка: адрес, ожидаемый признак, имя
|
||
check() { # $1=имя $2=адрес $3=что искать (пусто = просто 200) $4=таймаут
|
||
local name="$1" url="$2" want="$3" t="${4:-10}"
|
||
local body code
|
||
body=$(curl -s --max-time "$t" -k "$url" 2>/dev/null)
|
||
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$t" -k "$url" 2>/dev/null)
|
||
|
||
if [ -z "$code" ] || [ "$code" = "000" ]; then
|
||
FAILED="$FAILED$name:не отвечает;"
|
||
return 1
|
||
fi
|
||
case "$code" in
|
||
200|201|204|301|302|303|307|401|403) ;;
|
||
*) FAILED="$FAILED$name:код $code;"; return 1 ;;
|
||
esac
|
||
if [ -n "$want" ]; then
|
||
if ! echo "$body" | grep -q "$want"; then
|
||
FAILED="$FAILED$name:нет '$want';"
|
||
return 1
|
||
fi
|
||
fi
|
||
PASSED=$((PASSED+1))
|
||
return 0
|
||
}
|
||
|
||
# Проверка базы: реальный запрос
|
||
check_alive() {
|
||
# Проверка служб, требующих пароль. 401 и 403 здесь — признак ЖИВОЙ
|
||
# службы, а не поломки: она отвечает, просто просит вход.
|
||
# Обычная check() такие коды считает ошибкой — отсюда были бы ложные
|
||
# тревоги, если применить её к службам с авторизацией.
|
||
local name="$1" url="$2" code
|
||
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 -k "$url" 2>/dev/null)
|
||
case "$code" in
|
||
200|201|204|301|302|401|403)
|
||
PASSED=$((PASSED+1))
|
||
return 0 ;;
|
||
""|000)
|
||
FAILED="$FAILED$name:не отвечает;"
|
||
return 1 ;;
|
||
*)
|
||
FAILED="$FAILED$name:код $code;"
|
||
return 1 ;;
|
||
esac
|
||
}
|
||
|
||
check_login() {
|
||
# Проверка 4.3.3: важно не «порт отвечает», а «страница входа отдаётся».
|
||
# Служба может отвечать 302 на корень и при этом не отдавать страницу
|
||
# входа — тогда человек видит пустоту, а наблюдение молчит.
|
||
local name="Вход Authentik" url="https://authentik.buryans.ru/"
|
||
local body code
|
||
body=$(curl -sL --max-time 25 -k "$url" 2>/dev/null)
|
||
code=$(curl -s -o /dev/null -w "%{http_code}" --max-time 25 -k -L "$url" 2>/dev/null)
|
||
if [ "$code" != "200" ]; then
|
||
FAILED="$FAILED$name:код $code;"
|
||
return 1
|
||
fi
|
||
if [ ${#body} -lt 500 ]; then
|
||
FAILED="$FAILED$name:пустой ответ;"
|
||
return 1
|
||
fi
|
||
case "$body" in
|
||
*ak-flow*|*authentik*|*authentik*|*"ak-flow"*)
|
||
PASSED=$((PASSED+1))
|
||
return 0 ;;
|
||
*)
|
||
FAILED="$FAILED$name:не похоже на страницу входа;"
|
||
return 1 ;;
|
||
esac
|
||
}
|
||
|
||
check_db() { # $1=имя $2=база $3=запрос $4=ожидаемое число
|
||
local name="$1" db="$2" q="$3" want="$4"
|
||
local got
|
||
got=$(pct exec 151 -- sudo -u postgres psql -d "$db" -tAc "$q" 2>/dev/null | tr -d ' \r')
|
||
if [ -z "$got" ]; then
|
||
FAILED="$FAILED$name:база не ответила;"
|
||
return 1
|
||
fi
|
||
if [ -n "$want" ] && [ "$got" != "$want" ]; then
|
||
FAILED="$FAILED$name:в базе $got вместо $want;"
|
||
return 1
|
||
fi
|
||
PASSED=$((PASSED+1))
|
||
return 0
|
||
}
|
||
|
||
# Проверка VPN: РАБОТАЕТ ли канал, а не «порт открыт»
|
||
# Порт может слушать, а трафик не проходить — такую картину мы уже видели,
|
||
# когда провайдер вмешивался в поток. Открытый порт об этом не говорит.
|
||
# Порт 2087 (Reality) намеренно НЕ проверяем: он не работает и занесён
|
||
# в план задачами VPN-2.3, иначе тревога будет каждые 5 минут.
|
||
check_vpn() {
|
||
local name="VPN" out
|
||
out=$(timeout 60 ssh -oBatchMode=yes -oConnectTimeout=10 \
|
||
-oStrictHostKeyChecking=no root@193.233.210.184 \
|
||
'bash /usr/local/bin/vpn-check.sh --quiet' 2>/dev/null | tr -d '\r')
|
||
if echo "$out" | grep -q '^РАБОТАЕТ'; then
|
||
PASSED=$((PASSED+1))
|
||
return 0
|
||
fi
|
||
if [ -z "$out" ]; then
|
||
FAILED="$FAILED$name:нет ответа от проверки;"
|
||
else
|
||
FAILED="$FAILED$name:$(echo "$out" | head -1 | cut -c1-90);"
|
||
fi
|
||
return 1
|
||
}
|
||
|
||
echo "[$(date '+%Y-%m-%d %H:%M:%S')] проверка служб" >> "$LOG"
|
||
|
||
# ── ОСНОВА ──
|
||
check_gateway_dns() {
|
||
# Домашний домен обязан вести на ДОМАШНИЙ сервер, иначе трафик
|
||
# уходит в интернет и возвращается — это и было причиной тормозов.
|
||
local name="DNS дома (AdGuard)" got
|
||
# DNS в доме — AdGuard (192.168.1.107). Шлюз DNS больше не делает:
|
||
# выяснилось, что AdGuard уже отдавал все 43 домашних домена, и
|
||
# второй DNS был дублем (и обходил фильтрацию рекламы).
|
||
got=$(timeout 12 dig +short +time=3 +tries=1 git.buryans.ru \
|
||
@192.168.1.107 2>/dev/null | head -1 | tr -d '\r')
|
||
if [ "$got" = "192.168.1.10" ]; then
|
||
PASSED=$((PASSED+1))
|
||
return 0
|
||
fi
|
||
FAILED="$FAILED$name:вернул '${got:-пусто}';"
|
||
return 1
|
||
}
|
||
|
||
check_gateway_tunnel() {
|
||
# Туннель шлюза: иностранный адрес должен выходить через VPS.
|
||
# Проверяю именно ВЫХОД, а не «порт открыт»: порт может слушать,
|
||
# а трафик не идти.
|
||
local name="Шлюз туннель" got
|
||
got=$(timeout 40 curl -s --max-time 30 -x http://192.168.1.161:7890 \
|
||
https://api.ipify.org 2>/dev/null | tr -d '\r\n ')
|
||
if [ "$got" = "193.233.210.184" ]; then
|
||
PASSED=$((PASSED+1))
|
||
return 0
|
||
fi
|
||
FAILED="$FAILED$name:выход '${got:-нет ответа}';"
|
||
return 1
|
||
}
|
||
|
||
check_db "PostgreSQL-базы" "postgres" "SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')" ""
|
||
check_db "Gitea-база" "gitea_db" "SELECT count(*) FROM repository" ""
|
||
check_db "Matrix-база" "matrix_db" "SELECT count(*) FROM users" ""
|
||
check_db "Пароли-база" "vaultwarden_db" "SELECT count(*) FROM users" ""
|
||
|
||
# ── СЛУЖБЫ (проверяю СОДЕРЖИМОЕ, а не только код) ──
|
||
check "Gitea" "http://192.168.1.140:3000/api/v1/version" "version"
|
||
check "Vaultwarden" "http://192.168.1.109:8081/alive" ""
|
||
check "Matrix" "http://192.168.1.155:8008/_matrix/client/versions" "versions"
|
||
check "Element" "http://192.168.1.155:8088/config.json" "Buryan"
|
||
check "Authentik" "http://192.168.1.114:9000/-/health/live/" ""
|
||
check "n8n" "http://192.168.1.108:5678/healthz" ""
|
||
check "Immich" "http://192.168.1.104:2283/api/server/ping" "pong"
|
||
check "Paperless" "http://192.168.1.105:8000/api/remote/version/" ""
|
||
check "Grafana" "http://192.168.1.113:3000/api/health" "ok"
|
||
check "Prometheus" "http://192.168.1.134:9090/-/healthy" "Healthy"
|
||
check "Alertmanager" "http://192.168.1.134:9093/" ""
|
||
check "Loki" "http://192.168.1.113:3100/ready" "ready"
|
||
check "Syncthing" "http://192.168.1.139:8384/rest/noauth/health" ""
|
||
check "Mealie" "http://192.168.1.110:9925/api/app/about" ""
|
||
check "Navidrome" "http://192.168.1.125:4533/ping" ""
|
||
check "Sonarr" "http://192.168.1.117:8989/ping" ""
|
||
check "Radarr" "http://192.168.1.118:7878/ping" ""
|
||
check "Prowlarr" "http://192.168.1.119:9696/ping" ""
|
||
check "Bazarr" "http://192.168.1.120:6767/" ""
|
||
check "Overseerr" "http://192.168.1.121:5055/api/v1/status" ""
|
||
check "UptimeKuma" "http://192.168.1.107:3001/" ""
|
||
check "Linkding" "http://192.168.1.127:3000/health" ""
|
||
check "AdGuard" "http://192.168.1.107:3000/control/status" ""
|
||
check "Plex" "http://192.168.1.116:32400/identity" ""
|
||
|
||
# ── ЧЕРЕЗ ДОМЕНЫ (как видит пользователь) ──
|
||
check "домен git" "https://git.buryans.ru/" "" 12
|
||
check "домен vault" "https://vault.buryans.ru/" "" 12
|
||
check "домен matrix" "https://matrix.buryans.ru/_matrix/client/versions" "versions" 12
|
||
|
||
# ── VPN: канал действительно пропускает трафик ──
|
||
# --- службы из реестра обновлений (добавлено 17.10.2026) ---
|
||
check "npm" "http://192.168.1.101:81/api/" ""
|
||
check "uptime-kuma" "http://192.168.1.107:3001/api/entry-page" ""
|
||
check "dashy" "http://192.168.1.102:8080/" ""
|
||
check_alive "paperless" "http://192.168.1.105:8000/api/status/"
|
||
check_alive "syncthing" "http://192.168.1.139:8384/rest/system/version"
|
||
check_alive "linkding" "http://192.168.1.127:3000/"
|
||
check "jellyfin" "http://192.168.1.103:8096/health" ""
|
||
check_alive "sonarr" "http://192.168.1.117:8989/api/v3/system/status"
|
||
check_alive "radarr" "http://192.168.1.118:7878/api/v3/system/status"
|
||
check_alive "prowlarr" "http://192.168.1.119:9696/api/v1/system/status"
|
||
check_alive "bazarr" "http://192.168.1.120:6767/api/system/status"
|
||
check "tautulli" "http://192.168.1.122:8181/status" ""
|
||
check_alive "calibre" "http://192.168.1.240:8083/"
|
||
check_alive "freshrss" "http://192.168.1.240:8090/"
|
||
check "openclaw" "http://192.168.1.115:18789/healthz" ""
|
||
check "Умный дом" "http://192.168.1.106:8123/" ""
|
||
check "Zigbee" "http://192.168.1.106:8080/" ""
|
||
check "Nextcloud" "http://192.168.1.109:8080/status.php" ""
|
||
check "Финансы" "http://192.168.1.110:8080/" ""
|
||
check_alive "Paperless (офис)" "http://192.168.1.110:8000/api/status/"
|
||
check "Копии Duplicati" "http://192.168.1.240:8200/" ""
|
||
check "Очередь NATS" "http://192.168.1.115:8222/healthz" ""
|
||
check "Тревоги" "http://192.168.1.134:9093/-/healthy" ""
|
||
check "Element" "http://192.168.1.155:8088/" ""
|
||
check "Звонки LiveKit" "http://192.168.1.155:7880/" ""
|
||
|
||
check_login
|
||
|
||
check_vpn
|
||
check_gateway_dns
|
||
check_gateway_tunnel
|
||
|
||
# ── ИТОГ ──
|
||
if [ -z "$FAILED" ]; then
|
||
# Всё хорошо — убираю прошлые тревоги
|
||
if [ -f "$STATE/last-fail" ]; then
|
||
python3 "$NOTIFY" "✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ
|
||
Проверено: $PASSED
|
||
Ранее сбоили: $(cat $STATE/last-fail | tr ';' ' ')" 2>/dev/null || true
|
||
rm -f "$STATE/last-fail"
|
||
fi
|
||
echo "[$(date '+%H:%M:%S')] ✅ всё в порядке, проверено: $PASSED" >> "$LOG"
|
||
exit 0
|
||
else
|
||
# Есть провалы
|
||
echo "[$(date '+%H:%M:%S')] ⚠️ провалы: $FAILED" >> "$LOG"
|
||
# Тревожу только если это НОВЫЙ провал (не повторяю каждые 5 минут)
|
||
if [ ! -f "$STATE/last-fail" ] || [ "$(cat $STATE/last-fail)" != "$FAILED" ]; then
|
||
echo "$FAILED" > "$STATE/last-fail"
|
||
python3 "$NOTIFY" "⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы
|
||
Проверено успешно: $PASSED
|
||
|
||
НЕ РАБОТАЕТ:
|
||
$(echo "$FAILED" | tr ';' '\n' | sed 's/^/ • /')
|
||
|
||
Проверено по СМЫСЛУ (не только порт):
|
||
служба отвечает нужным содержимым и работает с базой" 2>/dev/null || true
|
||
else
|
||
echo " (повтор не отправляю — тревога уже была)" >> "$LOG"
|
||
fi
|
||
exit 1
|
||
fi
|