Files
buryan-infra/ops/monitoring/check-services.sh
T
root 7347cf476a Автоматика: профиль безопасности в одном месте, уборка по расписанию,
проверка входа (1.2, 1.7, 4.3.3)

1.2 ПРОФИЛЬ БЕЗОПАСНОСТИ. apparmor=unconfined — ослабление изоляции,
нужное только там, где LXC мешает Docker. Такие места легко забыть:
после обновления стека служба просто не поднимается.
Сделан ops/security/apparmor-manage.sh — единственный источник правды:
измеряет, кому обход нужен, показывает где прописан, правит только по
флагу --apply.
ИЗМЕРЕНО (26 контейнеров с Docker): обход нужен только CT 115 и CT 140,
и в обоих уже прописан. Остальным 24 не нужен.

МОЯ ОШИБКА: первая версия проверки запускала docker run hello-world.
Если образа нет локально, Docker идёт в реестр и падает с TLS handshake
timeout — это НЕ про AppArmor. Получил ложное срабатывание на CT 108.
Исправлено: беру локальный образ, считаю «нужен обход» только если в
ошибке есть apparmor.

1.7 УБОРКА ОСТАТКОВ. cleanup-leftovers.sh раз в неделю убирает
контейнеры с -old- в имени, которые остановлены или крутятся в петле,
плюс висячие образы. Работающие не трогает: в CT 115 openclaw-old —
действующий экземпляр. Первый прогон освободил несколько ГБ.
Расписание: /etc/cron.d/buryan-cleanup.

4.3.3 ПРОВЕРКА ВХОДА. Добавлена check_login(): служба может отвечать
302 на корень и не отдавать страницу входа — человек видит пустоту, а
наблюдение молчит. Проверяет код 200 после переходов, непустое тело и
признаки страницы Authentik.
Наблюдение: 59 -> 60 проверок, все проходят.
2026-10-17 15:33:32 +03:00

267 lines
12 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# check-services.sh — проверки служб ПО СМЫСЛУ
# ============================================================
# Не «порт открыт», а «служба РАБОТАЕТ»:
# * отвечает ожидаемым содержимым;
# * работает с базой;
# * не отдаёт ошибку.
#
# Расписание: каждые 5 минут
# ============================================================
set -uo pipefail
STATE=/var/lib/buryan-checks
LOG=/var/log/buryan-hub/checks.log
NOTIFY=/opt/buryan-hub/scripts/notify.py
mkdir -p "$STATE" "$(dirname "$LOG")"
FAILED=""
PASSED=0
# Проверка: адрес, ожидаемый признак, имя
check() { # $1=имя $2=адрес $3=что искать (пусто = просто 200) $4=таймаут
local name="$1" url="$2" want="$3" t="${4:-10}"
local body code
body=$(curl -s --max-time "$t" -k "$url" 2>/dev/null)
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$t" -k "$url" 2>/dev/null)
if [ -z "$code" ] || [ "$code" = "000" ]; then
FAILED="$FAILED$name:не отвечает;"
return 1
fi
case "$code" in
200|201|204|301|302|303|307|401|403) ;;
*) FAILED="$FAILED$name:код $code;"; return 1 ;;
esac
if [ -n "$want" ]; then
if ! echo "$body" | grep -q "$want"; then
FAILED="$FAILED$name:нет '$want';"
return 1
fi
fi
PASSED=$((PASSED+1))
return 0
}
# Проверка базы: реальный запрос
check_alive() {
# Проверка служб, требующих пароль. 401 и 403 здесь — признак ЖИВОЙ
# службы, а не поломки: она отвечает, просто просит вход.
# Обычная check() такие коды считает ошибкой — отсюда были бы ложные
# тревоги, если применить её к службам с авторизацией.
local name="$1" url="$2" code
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 -k "$url" 2>/dev/null)
case "$code" in
200|201|204|301|302|401|403)
PASSED=$((PASSED+1))
return 0 ;;
""|000)
FAILED="$FAILED$name:не отвечает;"
return 1 ;;
*)
FAILED="$FAILED$name:код $code;"
return 1 ;;
esac
}
check_login() {
# Проверка 4.3.3: важно не «порт отвечает», а «страница входа отдаётся».
# Служба может отвечать 302 на корень и при этом не отдавать страницу
# входа — тогда человек видит пустоту, а наблюдение молчит.
local name="Вход Authentik" url="https://authentik.buryans.ru/"
local body code
body=$(curl -sL --max-time 25 -k "$url" 2>/dev/null)
code=$(curl -s -o /dev/null -w "%{http_code}" --max-time 25 -k -L "$url" 2>/dev/null)
if [ "$code" != "200" ]; then
FAILED="$FAILED$name:код $code;"
return 1
fi
if [ ${#body} -lt 500 ]; then
FAILED="$FAILED$name:пустой ответ;"
return 1
fi
case "$body" in
*ak-flow*|*authentik*|*authentik*|*"ak-flow"*)
PASSED=$((PASSED+1))
return 0 ;;
*)
FAILED="$FAILED$name:не похоже на страницу входа;"
return 1 ;;
esac
}
check_db() { # $1=имя $2=база $3=запрос $4=ожидаемое число
local name="$1" db="$2" q="$3" want="$4"
local got
got=$(pct exec 151 -- sudo -u postgres psql -d "$db" -tAc "$q" 2>/dev/null | tr -d ' \r')
if [ -z "$got" ]; then
FAILED="$FAILED$name:база не ответила;"
return 1
fi
if [ -n "$want" ] && [ "$got" != "$want" ]; then
FAILED="$FAILED$name:в базе $got вместо $want;"
return 1
fi
PASSED=$((PASSED+1))
return 0
}
# Проверка VPN: РАБОТАЕТ ли канал, а не «порт открыт»
# Порт может слушать, а трафик не проходить — такую картину мы уже видели,
# когда провайдер вмешивался в поток. Открытый порт об этом не говорит.
# Порт 2087 (Reality) намеренно НЕ проверяем: он не работает и занесён
# в план задачами VPN-2.3, иначе тревога будет каждые 5 минут.
check_vpn() {
local name="VPN" out
out=$(timeout 60 ssh -oBatchMode=yes -oConnectTimeout=10 \
-oStrictHostKeyChecking=no root@193.233.210.184 \
'bash /usr/local/bin/vpn-check.sh --quiet' 2>/dev/null | tr -d '\r')
if echo "$out" | grep -q '^РАБОТАЕТ'; then
PASSED=$((PASSED+1))
return 0
fi
if [ -z "$out" ]; then
FAILED="$FAILED$name:нет ответа от проверки;"
else
FAILED="$FAILED$name:$(echo "$out" | head -1 | cut -c1-90);"
fi
return 1
}
echo "[$(date '+%Y-%m-%d %H:%M:%S')] проверка служб" >> "$LOG"
# ── ОСНОВА ──
check_gateway_dns() {
# Домашний домен обязан вести на ДОМАШНИЙ сервер, иначе трафик
# уходит в интернет и возвращается — это и было причиной тормозов.
local name="DNS дома (AdGuard)" got
# DNS в доме — AdGuard (192.168.1.107). Шлюз DNS больше не делает:
# выяснилось, что AdGuard уже отдавал все 43 домашних домена, и
# второй DNS был дублем (и обходил фильтрацию рекламы).
got=$(timeout 12 dig +short +time=3 +tries=1 git.buryans.ru \
@192.168.1.107 2>/dev/null | head -1 | tr -d '\r')
if [ "$got" = "192.168.1.10" ]; then
PASSED=$((PASSED+1))
return 0
fi
FAILED="$FAILED$name:вернул '${got:-пусто}';"
return 1
}
check_gateway_tunnel() {
# Туннель шлюза: иностранный адрес должен выходить через VPS.
# Проверяю именно ВЫХОД, а не «порт открыт»: порт может слушать,
# а трафик не идти.
local name="Шлюз туннель" got
got=$(timeout 40 curl -s --max-time 30 -x http://192.168.1.161:7890 \
https://api.ipify.org 2>/dev/null | tr -d '\r\n ')
if [ "$got" = "193.233.210.184" ]; then
PASSED=$((PASSED+1))
return 0
fi
FAILED="$FAILED$name:выход '${got:-нет ответа}';"
return 1
}
check_db "PostgreSQL-базы" "postgres" "SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')" ""
check_db "Gitea-база" "gitea_db" "SELECT count(*) FROM repository" ""
check_db "Matrix-база" "matrix_db" "SELECT count(*) FROM users" ""
check_db "Пароли-база" "vaultwarden_db" "SELECT count(*) FROM users" ""
# ── СЛУЖБЫ (проверяю СОДЕРЖИМОЕ, а не только код) ──
check "Gitea" "http://192.168.1.140:3000/api/v1/version" "version"
check "Vaultwarden" "http://192.168.1.109:8081/alive" ""
check "Matrix" "http://192.168.1.155:8008/_matrix/client/versions" "versions"
check "Element" "http://192.168.1.155:8088/config.json" "Buryan"
check "Authentik" "http://192.168.1.114:9000/-/health/live/" ""
check "n8n" "http://192.168.1.108:5678/healthz" ""
check "Immich" "http://192.168.1.104:2283/api/server/ping" "pong"
check "Paperless" "http://192.168.1.105:8000/api/remote/version/" ""
check "Grafana" "http://192.168.1.113:3000/api/health" "ok"
check "Prometheus" "http://192.168.1.134:9090/-/healthy" "Healthy"
check "Alertmanager" "http://192.168.1.134:9093/" ""
check "Loki" "http://192.168.1.113:3100/ready" "ready"
check "Syncthing" "http://192.168.1.139:8384/rest/noauth/health" ""
check "Mealie" "http://192.168.1.110:9925/api/app/about" ""
check "Navidrome" "http://192.168.1.125:4533/ping" ""
check "Sonarr" "http://192.168.1.117:8989/ping" ""
check "Radarr" "http://192.168.1.118:7878/ping" ""
check "Prowlarr" "http://192.168.1.119:9696/ping" ""
check "Bazarr" "http://192.168.1.120:6767/" ""
check "Overseerr" "http://192.168.1.121:5055/api/v1/status" ""
check "UptimeKuma" "http://192.168.1.107:3001/" ""
check "Linkding" "http://192.168.1.127:3000/health" ""
check "AdGuard" "http://192.168.1.107:3000/control/status" ""
check "Plex" "http://192.168.1.116:32400/identity" ""
# ── ЧЕРЕЗ ДОМЕНЫ (как видит пользователь) ──
check "домен git" "https://git.buryans.ru/" "" 12
check "домен vault" "https://vault.buryans.ru/" "" 12
check "домен matrix" "https://matrix.buryans.ru/_matrix/client/versions" "versions" 12
# ── VPN: канал действительно пропускает трафик ──
# --- службы из реестра обновлений (добавлено 17.10.2026) ---
check "npm" "http://192.168.1.101:81/api/" ""
check "uptime-kuma" "http://192.168.1.107:3001/api/entry-page" ""
check "dashy" "http://192.168.1.102:8080/" ""
check_alive "paperless" "http://192.168.1.105:8000/api/status/"
check_alive "syncthing" "http://192.168.1.139:8384/rest/system/version"
check_alive "linkding" "http://192.168.1.127:3000/"
check "jellyfin" "http://192.168.1.103:8096/health" ""
check_alive "sonarr" "http://192.168.1.117:8989/api/v3/system/status"
check_alive "radarr" "http://192.168.1.118:7878/api/v3/system/status"
check_alive "prowlarr" "http://192.168.1.119:9696/api/v1/system/status"
check_alive "bazarr" "http://192.168.1.120:6767/api/system/status"
check "tautulli" "http://192.168.1.122:8181/status" ""
check_alive "calibre" "http://192.168.1.111:8083/"
check_alive "freshrss" "http://192.168.1.111:8090/"
check "openclaw" "http://192.168.1.115:18789/healthz" ""
check "Умный дом" "http://192.168.1.106:8123/" ""
check "Zigbee" "http://192.168.1.106:8080/" ""
check "Nextcloud" "http://192.168.1.109:8080/status.php" ""
check "Финансы" "http://192.168.1.110:8080/" ""
check_alive "Paperless (офис)" "http://192.168.1.110:8000/api/status/"
check "Копии Duplicati" "http://192.168.1.111:8200/" ""
check "Очередь NATS" "http://192.168.1.115:8222/healthz" ""
check "Тревоги" "http://192.168.1.134:9093/-/healthy" ""
check "Element" "http://192.168.1.155:8088/" ""
check "Звонки LiveKit" "http://192.168.1.155:7880/" ""
check_login
check_vpn
check_gateway_dns
check_gateway_tunnel
# ── ИТОГ ──
if [ -z "$FAILED" ]; then
# Всё хорошо — убираю прошлые тревоги
if [ -f "$STATE/last-fail" ]; then
python3 "$NOTIFY" "✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ
Проверено: $PASSED
Ранее сбоили: $(cat $STATE/last-fail | tr ';' ' ')" 2>/dev/null || true
rm -f "$STATE/last-fail"
fi
echo "[$(date '+%H:%M:%S')] ✅ всё в порядке, проверено: $PASSED" >> "$LOG"
exit 0
else
# Есть провалы
echo "[$(date '+%H:%M:%S')] ⚠️ провалы: $FAILED" >> "$LOG"
# Тревожу только если это НОВЫЙ провал (не повторяю каждые 5 минут)
if [ ! -f "$STATE/last-fail" ] || [ "$(cat $STATE/last-fail)" != "$FAILED" ]; then
echo "$FAILED" > "$STATE/last-fail"
python3 "$NOTIFY" "⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы
Проверено успешно: $PASSED
НЕ РАБОТАЕТ:
$(echo "$FAILED" | tr ';' '\n' | sed 's/^/ • /')
Проверено по СМЫСЛУ (не только порт):
служба отвечает нужным содержимым и работает с базой" 2>/dev/null || true
else
echo " (повтор не отправляю — тревога уже была)" >> "$LOG"
fi
exit 1
fi