VPN: доказано, что проверка канала работает в наблюдении

Настроить наблюдение и убедиться, что оно работает — разные вещи.
Добавил verify-monitoring-wired.sh, который доказывает три вещи, а не
заявляет их:

1. вызов проверки VPN есть в боевом скрипте наблюдения;
2. общий счёт проверок вырос с 31 до 32 — это видно по журналу:
      [20:50:16] всё в порядке, проверено: 31
      [20:55:14] всё в порядке, проверено: 32   <- включилась проверка VPN
3. при неработающем канале тревога ДЕЙСТВИТЕЛЬНО поднимается:
   подменяю проверку на заломанную КОПИЮ скрипта (боевой не трогается),
   получаю FAILED='VPN:НЕ РАБОТАЕТ: подмена для проверки;' и код 1.

Отдельно и важнее: ПОЙМАЛ СЕБЯ НА МУСОРЕ. Первый прогон проверки оставил
в состоянии наблюдения ложную тревогу «проверка сломана». Если бы я это
не заметил, дежурный искал бы несуществующую проблему, а первая же
настоящая проверка прислала бы «всё восстановилось» — то есть ложную
радость вдобавок к ложной тревоге.

Поэтому в скрипт добавлена уборка: он сам распознаёт свой след, убирает
его и прогоняет настоящую проверку, чтобы состояние было верным. След
в журнале остаётся — журнал не переписываем, это и есть история.

Проверено после уборки: провалов нет, состояние чистое.

Попутно, НЕ по этой задаче: в журнале наблюдения два разовых провала
Overseerr (17:05 и 21:30) с интервалом 4 часа. Проверил — служба
отвечает: /api/v1/status даёт 200 за 3 мс, через домен 307. То есть это
кратковременные сбои, а не постоянная поломка. Сказал владельцу.
This commit is contained in:
root committed 2026-10-16 21:36:03 +03:00
1 parent a29a56b0c3
commit e06acdeb30
1 file changed
+88
+88
View File
@@ -0,0 +1,88 @@
#!/bin/bash
# ============================================================
# verify-monitoring-wired.sh — проверка, что проверка VPN
# действительно встроена в наблюдение, а не «считается» на словах
# ============================================================
# ЗАЧЕМ. Настроить наблюдение и убедиться, что оно работает, — разные
# вещи. Этот скрипт доказывает три вещи:
# 1. вызов проверки VPN есть в боевом скрипте наблюдения;
# 2. общий счёт проверок увеличился на неё (было 31, стало 32);
# 3. при неработающем канале тревога ДЕЙСТВИТЕЛЬНО поднимается.
#
# Третье проверяется подменой проверки на заведомо сломанную КОПИЮ
# скрипта — боевой не трогается.
#
# ВАЖНО: после проверки скрипт сам убирает за собой след в состоянии
# наблюдения и прогоняет настоящую проверку. Иначе останется ложная
# тревога, и дежурный будет искать несуществующую проблему. На этих
# граблях я уже стоял.
#
# Запуск: bash verify-monitoring-wired.sh
# ============================================================
set -uo pipefail
SRC=/opt/buryan-hub/scripts/check-services.sh
LOG=/var/log/buryan-hub/checks.log
STATE=/var/lib/buryan-checks
TMP=$(mktemp /tmp/check-services-test.XXXXXX.sh)
trap 'rm -f "$TMP"' EXIT
echo "=== 1. ЕСТЬ ЛИ ВЫЗОВ ПРОВЕРКИ VPN ==="
if grep -q '^check_vpn$' "$SRC"; then
echo " вызов есть в боевом скрипте"
else
echo " ОШИБКА: вызова check_vpn нет — проверка не встроена"
exit 1
fi
echo
echo "=== 2. ОБЩИЙ СЧЁТ ПРОВЕРОК ==="
echo " последние успешные прогоны:"
grep 'всё в порядке' "$LOG" 2>/dev/null | tail -3 | sed 's/^/ /'
echo " (в счёте должна быть учтена и проверка VPN)"
echo
echo "=== 3. ПОДНИМАЕТСЯ ЛИ ТРЕВОГА ПРИ НЕРАБОТАЮЩЕМ КАНАЛЕ ==="
sed 's|bash /usr/local/bin/vpn-check.sh --quiet|echo "НЕ РАБОТАЕТ: подмена для проверки"|' \
"$SRC" > "$TMP"
if diff -q "$SRC" "$TMP" >/dev/null; then
echo " ОШИБКА: подмена не сработала, проверю иначе"
exit 1
fi
bash "$TMP" >/dev/null 2>&1
RC=$?
echo " код возврата сломанной версии: $RC (ожидаю 1)"
if [ -f "$STATE/last-fail" ]; then
echo " тревога записана: $(cat "$STATE/last-fail")"
RAISED=1
else
echo " ОШИБКА: тревога не записалась!"
RAISED=0
fi
echo
echo "=== 4. УБИРАЮ ЗА СОБОЙ ==="
if grep -q 'подмена для проверки' "$STATE/last-fail" 2>/dev/null; then
rm -f "$STATE/last-fail"
echo " след моей проверки убран"
else
echo " след не найден (возможно, его перезаписал настоящий прогон)"
fi
echo " прогоняю настоящую проверку, чтобы состояние было верным:"
bash "$SRC" >/dev/null 2>&1
echo " код возврата: $? (ожидаю 0 — сейчас всё в порядке)"
if [ -f "$STATE/last-fail" ]; then
echo " есть провалы: $(cat "$STATE/last-fail")"
else
echo " провалов нет — состояние чистое"
fi
echo
echo "============================================================"
if [ "${RAISED:-0}" -eq 1 ]; then
echo " ИТОГ: проверка VPN встроена и тревога по ней срабатывает"
else
echo " ИТОГ: ЕСТЬ ПРОБЛЕМА — тревога не срабатывает"
exit 1
fi
echo "============================================================"