VPN: доказано, что проверка канала работает в наблюдении
Настроить наблюдение и убедиться, что оно работает — разные вещи.
Добавил verify-monitoring-wired.sh, который доказывает три вещи, а не
заявляет их:
1. вызов проверки VPN есть в боевом скрипте наблюдения;
2. общий счёт проверок вырос с 31 до 32 — это видно по журналу:
[20:50:16] всё в порядке, проверено: 31
[20:55:14] всё в порядке, проверено: 32 <- включилась проверка VPN
3. при неработающем канале тревога ДЕЙСТВИТЕЛЬНО поднимается:
подменяю проверку на заломанную КОПИЮ скрипта (боевой не трогается),
получаю FAILED='VPN:НЕ РАБОТАЕТ: подмена для проверки;' и код 1.
Отдельно и важнее: ПОЙМАЛ СЕБЯ НА МУСОРЕ. Первый прогон проверки оставил
в состоянии наблюдения ложную тревогу «проверка сломана». Если бы я это
не заметил, дежурный искал бы несуществующую проблему, а первая же
настоящая проверка прислала бы «всё восстановилось» — то есть ложную
радость вдобавок к ложной тревоге.
Поэтому в скрипт добавлена уборка: он сам распознаёт свой след, убирает
его и прогоняет настоящую проверку, чтобы состояние было верным. След
в журнале остаётся — журнал не переписываем, это и есть история.
Проверено после уборки: провалов нет, состояние чистое.
Попутно, НЕ по этой задаче: в журнале наблюдения два разовых провала
Overseerr (17:05 и 21:30) с интервалом 4 часа. Проверил — служба
отвечает: /api/v1/status даёт 200 за 3 мс, через домен 307. То есть это
кратковременные сбои, а не постоянная поломка. Сказал владельцу.
This commit is contained in:
1 parent
a29a56b0c3
commit
e06acdeb30
1 file changed
+88
Executable
+88
@@ -0,0 +1,88 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# verify-monitoring-wired.sh — проверка, что проверка VPN
|
||||
# действительно встроена в наблюдение, а не «считается» на словах
|
||||
# ============================================================
|
||||
# ЗАЧЕМ. Настроить наблюдение и убедиться, что оно работает, — разные
|
||||
# вещи. Этот скрипт доказывает три вещи:
|
||||
# 1. вызов проверки VPN есть в боевом скрипте наблюдения;
|
||||
# 2. общий счёт проверок увеличился на неё (было 31, стало 32);
|
||||
# 3. при неработающем канале тревога ДЕЙСТВИТЕЛЬНО поднимается.
|
||||
#
|
||||
# Третье проверяется подменой проверки на заведомо сломанную КОПИЮ
|
||||
# скрипта — боевой не трогается.
|
||||
#
|
||||
# ВАЖНО: после проверки скрипт сам убирает за собой след в состоянии
|
||||
# наблюдения и прогоняет настоящую проверку. Иначе останется ложная
|
||||
# тревога, и дежурный будет искать несуществующую проблему. На этих
|
||||
# граблях я уже стоял.
|
||||
#
|
||||
# Запуск: bash verify-monitoring-wired.sh
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
SRC=/opt/buryan-hub/scripts/check-services.sh
|
||||
LOG=/var/log/buryan-hub/checks.log
|
||||
STATE=/var/lib/buryan-checks
|
||||
TMP=$(mktemp /tmp/check-services-test.XXXXXX.sh)
|
||||
trap 'rm -f "$TMP"' EXIT
|
||||
|
||||
echo "=== 1. ЕСТЬ ЛИ ВЫЗОВ ПРОВЕРКИ VPN ==="
|
||||
if grep -q '^check_vpn$' "$SRC"; then
|
||||
echo " вызов есть в боевом скрипте"
|
||||
else
|
||||
echo " ОШИБКА: вызова check_vpn нет — проверка не встроена"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
echo
|
||||
echo "=== 2. ОБЩИЙ СЧЁТ ПРОВЕРОК ==="
|
||||
echo " последние успешные прогоны:"
|
||||
grep 'всё в порядке' "$LOG" 2>/dev/null | tail -3 | sed 's/^/ /'
|
||||
echo " (в счёте должна быть учтена и проверка VPN)"
|
||||
|
||||
echo
|
||||
echo "=== 3. ПОДНИМАЕТСЯ ЛИ ТРЕВОГА ПРИ НЕРАБОТАЮЩЕМ КАНАЛЕ ==="
|
||||
sed 's|bash /usr/local/bin/vpn-check.sh --quiet|echo "НЕ РАБОТАЕТ: подмена для проверки"|' \
|
||||
"$SRC" > "$TMP"
|
||||
if diff -q "$SRC" "$TMP" >/dev/null; then
|
||||
echo " ОШИБКА: подмена не сработала, проверю иначе"
|
||||
exit 1
|
||||
fi
|
||||
bash "$TMP" >/dev/null 2>&1
|
||||
RC=$?
|
||||
echo " код возврата сломанной версии: $RC (ожидаю 1)"
|
||||
if [ -f "$STATE/last-fail" ]; then
|
||||
echo " тревога записана: $(cat "$STATE/last-fail")"
|
||||
RAISED=1
|
||||
else
|
||||
echo " ОШИБКА: тревога не записалась!"
|
||||
RAISED=0
|
||||
fi
|
||||
|
||||
echo
|
||||
echo "=== 4. УБИРАЮ ЗА СОБОЙ ==="
|
||||
if grep -q 'подмена для проверки' "$STATE/last-fail" 2>/dev/null; then
|
||||
rm -f "$STATE/last-fail"
|
||||
echo " след моей проверки убран"
|
||||
else
|
||||
echo " след не найден (возможно, его перезаписал настоящий прогон)"
|
||||
fi
|
||||
echo " прогоняю настоящую проверку, чтобы состояние было верным:"
|
||||
bash "$SRC" >/dev/null 2>&1
|
||||
echo " код возврата: $? (ожидаю 0 — сейчас всё в порядке)"
|
||||
if [ -f "$STATE/last-fail" ]; then
|
||||
echo " есть провалы: $(cat "$STATE/last-fail")"
|
||||
else
|
||||
echo " провалов нет — состояние чистое"
|
||||
fi
|
||||
|
||||
echo
|
||||
echo "============================================================"
|
||||
if [ "${RAISED:-0}" -eq 1 ]; then
|
||||
echo " ИТОГ: проверка VPN встроена и тревога по ней срабатывает"
|
||||
else
|
||||
echo " ИТОГ: ЕСТЬ ПРОБЛЕМА — тревога не срабатывает"
|
||||
exit 1
|
||||
fi
|
||||
echo "============================================================"
|
||||
Reference in new issue
Block a user