Files
buryan-infra/ops/hub/SPAM-FIX-2026-11-10.md
T

3.9 KiB

Спам от ботов: разбор и устранение (10.11.2026)

Что было

88 сообщений в сутки в комнате «Buryan ALERT» — почти всё от @bot_alert. Владелец жаловался: «всё равно спам от ботов о статусе».

Три причины (все найдены командами)

1. Дребезг проверок — главная

check-services.sh бежит каждые 5 минут. Проверки VPN и шлюза туннеля падали случайно, каждая пара «упало/восстановилось» = 2 сообщения.

10:33 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы
10:35 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы
10:35 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы
10:40 ✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ
10:47 ⚠️ ... 10:48 ⚠️ ... 10:53 ⚠️ ... 10:58 ✅

Причина дребезга: check_vpn ходил по публичному SSH к VPS (root@193.233.210.184), а он нестабилен («banner exchange»).

Исправлено:

  • check_vpn — сначала туннель 10.88.0.1, публичный адрес только резерв;
  • защита от дребезга: уведомление только на 2-м подряд провале, и «восстановилось» — только если до этого было 2 сбоя подряд.

2. notify.py обходил политику хаба

hub-core /notify умеет дедуп, тихие часы (23–8) и суточный лимит (3 для normal). Но notify.py слал напрямую в Matrix, минуя всё это.

Исправлено: notify.py сначала отдаёт уведомление хабу (send_via_hub), напрямую — только если хаб недоступен.

3. home-heartbeat падал каждые 5 минут

ssh: connect to host 193.233.210.184 port 22: Connection timed out

— тот же публичный SSH. Каждый провал → событие → в очередь хаба.

Исправлено: задание переведено на туннель 10.88.0.1 (публичный — резерв).

Побочная находка

Очередь уведомлений хаба /var/lib/hub-notify/queue.json выросла до 100 записей (24 КБ) — сообщения копились из-за суточного лимита и никто их не разбирал. Очищена до 30 актуальных.

Проверка

check-services: ok
home-heartbeat: ok
заданий Hermes: 26 | ok: 26 | проблемных: 0
сообщений в ALERT за час: 7 (исторические, до фикса)

До фикса: 88/сутки. Ожидается: единицы, только при реальных сбоях.

Урок

Дребезг — не «шум», а сигнал о сломанной проверке. Правильно не глушить уведомления, а починить то, что мигает: проверка ходила по нестабильному каналу и честно сообщала о проблеме — просто проблема была в ней самой.

Что осталось (архитектурный долг)

Путей уведомлений пять: notify.py, hub-core /notify, Hermes, Uptime Kuma, @bot_alert. Пока каждый знает свои правила — дребезг вернётся другим боком. Нужен один шлюз: все источники → hub-core /notify с единой политикой (дедуп, тихие часы, лимит, приоритеты).