diff --git a/ops/hub/SPAM-FIX-2026-11-10.md b/ops/hub/SPAM-FIX-2026-11-10.md new file mode 100644 index 0000000..be4cb69 --- /dev/null +++ b/ops/hub/SPAM-FIX-2026-11-10.md @@ -0,0 +1,77 @@ +# Спам от ботов: разбор и устранение (10.11.2026) + +## Что было + +**88 сообщений в сутки** в комнате «Buryan ALERT» — почти всё от `@bot_alert`. +Владелец жаловался: «всё равно спам от ботов о статусе». + +## Три причины (все найдены командами) + +### 1. Дребезг проверок — главная + +`check-services.sh` бежит каждые 5 минут. Проверки **VPN** и **шлюза туннеля** +падали случайно, каждая пара «упало/восстановилось» = 2 сообщения. + +``` +10:33 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы +10:35 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы +10:35 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы +10:40 ✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ +10:47 ⚠️ ... 10:48 ⚠️ ... 10:53 ⚠️ ... 10:58 ✅ +``` + +Причина дребезга: **`check_vpn` ходил по публичному SSH к VPS** +(`root@193.233.210.184`), а он нестабилен («banner exchange»). + +**Исправлено:** +* `check_vpn` — сначала туннель `10.88.0.1`, публичный адрес только резерв; +* защита от дребезга: **уведомление только на 2-м подряд провале**, и + «восстановилось» — только если до этого было 2 сбоя подряд. + +### 2. `notify.py` обходил политику хаба + +hub-core `/notify` умеет дедуп, тихие часы (23–8) и суточный лимит (3 для normal). +Но `notify.py` **слал напрямую в Matrix**, минуя всё это. + +**Исправлено:** `notify.py` сначала отдаёт уведомление хабу +(`send_via_hub`), напрямую — только если хаб недоступен. + +### 3. `home-heartbeat` падал каждые 5 минут + +``` +ssh: connect to host 193.233.210.184 port 22: Connection timed out +``` + +— тот же публичный SSH. Каждый провал → событие → в очередь хаба. + +**Исправлено:** задание переведено на туннель `10.88.0.1` (публичный — резерв). + +## Побочная находка + +Очередь уведомлений хаба `/var/lib/hub-notify/queue.json` выросла до **100 записей +(24 КБ)** — сообщения копились из-за суточного лимита и никто их не разбирал. +Очищена до 30 актуальных. + +## Проверка + +``` +check-services: ok +home-heartbeat: ok +заданий Hermes: 26 | ok: 26 | проблемных: 0 +сообщений в ALERT за час: 7 (исторические, до фикса) +``` + +До фикса: 88/сутки. Ожидается: единицы, только при реальных сбоях. + +## Урок + +Дребезг — не «шум», а **сигнал о сломанной проверке**. Правильно не глушить +уведомления, а починить то, что мигает: проверка ходила по нестабильному +каналу и честно сообщала о проблеме — просто проблема была в ней самой. + +## Что осталось (архитектурный долг) + +Путей уведомлений **пять**: `notify.py`, hub-core `/notify`, Hermes, +Uptime Kuma, `@bot_alert`. Пока каждый знает свои правила — дребезг +вернётся другим боком. Нужен **один шлюз**: все источники → hub-core +`/notify` с единой политикой (дедуп, тихие часы, лимит, приоритеты).