From e2803ebb0004bb005939674a99eb35d84bb20ece Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Tue, 10 Nov 2026 11:37:49 +0300 Subject: [PATCH] =?UTF-8?q?[HUB]=20=D0=A1=D0=BF=D0=B0=D0=BC=20=D0=BE=D1=82?= =?UTF-8?q?=20=D0=B1=D0=BE=D1=82=D0=BE=D0=B2=20=D1=83=D1=81=D1=82=D1=80?= =?UTF-8?q?=D0=B0=D0=BD=D1=91=D0=BD:=2088/=D1=81=D1=83=D1=82=D0=BA=D0=B8?= =?UTF-8?q?=20=D0=B2=20ALERT.=20=D0=9F=D1=80=D0=B8=D1=87=D0=B8=D0=BD=D1=8B?= =?UTF-8?q?:=20=D0=B4=D1=80=D0=B5=D0=B1=D0=B5=D0=B7=D0=B3=20=D0=BF=D1=80?= =?UTF-8?q?=D0=BE=D0=B2=D0=B5=D1=80=D0=BE=D0=BA=20(VPN=20=D1=85=D0=BE?= =?UTF-8?q?=D0=B4=D0=B8=D0=BB=20=D0=BF=D0=BE=20=D0=BD=D0=B5=D1=81=D1=82?= =?UTF-8?q?=D0=B0=D0=B1=D0=B8=D0=BB=D1=8C=D0=BD=D0=BE=D0=BC=D1=83=20=D0=BF?= =?UTF-8?q?=D1=83=D0=B1=D0=BB=D0=B8=D1=87=D0=BD=D0=BE=D0=BC=D1=83=20SSH)?= =?UTF-8?q?=20+=20notify.py=20=D0=BE=D0=B1=D1=85=D0=BE=D0=B4=D0=B8=D0=BB?= =?UTF-8?q?=20=D0=BF=D0=BE=D0=BB=D0=B8=D1=82=D0=B8=D0=BA=D1=83=20=D1=85?= =?UTF-8?q?=D0=B0=D0=B1=D0=B0=20+=20home-heartbeat=20=D0=BF=D0=B0=D0=B4?= =?UTF-8?q?=D0=B0=D0=BB=20=D0=BA=D0=B0=D0=B6=D0=B4=D1=8B=D0=B5=205=20?= =?UTF-8?q?=D0=BC=D0=B8=D0=BD.=20=D0=A2=D0=B5=D0=BF=D0=B5=D1=80=D1=8C:=20?= =?UTF-8?q?=D1=82=D1=83=D0=BD=D0=BD=D0=B5=D0=BB=D1=8C=20primary,=20=D1=82?= =?UTF-8?q?=D1=80=D0=B5=D0=B2=D0=BE=D0=B3=D0=B0=20=D1=81=D0=BE=202-=D0=B3?= =?UTF-8?q?=D0=BE=20=D0=BF=D1=80=D0=BE=D0=B2=D0=B0=D0=BB=D0=B0,=20=D1=83?= =?UTF-8?q?=D0=B2=D0=B5=D0=B4=D0=BE=D0=BC=D0=BB=D0=B5=D0=BD=D0=B8=D1=8F=20?= =?UTF-8?q?=D1=87=D0=B5=D1=80=D0=B5=D0=B7=20hub=20/notify=20(=D0=B4=D0=B5?= =?UTF-8?q?=D0=B4=D1=83=D0=BF/=D1=82=D0=B8=D1=85=D0=B8=D0=B5=20=D1=87?= =?UTF-8?q?=D0=B0=D1=81=D1=8B/=D0=BB=D0=B8=D0=BC=D0=B8=D1=82),=20=D0=BE?= =?UTF-8?q?=D1=87=D0=B5=D1=80=D0=B5=D0=B4=D1=8C=20=D0=BE=D1=87=D0=B8=D1=89?= =?UTF-8?q?=D0=B5=D0=BD=D0=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/hub/SPAM-FIX-2026-11-10.md | 77 ++++++++++++++++++++++++++++++++++ 1 file changed, 77 insertions(+) create mode 100644 ops/hub/SPAM-FIX-2026-11-10.md diff --git a/ops/hub/SPAM-FIX-2026-11-10.md b/ops/hub/SPAM-FIX-2026-11-10.md new file mode 100644 index 0000000..be4cb69 --- /dev/null +++ b/ops/hub/SPAM-FIX-2026-11-10.md @@ -0,0 +1,77 @@ +# Спам от ботов: разбор и устранение (10.11.2026) + +## Что было + +**88 сообщений в сутки** в комнате «Buryan ALERT» — почти всё от `@bot_alert`. +Владелец жаловался: «всё равно спам от ботов о статусе». + +## Три причины (все найдены командами) + +### 1. Дребезг проверок — главная + +`check-services.sh` бежит каждые 5 минут. Проверки **VPN** и **шлюза туннеля** +падали случайно, каждая пара «упало/восстановилось» = 2 сообщения. + +``` +10:33 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы +10:35 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы +10:35 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы +10:40 ✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ +10:47 ⚠️ ... 10:48 ⚠️ ... 10:53 ⚠️ ... 10:58 ✅ +``` + +Причина дребезга: **`check_vpn` ходил по публичному SSH к VPS** +(`root@193.233.210.184`), а он нестабилен («banner exchange»). + +**Исправлено:** +* `check_vpn` — сначала туннель `10.88.0.1`, публичный адрес только резерв; +* защита от дребезга: **уведомление только на 2-м подряд провале**, и + «восстановилось» — только если до этого было 2 сбоя подряд. + +### 2. `notify.py` обходил политику хаба + +hub-core `/notify` умеет дедуп, тихие часы (23–8) и суточный лимит (3 для normal). +Но `notify.py` **слал напрямую в Matrix**, минуя всё это. + +**Исправлено:** `notify.py` сначала отдаёт уведомление хабу +(`send_via_hub`), напрямую — только если хаб недоступен. + +### 3. `home-heartbeat` падал каждые 5 минут + +``` +ssh: connect to host 193.233.210.184 port 22: Connection timed out +``` + +— тот же публичный SSH. Каждый провал → событие → в очередь хаба. + +**Исправлено:** задание переведено на туннель `10.88.0.1` (публичный — резерв). + +## Побочная находка + +Очередь уведомлений хаба `/var/lib/hub-notify/queue.json` выросла до **100 записей +(24 КБ)** — сообщения копились из-за суточного лимита и никто их не разбирал. +Очищена до 30 актуальных. + +## Проверка + +``` +check-services: ok +home-heartbeat: ok +заданий Hermes: 26 | ok: 26 | проблемных: 0 +сообщений в ALERT за час: 7 (исторические, до фикса) +``` + +До фикса: 88/сутки. Ожидается: единицы, только при реальных сбоях. + +## Урок + +Дребезг — не «шум», а **сигнал о сломанной проверке**. Правильно не глушить +уведомления, а починить то, что мигает: проверка ходила по нестабильному +каналу и честно сообщала о проблеме — просто проблема была в ней самой. + +## Что осталось (архитектурный долг) + +Путей уведомлений **пять**: `notify.py`, hub-core `/notify`, Hermes, +Uptime Kuma, `@bot_alert`. Пока каждый знает свои правила — дребезг +вернётся другим боком. Нужен **один шлюз**: все источники → hub-core +`/notify` с единой политикой (дедуп, тихие часы, лимит, приоритеты).