[HUB] Спам от ботов устранён: 88/сутки в ALERT. Причины: дребезг проверок (VPN ходил по нестабильному публичному SSH) + notify.py обходил политику хаба + home-heartbeat падал каждые 5 мин. Теперь: туннель primary, тревога со 2-го провала, уведомления через hub /notify (дедуп/тихие часы/лимит), очередь очищена
This commit is contained in:
1 parent
017d68c1eb
commit
e2803ebb00
1 file changed
+77
@@ -0,0 +1,77 @@
|
||||
# Спам от ботов: разбор и устранение (10.11.2026)
|
||||
|
||||
## Что было
|
||||
|
||||
**88 сообщений в сутки** в комнате «Buryan ALERT» — почти всё от `@bot_alert`.
|
||||
Владелец жаловался: «всё равно спам от ботов о статусе».
|
||||
|
||||
## Три причины (все найдены командами)
|
||||
|
||||
### 1. Дребезг проверок — главная
|
||||
|
||||
`check-services.sh` бежит каждые 5 минут. Проверки **VPN** и **шлюза туннеля**
|
||||
падали случайно, каждая пара «упало/восстановилось» = 2 сообщения.
|
||||
|
||||
```
|
||||
10:33 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы
|
||||
10:35 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы
|
||||
10:35 ⚠️ ПРОВЕРКА СЛУЖБ: есть проблемы
|
||||
10:40 ✅ ВСЕ СЛУЖБЫ ВОССТАНОВИЛИСЬ
|
||||
10:47 ⚠️ ... 10:48 ⚠️ ... 10:53 ⚠️ ... 10:58 ✅
|
||||
```
|
||||
|
||||
Причина дребезга: **`check_vpn` ходил по публичному SSH к VPS**
|
||||
(`root@193.233.210.184`), а он нестабилен («banner exchange»).
|
||||
|
||||
**Исправлено:**
|
||||
* `check_vpn` — сначала туннель `10.88.0.1`, публичный адрес только резерв;
|
||||
* защита от дребезга: **уведомление только на 2-м подряд провале**, и
|
||||
«восстановилось» — только если до этого было 2 сбоя подряд.
|
||||
|
||||
### 2. `notify.py` обходил политику хаба
|
||||
|
||||
hub-core `/notify` умеет дедуп, тихие часы (23–8) и суточный лимит (3 для normal).
|
||||
Но `notify.py` **слал напрямую в Matrix**, минуя всё это.
|
||||
|
||||
**Исправлено:** `notify.py` сначала отдаёт уведомление хабу
|
||||
(`send_via_hub`), напрямую — только если хаб недоступен.
|
||||
|
||||
### 3. `home-heartbeat` падал каждые 5 минут
|
||||
|
||||
```
|
||||
ssh: connect to host 193.233.210.184 port 22: Connection timed out
|
||||
```
|
||||
|
||||
— тот же публичный SSH. Каждый провал → событие → в очередь хаба.
|
||||
|
||||
**Исправлено:** задание переведено на туннель `10.88.0.1` (публичный — резерв).
|
||||
|
||||
## Побочная находка
|
||||
|
||||
Очередь уведомлений хаба `/var/lib/hub-notify/queue.json` выросла до **100 записей
|
||||
(24 КБ)** — сообщения копились из-за суточного лимита и никто их не разбирал.
|
||||
Очищена до 30 актуальных.
|
||||
|
||||
## Проверка
|
||||
|
||||
```
|
||||
check-services: ok
|
||||
home-heartbeat: ok
|
||||
заданий Hermes: 26 | ok: 26 | проблемных: 0
|
||||
сообщений в ALERT за час: 7 (исторические, до фикса)
|
||||
```
|
||||
|
||||
До фикса: 88/сутки. Ожидается: единицы, только при реальных сбоях.
|
||||
|
||||
## Урок
|
||||
|
||||
Дребезг — не «шум», а **сигнал о сломанной проверке**. Правильно не глушить
|
||||
уведомления, а починить то, что мигает: проверка ходила по нестабильному
|
||||
каналу и честно сообщала о проблеме — просто проблема была в ней самой.
|
||||
|
||||
## Что осталось (архитектурный долг)
|
||||
|
||||
Путей уведомлений **пять**: `notify.py`, hub-core `/notify`, Hermes,
|
||||
Uptime Kuma, `@bot_alert`. Пока каждый знает свои правила — дребезг
|
||||
вернётся другим боком. Нужен **один шлюз**: все источники → hub-core
|
||||
`/notify` с единой политикой (дедуп, тихие часы, лимит, приоритеты).
|
||||
Reference in new issue
Block a user