From 8d41b161165d7f8c15413cffd94baec0db4f368a Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Mon, 9 Nov 2026 21:07:29 +0300 Subject: [PATCH] =?UTF-8?q?[BOTS]=20=D0=9D=D0=B0=D0=B1=D0=BB=D1=8E=D0=B4?= =?UTF-8?q?=D0=B0=D0=B5=D0=BC=D0=BE=D1=81=D1=82=D1=8C:=20=D0=BB=D0=BE?= =?UTF-8?q?=D0=B3=D0=B8=20=D0=B2=20journald=20(=D0=B1=D1=8B=D0=BB=D0=B8=20?= =?UTF-8?q?=D0=BF=D0=BE=D1=82=D0=B5=D1=80=D1=8F=D0=BD=D1=8B=20=D0=B8=D0=B7?= =?UTF-8?q?-=D0=B7=D0=B0=20logrotate),=20/health=20=D1=81=20last=5Fsync,?= =?UTF-8?q?=20=D0=BC=D0=BE=D0=BD=D0=B8=D1=82=D0=BE=D1=80=20Kuma=20#70,=20?= =?UTF-8?q?=D1=80=D0=B5=D1=82=D1=80=D0=B0=D0=B8=20=D1=82=D0=BE=D0=BA=D0=B5?= =?UTF-8?q?=D0=BD=D0=BE=D0=B2;=20=D1=87=D0=B8=D1=81=D1=82=D0=BA=D0=B0=2029?= =?UTF-8?q?=20nginx-=D0=B1=D1=8D=D0=BA=D0=B0=D0=BF=D0=BE=D0=B2=20=D0=B8=20?= =?UTF-8?q?5=20WG-=D0=BA=D0=BE=D0=BD=D1=84=D0=B8=D0=B3=D0=BE=D0=B2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../2026-11-09-BOTS-OBSERVABILITY.md | 31 +++++++++++++++++++ 1 file changed, 31 insertions(+) create mode 100644 ops/incidents/2026-11-09-BOTS-OBSERVABILITY.md diff --git a/ops/incidents/2026-11-09-BOTS-OBSERVABILITY.md b/ops/incidents/2026-11-09-BOTS-OBSERVABILITY.md new file mode 100644 index 0000000..d548a8e --- /dev/null +++ b/ops/incidents/2026-11-09-BOTS-OBSERVABILITY.md @@ -0,0 +1,31 @@ +# Боты Matrix — наблюдаемость и чистка (09.11.2026) + +## Почему «в логах ошибки», а в journal пусто + +`hub-bots.service` писал в `/var/log/hub-bots.log` через `StandardOutput=append:`, +**без copytruncate**. logrotate перевернул файл 08.11 00:18, процесс остался с +открытым дескриптором старого файла → **все сообщения за 42 часа потеряны**. +В journald записей не было никогда, поэтому картина выглядела как «боты молчат». + +## Что сделано + +| # | Изменение | Проверка | +|---|---|---| +| 1 | `StandardOutput`/`StandardError` убраны → логи идут в **journald** | 33 записи за 5 мин | +| 2 | `/health` на порту 9110: ok, список ботов, `last_sync_age_sec`, `token_failures` | `{"ok":true,"bots":[9],"last_sync_age_sec":5}` | +| 3 | Kuma-монитор №70 «Bots Matrix health», интервал 60 с, 2 уведомления | 69 мониторов | +| 4 | Проверка токенов: 4 → **6 попыток** с backoff, громкий лог ошибки | синтаксис OK | +| 5 | `poll_loop` обновляет `last_sync` → ловим **зависание**, а не только падение | health 200/503 | +| 6 | 29 `.bak`/`.before` из `/etc/nginx/conf.d` → `conf.d.archive` | 18 боевых, nginx OK | +| 7 | 5 лишних WireGuard-конфигов → `/root/wireguard-archive` | `wgvps` active, handshake OK | + +## Ключевые уроки + +* **Живой процесс ≠ работающий сервис.** `systemctl is-active` показывал `active`, + а лог не писался 42 часа. Нужен health-эндпоинт со **временем последнего синка**. +* **`append:` в systemd + logrotate = потеря логов.** Либо journald, либо + `copytruncate`. +* **Проверка токена «на авось»** маскирует недоступность Synapse (502 при старте). + Теперь 6 попыток и явная запись в `token_failures`. +* В Kuma уведомления связаны **join-таблицей** `monitor_notification`, а не + колонкой в `monitor` — вставка напрямую в БД требует двух запросов.