diff --git a/ops/incidents/2026-11-09-BOTS-OBSERVABILITY.md b/ops/incidents/2026-11-09-BOTS-OBSERVABILITY.md new file mode 100644 index 0000000..d548a8e --- /dev/null +++ b/ops/incidents/2026-11-09-BOTS-OBSERVABILITY.md @@ -0,0 +1,31 @@ +# Боты Matrix — наблюдаемость и чистка (09.11.2026) + +## Почему «в логах ошибки», а в journal пусто + +`hub-bots.service` писал в `/var/log/hub-bots.log` через `StandardOutput=append:`, +**без copytruncate**. logrotate перевернул файл 08.11 00:18, процесс остался с +открытым дескриптором старого файла → **все сообщения за 42 часа потеряны**. +В journald записей не было никогда, поэтому картина выглядела как «боты молчат». + +## Что сделано + +| # | Изменение | Проверка | +|---|---|---| +| 1 | `StandardOutput`/`StandardError` убраны → логи идут в **journald** | 33 записи за 5 мин | +| 2 | `/health` на порту 9110: ok, список ботов, `last_sync_age_sec`, `token_failures` | `{"ok":true,"bots":[9],"last_sync_age_sec":5}` | +| 3 | Kuma-монитор №70 «Bots Matrix health», интервал 60 с, 2 уведомления | 69 мониторов | +| 4 | Проверка токенов: 4 → **6 попыток** с backoff, громкий лог ошибки | синтаксис OK | +| 5 | `poll_loop` обновляет `last_sync` → ловим **зависание**, а не только падение | health 200/503 | +| 6 | 29 `.bak`/`.before` из `/etc/nginx/conf.d` → `conf.d.archive` | 18 боевых, nginx OK | +| 7 | 5 лишних WireGuard-конфигов → `/root/wireguard-archive` | `wgvps` active, handshake OK | + +## Ключевые уроки + +* **Живой процесс ≠ работающий сервис.** `systemctl is-active` показывал `active`, + а лог не писался 42 часа. Нужен health-эндпоинт со **временем последнего синка**. +* **`append:` в systemd + logrotate = потеря логов.** Либо journald, либо + `copytruncate`. +* **Проверка токена «на авось»** маскирует недоступность Synapse (502 при старте). + Теперь 6 попыток и явная запись в `token_failures`. +* В Kuma уведомления связаны **join-таблицей** `monitor_notification`, а не + колонкой в `monitor` — вставка напрямую в БД требует двух запросов.