[BOTS] Наблюдаемость: логи в journald (были потеряны из-за logrotate), /health с last_sync, монитор Kuma #70, ретраи токенов; чистка 29 nginx-бэкапов и 5 WG-конфигов

This commit is contained in:
root committed 2026-11-09 21:07:29 +03:00
1 parent 207d3084a3
commit 8d41b16116
1 file changed
+31
@@ -0,0 +1,31 @@
# Боты Matrix — наблюдаемость и чистка (09.11.2026)
## Почему «в логах ошибки», а в journal пусто
`hub-bots.service` писал в `/var/log/hub-bots.log` через `StandardOutput=append:`,
**без copytruncate**. logrotate перевернул файл 08.11 00:18, процесс остался с
открытым дескриптором старого файла → **все сообщения за 42 часа потеряны**.
В journald записей не было никогда, поэтому картина выглядела как «боты молчат».
## Что сделано
| # | Изменение | Проверка |
|---|---|---|
| 1 | `StandardOutput`/`StandardError` убраны → логи идут в **journald** | 33 записи за 5 мин |
| 2 | `/health` на порту 9110: ok, список ботов, `last_sync_age_sec`, `token_failures` | `{"ok":true,"bots":[9],"last_sync_age_sec":5}` |
| 3 | Kuma-монитор №70 «Bots Matrix health», интервал 60 с, 2 уведомления | 69 мониторов |
| 4 | Проверка токенов: 4 → **6 попыток** с backoff, громкий лог ошибки | синтаксис OK |
| 5 | `poll_loop` обновляет `last_sync` → ловим **зависание**, а не только падение | health 200/503 |
| 6 | 29 `.bak`/`.before` из `/etc/nginx/conf.d` → `conf.d.archive` | 18 боевых, nginx OK |
| 7 | 5 лишних WireGuard-конфигов → `/root/wireguard-archive` | `wgvps` active, handshake OK |
## Ключевые уроки
* **Живой процесс ≠ работающий сервис.** `systemctl is-active` показывал `active`,
а лог не писался 42 часа. Нужен health-эндпоинт со **временем последнего синка**.
* **`append:` в systemd + logrotate = потеря логов.** Либо journald, либо
`copytruncate`.
* **Проверка токена «на авось»** маскирует недоступность Synapse (502 при старте).
Теперь 6 попыток и явная запись в `token_failures`.
* В Kuma уведомления связаны **join-таблицей** `monitor_notification`, а не
колонкой в `monitor` — вставка напрямую в БД требует двух запросов.