[BOTS] Наблюдаемость: логи в journald (были потеряны из-за logrotate), /health с last_sync, монитор Kuma #70, ретраи токенов; чистка 29 nginx-бэкапов и 5 WG-конфигов
This commit is contained in:
1 parent
207d3084a3
commit
8d41b16116
1 file changed
+31
@@ -0,0 +1,31 @@
|
||||
# Боты Matrix — наблюдаемость и чистка (09.11.2026)
|
||||
|
||||
## Почему «в логах ошибки», а в journal пусто
|
||||
|
||||
`hub-bots.service` писал в `/var/log/hub-bots.log` через `StandardOutput=append:`,
|
||||
**без copytruncate**. logrotate перевернул файл 08.11 00:18, процесс остался с
|
||||
открытым дескриптором старого файла → **все сообщения за 42 часа потеряны**.
|
||||
В journald записей не было никогда, поэтому картина выглядела как «боты молчат».
|
||||
|
||||
## Что сделано
|
||||
|
||||
| # | Изменение | Проверка |
|
||||
|---|---|---|
|
||||
| 1 | `StandardOutput`/`StandardError` убраны → логи идут в **journald** | 33 записи за 5 мин |
|
||||
| 2 | `/health` на порту 9110: ok, список ботов, `last_sync_age_sec`, `token_failures` | `{"ok":true,"bots":[9],"last_sync_age_sec":5}` |
|
||||
| 3 | Kuma-монитор №70 «Bots Matrix health», интервал 60 с, 2 уведомления | 69 мониторов |
|
||||
| 4 | Проверка токенов: 4 → **6 попыток** с backoff, громкий лог ошибки | синтаксис OK |
|
||||
| 5 | `poll_loop` обновляет `last_sync` → ловим **зависание**, а не только падение | health 200/503 |
|
||||
| 6 | 29 `.bak`/`.before` из `/etc/nginx/conf.d` → `conf.d.archive` | 18 боевых, nginx OK |
|
||||
| 7 | 5 лишних WireGuard-конфигов → `/root/wireguard-archive` | `wgvps` active, handshake OK |
|
||||
|
||||
## Ключевые уроки
|
||||
|
||||
* **Живой процесс ≠ работающий сервис.** `systemctl is-active` показывал `active`,
|
||||
а лог не писался 42 часа. Нужен health-эндпоинт со **временем последнего синка**.
|
||||
* **`append:` в systemd + logrotate = потеря логов.** Либо journald, либо
|
||||
`copytruncate`.
|
||||
* **Проверка токена «на авось»** маскирует недоступность Synapse (502 при старте).
|
||||
Теперь 6 попыток и явная запись в `token_failures`.
|
||||
* В Kuma уведомления связаны **join-таблицей** `monitor_notification`, а не
|
||||
колонкой в `monitor` — вставка напрямую в БД требует двух запросов.
|
||||
Reference in new issue
Block a user