diff --git a/ops/audits/LOGS-ANALYSIS-2026-11-15.md b/ops/audits/LOGS-ANALYSIS-2026-11-15.md new file mode 100644 index 0000000..bebf363 --- /dev/null +++ b/ops/audits/LOGS-ANALYSIS-2026-11-15.md @@ -0,0 +1,120 @@ +# Анализ логов: что нашлось и что исправлено (15.11.2026) + +Владелец: «проанализируй логи, какие проблемы и что срочно исправить». + +## Главная проблема: Postgres упирался в лимит соединений + +За 48 часов в логах Hermes: **тысячи** строк + +``` +psycopg2.OperationalError: connection to server at "192.168.1.151", +port 5432 failed: FATAL: sorry, too many clients already +``` + +Распределение по часам (за 48 ч): + +| Час | Ошибок | +|---|---| +| 04:00 | 1 618 | +| 05:00 | 1 920 | +| 06:00 | 2 982 | +| 07:00 | 2 390 | + +Это ровно окно ночных бэкапов и дампов: `max_connections = 100`, +а в пик все сервисы + дампы упирались в потолок. За 24 часа — **492 +события** в Hermes. + +Побочные жертвы той же причины: + +* `cron-matrix.log` — **«pg_dump failed»** с 7 октября: ночной дамп + Matrix падал на «too many clients»; +* `hub-second-contour` — сборка архива шла, а отправка не проходила. + +## Что сделано + +### 1. Postgres: лимит соединений и таймауты + +``` +max_connections: 100 → 200 +idle_session_timeout: 0 → 15min +idle_in_transaction_timeout: 0 → 5min +``` + +Память CT151 увеличена **2 → 3 ГБ**, swap 512 МБ → 1 ГБ (для 200 бэкендов +двух гигабайт было мало). Postgres перезапущен, сервисы проверены: +Matrix 200, Authentik 200, Git 200, hub 200, служб 74 — лежит 0. + +Сейчас: **52 соединения из 200**. + +### 2. Matrix-бэкап + +Прогнан вручную — работает: 665 МБ (pg 7 файлов, files 7, config 30). +Причина падений устранена вместе с лимитом соединений. + +### 3. Проверено: остальное в норме + +| Проверка | Результат | +|---|---| +| Упавшие юниты | **0** | +| Службы хаба | **74, лежит 0** | +| Matrix (Synapse) ERROR за 24 ч | **0** | +| Сертификаты | 14 доменов, минимум **35 дней**, тревог 0 | +| Дампы БД | Nov 15 03:15 | +| Второй контур на VPS | Nov 15 19:47, 2.9 МБ | +| Snapshot состояния | Nov 15 22:47 | +| Restore-тест | 01.11: **Passed 5, Failed 0** | +| Hermes сейчас | `ok`, событий за час 40, ошибок «too many clients» — **0** | + +## Что требует внимания (не срочно, но стоит знать) + +### 1. Проверка бэкапов покрывает 7 баз из 48 + +`verify-backups.sh` (воскресенье 06:00) в последнем прогоне: +`ИТОГ: баз 48, сверено 7`. Сверяются только несколько СУБД (gitea, +n8n и ещё), остальные не проверяются на восстановимость. Провалы +от 16.10 (нулевые таблицы) — старые, но покрытие маленькое. + +### 2. Память: zram заполнен на 100 % + +``` +zram0: 7.7 ГБ / 7.7 ГБ +media/swapfile16: 2.8 ГБ / 16 ГБ +свободно RAM: 3.4 ГБ из 15 +PSI some: 0.72 % +``` + +Давление памяти низкое (PSI < 1 %), но zram полон — при росте нагрузки +начнётся активное своп-вытеснение. Стоит следить или освободить память +(отключить неиспользуемые CT). + +### 3. Диск бэкапов на 76 % + +``` +/mnt/backups: 70 ГБ из 98 (dump 39 ГБ, services 17 ГБ, offsite 7.8 ГБ) +``` + +Свободно 23 ГБ. Ротация работает, но порог стоит понизить. + +### 4. VPN-волны (по монитору за сегодня) + +``` +vpn-health: 138 замеров, сбоев Reality 443 — 27 (19.5 %) +``` + +Это та самая адресная фильтрация. Решение (второй IP / релей / +Cloudflare-именованный) всё ещё ждёт вашего выбора — без него волны +останутся. + +### 5. Легаси боты и комнаты + +7 аккаунтов без активности с октября и 15 комнат старше 30 дней — +ждут вашего решения (деактивировать/архивировать). + +## Ловушки + +| Ловушка | Что было | +|---|---| +| лимит 100 соединений | при ночных бэкапах «too many clients»; ошибки копились часами | +| CT151 всего 2 ГБ | для 200 соединений мало; подняли до 3 ГБ | +| pg_dump в cron | падал не из-за пароля, а из-за лимита соединений | +| проверка бэкапов | «ИТОГ: баз 48, сверено 7» — покрытие мало |