[OPS] Анализ логов: главная проблема — Postgres упирался в max_connections=100 (тысячи 'too many clients' в 04:00-07:00, 492 события в Hermes за сутки), из-за этого падал cron-бэкап Matrix с 7 октября и второй контур. Исправлено: max_connections 100→200, idle_session_timeout 15min, idle_in_transaction 5min, память CT151 2→3 ГБ, Postgres перезапущен, сервисы 200/74-0. Matrix-бэкап прогнан вручную — 665 МБ, ок. Проверено: 0 failed units, Synapse 0 ошибок, сертификаты 35 дней, restore-тест Passed 5. Внимание: verify-backups покрывает 7 из 48 баз, zram 100%, /mnt/backups 76%, VPN-волны 27/138

This commit is contained in:
root committed 2026-11-15 22:59:35 +03:00
1 parent 013c74d99b
commit 6d6401a417
1 file changed
+120
+120
View File
@@ -0,0 +1,120 @@
# Анализ логов: что нашлось и что исправлено (15.11.2026)
Владелец: «проанализируй логи, какие проблемы и что срочно исправить».
## Главная проблема: Postgres упирался в лимит соединений
За 48 часов в логах Hermes: **тысячи** строк
```
psycopg2.OperationalError: connection to server at "192.168.1.151",
port 5432 failed: FATAL: sorry, too many clients already
```
Распределение по часам (за 48 ч):
| Час | Ошибок |
|---|---|
| 04:00 | 1 618 |
| 05:00 | 1 920 |
| 06:00 | 2 982 |
| 07:00 | 2 390 |
Это ровно окно ночных бэкапов и дампов: `max_connections = 100`,
а в пик все сервисы + дампы упирались в потолок. За 24 часа — **492
события** в Hermes.
Побочные жертвы той же причины:
* `cron-matrix.log` — **«pg_dump failed»** с 7 октября: ночной дамп
Matrix падал на «too many clients»;
* `hub-second-contour` — сборка архива шла, а отправка не проходила.
## Что сделано
### 1. Postgres: лимит соединений и таймауты
```
max_connections: 100 → 200
idle_session_timeout: 0 → 15min
idle_in_transaction_timeout: 0 → 5min
```
Память CT151 увеличена **2 → 3 ГБ**, swap 512 МБ → 1 ГБ (для 200 бэкендов
двух гигабайт было мало). Postgres перезапущен, сервисы проверены:
Matrix 200, Authentik 200, Git 200, hub 200, служб 74 — лежит 0.
Сейчас: **52 соединения из 200**.
### 2. Matrix-бэкап
Прогнан вручную — работает: 665 МБ (pg 7 файлов, files 7, config 30).
Причина падений устранена вместе с лимитом соединений.
### 3. Проверено: остальное в норме
| Проверка | Результат |
|---|---|
| Упавшие юниты | **0** |
| Службы хаба | **74, лежит 0** |
| Matrix (Synapse) ERROR за 24 ч | **0** |
| Сертификаты | 14 доменов, минимум **35 дней**, тревог 0 |
| Дампы БД | Nov 15 03:15 |
| Второй контур на VPS | Nov 15 19:47, 2.9 МБ |
| Snapshot состояния | Nov 15 22:47 |
| Restore-тест | 01.11: **Passed 5, Failed 0** |
| Hermes сейчас | `ok`, событий за час 40, ошибок «too many clients» — **0** |
## Что требует внимания (не срочно, но стоит знать)
### 1. Проверка бэкапов покрывает 7 баз из 48
`verify-backups.sh` (воскресенье 06:00) в последнем прогоне:
`ИТОГ: баз 48, сверено 7`. Сверяются только несколько СУБД (gitea,
n8n и ещё), остальные не проверяются на восстановимость. Провалы
от 16.10 (нулевые таблицы) — старые, но покрытие маленькое.
### 2. Память: zram заполнен на 100 %
```
zram0: 7.7 ГБ / 7.7 ГБ
media/swapfile16: 2.8 ГБ / 16 ГБ
свободно RAM: 3.4 ГБ из 15
PSI some: 0.72 %
```
Давление памяти низкое (PSI < 1 %), но zram полон — при росте нагрузки
начнётся активное своп-вытеснение. Стоит следить или освободить память
(отключить неиспользуемые CT).
### 3. Диск бэкапов на 76 %
```
/mnt/backups: 70 ГБ из 98 (dump 39 ГБ, services 17 ГБ, offsite 7.8 ГБ)
```
Свободно 23 ГБ. Ротация работает, но порог стоит понизить.
### 4. VPN-волны (по монитору за сегодня)
```
vpn-health: 138 замеров, сбоев Reality 443 — 27 (19.5 %)
```
Это та самая адресная фильтрация. Решение (второй IP / релей /
Cloudflare-именованный) всё ещё ждёт вашего выбора — без него волны
останутся.
### 5. Легаси боты и комнаты
7 аккаунтов без активности с октября и 15 комнат старше 30 дней —
ждут вашего решения (деактивировать/архивировать).
## Ловушки
| Ловушка | Что было |
|---|---|
| лимит 100 соединений | при ночных бэкапах «too many clients»; ошибки копились часами |
| CT151 всего 2 ГБ | для 200 соединений мало; подняли до 3 ГБ |
| pg_dump в cron | падал не из-за пароля, а из-за лимита соединений |
| проверка бэкапов | «ИТОГ: баз 48, сверено 7» — покрытие мало |