[OPS] Анализ логов: главная проблема — Postgres упирался в max_connections=100 (тысячи 'too many clients' в 04:00-07:00, 492 события в Hermes за сутки), из-за этого падал cron-бэкап Matrix с 7 октября и второй контур. Исправлено: max_connections 100→200, idle_session_timeout 15min, idle_in_transaction 5min, память CT151 2→3 ГБ, Postgres перезапущен, сервисы 200/74-0. Matrix-бэкап прогнан вручную — 665 МБ, ок. Проверено: 0 failed units, Synapse 0 ошибок, сертификаты 35 дней, restore-тест Passed 5. Внимание: verify-backups покрывает 7 из 48 баз, zram 100%, /mnt/backups 76%, VPN-волны 27/138
This commit is contained in:
1 parent
013c74d99b
commit
6d6401a417
1 file changed
+120
@@ -0,0 +1,120 @@
|
||||
# Анализ логов: что нашлось и что исправлено (15.11.2026)
|
||||
|
||||
Владелец: «проанализируй логи, какие проблемы и что срочно исправить».
|
||||
|
||||
## Главная проблема: Postgres упирался в лимит соединений
|
||||
|
||||
За 48 часов в логах Hermes: **тысячи** строк
|
||||
|
||||
```
|
||||
psycopg2.OperationalError: connection to server at "192.168.1.151",
|
||||
port 5432 failed: FATAL: sorry, too many clients already
|
||||
```
|
||||
|
||||
Распределение по часам (за 48 ч):
|
||||
|
||||
| Час | Ошибок |
|
||||
|---|---|
|
||||
| 04:00 | 1 618 |
|
||||
| 05:00 | 1 920 |
|
||||
| 06:00 | 2 982 |
|
||||
| 07:00 | 2 390 |
|
||||
|
||||
Это ровно окно ночных бэкапов и дампов: `max_connections = 100`,
|
||||
а в пик все сервисы + дампы упирались в потолок. За 24 часа — **492
|
||||
события** в Hermes.
|
||||
|
||||
Побочные жертвы той же причины:
|
||||
|
||||
* `cron-matrix.log` — **«pg_dump failed»** с 7 октября: ночной дамп
|
||||
Matrix падал на «too many clients»;
|
||||
* `hub-second-contour` — сборка архива шла, а отправка не проходила.
|
||||
|
||||
## Что сделано
|
||||
|
||||
### 1. Postgres: лимит соединений и таймауты
|
||||
|
||||
```
|
||||
max_connections: 100 → 200
|
||||
idle_session_timeout: 0 → 15min
|
||||
idle_in_transaction_timeout: 0 → 5min
|
||||
```
|
||||
|
||||
Память CT151 увеличена **2 → 3 ГБ**, swap 512 МБ → 1 ГБ (для 200 бэкендов
|
||||
двух гигабайт было мало). Postgres перезапущен, сервисы проверены:
|
||||
Matrix 200, Authentik 200, Git 200, hub 200, служб 74 — лежит 0.
|
||||
|
||||
Сейчас: **52 соединения из 200**.
|
||||
|
||||
### 2. Matrix-бэкап
|
||||
|
||||
Прогнан вручную — работает: 665 МБ (pg 7 файлов, files 7, config 30).
|
||||
Причина падений устранена вместе с лимитом соединений.
|
||||
|
||||
### 3. Проверено: остальное в норме
|
||||
|
||||
| Проверка | Результат |
|
||||
|---|---|
|
||||
| Упавшие юниты | **0** |
|
||||
| Службы хаба | **74, лежит 0** |
|
||||
| Matrix (Synapse) ERROR за 24 ч | **0** |
|
||||
| Сертификаты | 14 доменов, минимум **35 дней**, тревог 0 |
|
||||
| Дампы БД | Nov 15 03:15 |
|
||||
| Второй контур на VPS | Nov 15 19:47, 2.9 МБ |
|
||||
| Snapshot состояния | Nov 15 22:47 |
|
||||
| Restore-тест | 01.11: **Passed 5, Failed 0** |
|
||||
| Hermes сейчас | `ok`, событий за час 40, ошибок «too many clients» — **0** |
|
||||
|
||||
## Что требует внимания (не срочно, но стоит знать)
|
||||
|
||||
### 1. Проверка бэкапов покрывает 7 баз из 48
|
||||
|
||||
`verify-backups.sh` (воскресенье 06:00) в последнем прогоне:
|
||||
`ИТОГ: баз 48, сверено 7`. Сверяются только несколько СУБД (gitea,
|
||||
n8n и ещё), остальные не проверяются на восстановимость. Провалы
|
||||
от 16.10 (нулевые таблицы) — старые, но покрытие маленькое.
|
||||
|
||||
### 2. Память: zram заполнен на 100 %
|
||||
|
||||
```
|
||||
zram0: 7.7 ГБ / 7.7 ГБ
|
||||
media/swapfile16: 2.8 ГБ / 16 ГБ
|
||||
свободно RAM: 3.4 ГБ из 15
|
||||
PSI some: 0.72 %
|
||||
```
|
||||
|
||||
Давление памяти низкое (PSI < 1 %), но zram полон — при росте нагрузки
|
||||
начнётся активное своп-вытеснение. Стоит следить или освободить память
|
||||
(отключить неиспользуемые CT).
|
||||
|
||||
### 3. Диск бэкапов на 76 %
|
||||
|
||||
```
|
||||
/mnt/backups: 70 ГБ из 98 (dump 39 ГБ, services 17 ГБ, offsite 7.8 ГБ)
|
||||
```
|
||||
|
||||
Свободно 23 ГБ. Ротация работает, но порог стоит понизить.
|
||||
|
||||
### 4. VPN-волны (по монитору за сегодня)
|
||||
|
||||
```
|
||||
vpn-health: 138 замеров, сбоев Reality 443 — 27 (19.5 %)
|
||||
```
|
||||
|
||||
Это та самая адресная фильтрация. Решение (второй IP / релей /
|
||||
Cloudflare-именованный) всё ещё ждёт вашего выбора — без него волны
|
||||
останутся.
|
||||
|
||||
### 5. Легаси боты и комнаты
|
||||
|
||||
7 аккаунтов без активности с октября и 15 комнат старше 30 дней —
|
||||
ждут вашего решения (деактивировать/архивировать).
|
||||
|
||||
## Ловушки
|
||||
|
||||
| Ловушка | Что было |
|
||||
|---|---|
|
||||
| лимит 100 соединений | при ночных бэкапах «too many clients»; ошибки копились часами |
|
||||
| CT151 всего 2 ГБ | для 200 соединений мало; подняли до 3 ГБ |
|
||||
| pg_dump в cron | падал не из-за пароля, а из-за лимита соединений |
|
||||
| проверка бэкапов | «ИТОГ: баз 48, сверено 7» — покрытие мало |
|
||||
Reference in new issue
Block a user