From 6d6401a4175cfd3d431ae6c608fa6952594c10ed Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Sun, 15 Nov 2026 22:59:35 +0300 Subject: [PATCH] =?UTF-8?q?[OPS]=20=D0=90=D0=BD=D0=B0=D0=BB=D0=B8=D0=B7=20?= =?UTF-8?q?=D0=BB=D0=BE=D0=B3=D0=BE=D0=B2:=20=D0=B3=D0=BB=D0=B0=D0=B2?= =?UTF-8?q?=D0=BD=D0=B0=D1=8F=20=D0=BF=D1=80=D0=BE=D0=B1=D0=BB=D0=B5=D0=BC?= =?UTF-8?q?=D0=B0=20=E2=80=94=20Postgres=20=D1=83=D0=BF=D0=B8=D1=80=D0=B0?= =?UTF-8?q?=D0=BB=D1=81=D1=8F=20=D0=B2=20max=5Fconnections=3D100=20(=D1=82?= =?UTF-8?q?=D1=8B=D1=81=D1=8F=D1=87=D0=B8=20'too=20many=20clients'=20?= =?UTF-8?q?=D0=B2=2004:00-07:00,=20492=20=D1=81=D0=BE=D0=B1=D1=8B=D1=82?= =?UTF-8?q?=D0=B8=D1=8F=20=D0=B2=20Hermes=20=D0=B7=D0=B0=20=D1=81=D1=83?= =?UTF-8?q?=D1=82=D0=BA=D0=B8),=20=D0=B8=D0=B7-=D0=B7=D0=B0=20=D1=8D=D1=82?= =?UTF-8?q?=D0=BE=D0=B3=D0=BE=20=D0=BF=D0=B0=D0=B4=D0=B0=D0=BB=20cron-?= =?UTF-8?q?=D0=B1=D1=8D=D0=BA=D0=B0=D0=BF=20Matrix=20=D1=81=207=20=D0=BE?= =?UTF-8?q?=D0=BA=D1=82=D1=8F=D0=B1=D1=80=D1=8F=20=D0=B8=20=D0=B2=D1=82?= =?UTF-8?q?=D0=BE=D1=80=D0=BE=D0=B9=20=D0=BA=D0=BE=D0=BD=D1=82=D1=83=D1=80?= =?UTF-8?q?.=20=D0=98=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD?= =?UTF-8?q?=D0=BE:=20max=5Fconnections=20100=E2=86=92200,=20idle=5Fsession?= =?UTF-8?q?=5Ftimeout=2015min,=20idle=5Fin=5Ftransaction=205min,=20=D0=BF?= =?UTF-8?q?=D0=B0=D0=BC=D1=8F=D1=82=D1=8C=20CT151=202=E2=86=923=20=D0=93?= =?UTF-8?q?=D0=91,=20Postgres=20=D0=BF=D0=B5=D1=80=D0=B5=D0=B7=D0=B0=D0=BF?= =?UTF-8?q?=D1=83=D1=89=D0=B5=D0=BD,=20=D1=81=D0=B5=D1=80=D0=B2=D0=B8?= =?UTF-8?q?=D1=81=D1=8B=20200/74-0.=20Matrix-=D0=B1=D1=8D=D0=BA=D0=B0?= =?UTF-8?q?=D0=BF=20=D0=BF=D1=80=D0=BE=D0=B3=D0=BD=D0=B0=D0=BD=20=D0=B2?= =?UTF-8?q?=D1=80=D1=83=D1=87=D0=BD=D1=83=D1=8E=20=E2=80=94=20665=20=D0=9C?= =?UTF-8?q?=D0=91,=20=D0=BE=D0=BA.=20=D0=9F=D1=80=D0=BE=D0=B2=D0=B5=D1=80?= =?UTF-8?q?=D0=B5=D0=BD=D0=BE:=200=20failed=20units,=20Synapse=200=20?= =?UTF-8?q?=D0=BE=D1=88=D0=B8=D0=B1=D0=BE=D0=BA,=20=D1=81=D0=B5=D1=80?= =?UTF-8?q?=D1=82=D0=B8=D1=84=D0=B8=D0=BA=D0=B0=D1=82=D1=8B=2035=20=D0=B4?= =?UTF-8?q?=D0=BD=D0=B5=D0=B9,=20restore-=D1=82=D0=B5=D1=81=D1=82=20Passed?= =?UTF-8?q?=205.=20=D0=92=D0=BD=D0=B8=D0=BC=D0=B0=D0=BD=D0=B8=D0=B5:=20ver?= =?UTF-8?q?ify-backups=20=D0=BF=D0=BE=D0=BA=D1=80=D1=8B=D0=B2=D0=B0=D0=B5?= =?UTF-8?q?=D1=82=207=20=D0=B8=D0=B7=2048=20=D0=B1=D0=B0=D0=B7,=20zram=201?= =?UTF-8?q?00%,=20/mnt/backups=2076%,=20VPN-=D0=B2=D0=BE=D0=BB=D0=BD=D1=8B?= =?UTF-8?q?=2027/138?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/audits/LOGS-ANALYSIS-2026-11-15.md | 120 +++++++++++++++++++++++++ 1 file changed, 120 insertions(+) create mode 100644 ops/audits/LOGS-ANALYSIS-2026-11-15.md diff --git a/ops/audits/LOGS-ANALYSIS-2026-11-15.md b/ops/audits/LOGS-ANALYSIS-2026-11-15.md new file mode 100644 index 0000000..bebf363 --- /dev/null +++ b/ops/audits/LOGS-ANALYSIS-2026-11-15.md @@ -0,0 +1,120 @@ +# Анализ логов: что нашлось и что исправлено (15.11.2026) + +Владелец: «проанализируй логи, какие проблемы и что срочно исправить». + +## Главная проблема: Postgres упирался в лимит соединений + +За 48 часов в логах Hermes: **тысячи** строк + +``` +psycopg2.OperationalError: connection to server at "192.168.1.151", +port 5432 failed: FATAL: sorry, too many clients already +``` + +Распределение по часам (за 48 ч): + +| Час | Ошибок | +|---|---| +| 04:00 | 1 618 | +| 05:00 | 1 920 | +| 06:00 | 2 982 | +| 07:00 | 2 390 | + +Это ровно окно ночных бэкапов и дампов: `max_connections = 100`, +а в пик все сервисы + дампы упирались в потолок. За 24 часа — **492 +события** в Hermes. + +Побочные жертвы той же причины: + +* `cron-matrix.log` — **«pg_dump failed»** с 7 октября: ночной дамп + Matrix падал на «too many clients»; +* `hub-second-contour` — сборка архива шла, а отправка не проходила. + +## Что сделано + +### 1. Postgres: лимит соединений и таймауты + +``` +max_connections: 100 → 200 +idle_session_timeout: 0 → 15min +idle_in_transaction_timeout: 0 → 5min +``` + +Память CT151 увеличена **2 → 3 ГБ**, swap 512 МБ → 1 ГБ (для 200 бэкендов +двух гигабайт было мало). Postgres перезапущен, сервисы проверены: +Matrix 200, Authentik 200, Git 200, hub 200, служб 74 — лежит 0. + +Сейчас: **52 соединения из 200**. + +### 2. Matrix-бэкап + +Прогнан вручную — работает: 665 МБ (pg 7 файлов, files 7, config 30). +Причина падений устранена вместе с лимитом соединений. + +### 3. Проверено: остальное в норме + +| Проверка | Результат | +|---|---| +| Упавшие юниты | **0** | +| Службы хаба | **74, лежит 0** | +| Matrix (Synapse) ERROR за 24 ч | **0** | +| Сертификаты | 14 доменов, минимум **35 дней**, тревог 0 | +| Дампы БД | Nov 15 03:15 | +| Второй контур на VPS | Nov 15 19:47, 2.9 МБ | +| Snapshot состояния | Nov 15 22:47 | +| Restore-тест | 01.11: **Passed 5, Failed 0** | +| Hermes сейчас | `ok`, событий за час 40, ошибок «too many clients» — **0** | + +## Что требует внимания (не срочно, но стоит знать) + +### 1. Проверка бэкапов покрывает 7 баз из 48 + +`verify-backups.sh` (воскресенье 06:00) в последнем прогоне: +`ИТОГ: баз 48, сверено 7`. Сверяются только несколько СУБД (gitea, +n8n и ещё), остальные не проверяются на восстановимость. Провалы +от 16.10 (нулевые таблицы) — старые, но покрытие маленькое. + +### 2. Память: zram заполнен на 100 % + +``` +zram0: 7.7 ГБ / 7.7 ГБ +media/swapfile16: 2.8 ГБ / 16 ГБ +свободно RAM: 3.4 ГБ из 15 +PSI some: 0.72 % +``` + +Давление памяти низкое (PSI < 1 %), но zram полон — при росте нагрузки +начнётся активное своп-вытеснение. Стоит следить или освободить память +(отключить неиспользуемые CT). + +### 3. Диск бэкапов на 76 % + +``` +/mnt/backups: 70 ГБ из 98 (dump 39 ГБ, services 17 ГБ, offsite 7.8 ГБ) +``` + +Свободно 23 ГБ. Ротация работает, но порог стоит понизить. + +### 4. VPN-волны (по монитору за сегодня) + +``` +vpn-health: 138 замеров, сбоев Reality 443 — 27 (19.5 %) +``` + +Это та самая адресная фильтрация. Решение (второй IP / релей / +Cloudflare-именованный) всё ещё ждёт вашего выбора — без него волны +останутся. + +### 5. Легаси боты и комнаты + +7 аккаунтов без активности с октября и 15 комнат старше 30 дней — +ждут вашего решения (деактивировать/архивировать). + +## Ловушки + +| Ловушка | Что было | +|---|---| +| лимит 100 соединений | при ночных бэкапах «too many clients»; ошибки копились часами | +| CT151 всего 2 ГБ | для 200 соединений мало; подняли до 3 ГБ | +| pg_dump в cron | падал не из-за пароля, а из-за лимита соединений | +| проверка бэкапов | «ИТОГ: баз 48, сверено 7» — покрытие мало |