[OPS] Задача владельцу: инцидент перегрузки хоста 04.11 — причины, восстановление, решения

This commit is contained in:
root committed 2026-11-04 15:54:13 +03:00
1 parent c7da378f29
commit 34a55fb109
2 files changed
+132

No files matched your search

+51
View File
@@ -0,0 +1,51 @@
# Задача на решение владельца: инцидент 04.11.2026 (перегрузка хоста)
## Что произошло
04.11.2026 хост Proxmox (`192.168.1.10`) ушёл в самоподдерживающуюся перегрузку:
| Метрика | Значение на пике | Норма |
|---|---|---|
| load average | **3908** | 2–5 |
| процессов всего | **7578** | ~350 |
| в D-состоянии (IO-wait) | **1385** | 0 |
| память занята | 14 из 15 ГБ | 9–10 ГБ |
| потоки docker | 4071 | десятки |
| healthcheck.sh | 1438 процессов | единицы |
## Цепочка причин (по результатам диагностики)
1. `hub-core` не мог подключиться к PostgreSQL (`192.168.1.151:5432`, таймаут) и перезапускался в цикле.
2. Каждая попытка порождала `pct exec`/psql-процессы, которые зависали в D-состоянии.
3. Docker-healthcheck (1438 процессов) добавлял нагрузку на `dm-thin`.
4. Установленный мной **FlareSolverr** (Chrome, +1–2 ГБ) усугубил memory pressure на хосте, где свободной памяти не было.
5. Диск (`dm-thin`) стал узким местом → iowait → новые зависания → лавина.
**Железо здорово**: SMART `sda` и `nvme0n1` — PASSED; thin-pool 62 % данных, 2.8 % метаданных; ошибок I/O в журнале нет.
## Что сделано для восстановления
1. Остановлен `hub-core`, авторестарт отключён (drop-in `Restart=no`).
2. Остановлен CT119 (Prowlarr + FlareSolverr) — не помогло, нагрузка продолжала расти.
3. **Принудительная перезагрузка** `reboot -f` (штатный `reboot` не срабатывал из-за зависшего systemd).
4. После перезагрузки корень смонтировался **read-only** (`fsck.mode=force`) → `pmxcfs` не стартовал → `/etc/pve` отсутствовал.
5. `mount -o remount,rw /` + `systemctl reset-failed pve-cluster && start` → кластерный файлсистем восстановлен.
6. Подняты все контейнеры: **33 из 33 running** (llm-lxc остановлен намеренно).
Итог: load 3.96, D-процессов 0, память 5.2 ГБ свободно.
## Что требует решения владельца
1. **FlareSolverr** — удалить или оставить? Он нужен для обхода Cloudflare на RuTracker, но на этом хосте памяти мало. Варианты:
- не использовать, искать другие источники русского контента;
- вынести на VPS (`193.233.210.184`), где память есть;
- поднять лимит памяти CT119 и следить.
2. **Почему `hub-core` не достучался до PostgreSQL** — отдельная задача: возможно, postgres был занят IO; нужно добавить таймауты и circuit breaker, чтобы не было лавины.
3. **Docker-healthcheck** — 1438 процессов это признак слишком частых проверок; пересмотреть интервалы в compose-файлах.
4. **Резерв по памяти** — хост работает на пределе (10 из 15 ГБ при штатной нагрузке). Нужно решение: добавить RAM, разнести сервисы или ограничить лимиты контейнеров.
## Артефакты
- Скрипты диагностики: `/tmp/{host_load_check,incident_diag,thin_pool_check,disk_health,fix_readonly,pve_services}.sh`
- Лог запуска контейнеров: `/tmp/start_cts.log`
- Сводный аудит: `AUDIT-SPRINT-FULL-2026-11-04.md`
+81
View File
@@ -5235,3 +5235,84 @@ unknown
[2026-11-04 06:00:48] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
[2026-11-04 06:00:48] не удалось отправить уведомление для zigbee2mqtt
[2026-11-04 06:00:48] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0
[2026-11-04 12:00:02] нет данных Docker Hub: adguard/adguardhome:latest:latest
[2026-11-04 12:00:03] нет данных Docker Hub: prom/alertmanager:v0.27.0
[2026-11-04 12:00:03] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest
[2026-11-04 12:00:03] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5
[2026-11-04 12:00:04] изменение: authentik-security-redis-1 — было dig, стало 7-alpine (обновлён) (redis)
[2026-11-04 12:00:04] не удалось отправить уведомление для authentik-security-redis-1
[2026-11-04 12:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
[2026-11-04 12:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
[2026-11-04 12:00:04] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest
[2026-11-04 12:00:05] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest
[2026-11-04 12:00:06] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web)
[2026-11-04 12:00:06] не удалось отправить уведомление для calibre-web
[2026-11-04 12:00:06] нет данных Docker Hub: lissy93/dashy:latest:latest
[2026-11-04 12:00:07] нет данных Docker Hub: docmost/docmost:latest:latest
[2026-11-04 12:00:08] нет данных Docker Hub: duplicati/duplicati:latest:latest
[2026-11-04 12:00:08] нет данных Docker Hub: vectorim/element-web:latest:latest
[2026-11-04 12:00:10] нет данных Docker Hub: fireflyiii/core:latest:latest
[2026-11-04 12:00:11] нет данных Docker Hub: freshrss/freshrss:latest:latest
[2026-11-04 12:00:11] нет данных Docker Hub: gitea/gitea:latest:latest
[2026-11-04 12:00:37] нет данных Docker Hub: grafana/grafana:latest:latest
[2026-11-04 12:00:43] нет данных Docker Hub: unknown:unknown
[2026-11-04 12:00:43] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
[2026-11-04 12:00:44] нет данных Docker Hub: jellyfin/jellyfin:latest:latest
[2026-11-04 12:00:45] нет данных Docker Hub: jvmilazz0/kavita:latest:latest
[2026-11-04 12:00:46] нет данных Docker Hub: sissbruecker/linkding:latest:latest
[2026-11-04 12:00:46] нет данных Docker Hub: livekit/livekit-server:latest:latest
[2026-11-04 12:00:47] нет данных Docker Hub: grafana/loki:3.2.1
[2026-11-04 12:00:48] нет данных Docker Hub: matrixdotorg/synapse:latest:latest
[2026-11-04 12:00:49] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse)
[2026-11-04 12:00:49] не удалось отправить уведомление для matrix-synapse
[2026-11-04 12:00:50] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest
[2026-11-04 12:00:50] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest
[2026-11-04 12:00:50] нет данных Docker Hub: monica:monica
[2026-11-04 12:00:50] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
[2026-11-04 12:00:51] нет данных Docker Hub: n8nio/n8n:latest:latest
[2026-11-04 12:00:52] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine
[2026-11-04 12:00:52] нет данных Docker Hub: deluan/navidrome:latest:latest
[2026-11-04 12:00:53] нет данных Docker Hub: netboxcommunity/netbox:latest:latest
[2026-11-04 12:00:54] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud)
[2026-11-04 12:00:54] не удалось отправить уведомление для nextcloud
[2026-11-04 12:00:54] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red)
[2026-11-04 12:00:54] не удалось отправить уведомление для node_red
[2026-11-04 12:00:55] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-04 12:00:56] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest
[2026-11-04 12:00:56] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest
[2026-11-04 12:00:56] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest
[2026-11-04 12:00:57] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis)
[2026-11-04 12:00:57] не удалось отправить уведомление для paperless_redis
[2026-11-04 12:00:57] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
[2026-11-04 12:00:57] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
[2026-11-04 12:00:57] нет данных Docker Hub: linuxserver/plex:latest:latest
[2026-11-04 12:00:58] нет данных Docker Hub: prom/prometheus:latest:latest
[2026-11-04 12:00:58] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest
[2026-11-04 12:00:58] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest
[2026-11-04 12:00:58] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest
[2026-11-04 12:00:59] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis)
[2026-11-04 12:00:59] не удалось отправить уведомление для swarm-redis
[2026-11-04 12:00:59] нет данных Docker Hub: syncthing/syncthing:latest:latest
[2026-11-04 12:01:00] нет данных Docker Hub: tautulli/tautulli:latest:latest
[2026-11-04 12:01:01] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest
[2026-11-04 12:01:01] нет данных Docker Hub: louislam/uptime-kuma:latest:latest
[2026-11-04 12:01:02] нет данных Docker Hub: vaultwarden/server:latest:latest
[2026-11-04 12:01:03] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
[2026-11-04 12:01:03] не удалось отправить уведомление для zigbee2mqtt
[2026-11-04 12:01:03] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0