4.1 KiB
4.1 KiB
Задача на решение владельца: инцидент 04.11.2026 (перегрузка хоста)
Что произошло
04.11.2026 хост Proxmox (192.168.1.10) ушёл в самоподдерживающуюся перегрузку:
| Метрика | Значение на пике | Норма |
|---|---|---|
| load average | 3908 | 2–5 |
| процессов всего | 7578 | ~350 |
| в D-состоянии (IO-wait) | 1385 | 0 |
| память занята | 14 из 15 ГБ | 9–10 ГБ |
| потоки docker | 4071 | десятки |
| healthcheck.sh | 1438 процессов | единицы |
Цепочка причин (по результатам диагностики)
hub-coreне мог подключиться к PostgreSQL (192.168.1.151:5432, таймаут) и перезапускался в цикле.- Каждая попытка порождала
pct exec/psql-процессы, которые зависали в D-состоянии. - Docker-healthcheck (1438 процессов) добавлял нагрузку на
dm-thin. - Установленный мной FlareSolverr (Chrome, +1–2 ГБ) усугубил memory pressure на хосте, где свободной памяти не было.
- Диск (
dm-thin) стал узким местом → iowait → новые зависания → лавина.
Железо здорово: SMART sda и nvme0n1 — PASSED; thin-pool 62 % данных, 2.8 % метаданных; ошибок I/O в журнале нет.
Что сделано для восстановления
- Остановлен
hub-core, авторестарт отключён (drop-inRestart=no). - Остановлен CT119 (Prowlarr + FlareSolverr) — не помогло, нагрузка продолжала расти.
- Принудительная перезагрузка
reboot -f(штатныйrebootне срабатывал из-за зависшего systemd). - После перезагрузки корень смонтировался read-only (
fsck.mode=force) →pmxcfsне стартовал →/etc/pveотсутствовал. mount -o remount,rw /+systemctl reset-failed pve-cluster && start→ кластерный файлсистем восстановлен.- Подняты все контейнеры: 33 из 33 running (llm-lxc остановлен намеренно).
Итог: load 3.96, D-процессов 0, память 5.2 ГБ свободно.
Что требует решения владельца
- FlareSolverr — удалить или оставить? Он нужен для обхода Cloudflare на RuTracker, но на этом хосте памяти мало. Варианты:
- не использовать, искать другие источники русского контента;
- вынести на VPS (
193.233.210.184), где память есть; - поднять лимит памяти CT119 и следить.
- Почему
hub-coreне достучался до PostgreSQL — отдельная задача: возможно, postgres был занят IO; нужно добавить таймауты и circuit breaker, чтобы не было лавины. - Docker-healthcheck — 1438 процессов это признак слишком частых проверок; пересмотреть интервалы в compose-файлах.
- Резерв по памяти — хост работает на пределе (10 из 15 ГБ при штатной нагрузке). Нужно решение: добавить RAM, разнести сервисы или ограничить лимиты контейнеров.
Артефакты
- Скрипты диагностики:
/tmp/{host_load_check,incident_diag,thin_pool_check,disk_health,fix_readonly,pve_services}.sh - Лог запуска контейнеров:
/tmp/start_cts.log - Сводный аудит:
AUDIT-SPRINT-FULL-2026-11-04.md