Files
buryan-infra/ops/TASK-INCIDENT-2026-11-04.md

4.1 KiB
Raw Permalink Blame History

Задача на решение владельца: инцидент 04.11.2026 (перегрузка хоста)

Что произошло

04.11.2026 хост Proxmox (192.168.1.10) ушёл в самоподдерживающуюся перегрузку:

Метрика Значение на пике Норма
load average 3908 2–5
процессов всего 7578 ~350
в D-состоянии (IO-wait) 1385 0
память занята 14 из 15 ГБ 9–10 ГБ
потоки docker 4071 десятки
healthcheck.sh 1438 процессов единицы

Цепочка причин (по результатам диагностики)

  1. hub-core не мог подключиться к PostgreSQL (192.168.1.151:5432, таймаут) и перезапускался в цикле.
  2. Каждая попытка порождала pct exec/psql-процессы, которые зависали в D-состоянии.
  3. Docker-healthcheck (1438 процессов) добавлял нагрузку на dm-thin.
  4. Установленный мной FlareSolverr (Chrome, +1–2 ГБ) усугубил memory pressure на хосте, где свободной памяти не было.
  5. Диск (dm-thin) стал узким местом → iowait → новые зависания → лавина.

Железо здорово: SMART sda и nvme0n1 — PASSED; thin-pool 62 % данных, 2.8 % метаданных; ошибок I/O в журнале нет.

Что сделано для восстановления

  1. Остановлен hub-core, авторестарт отключён (drop-in Restart=no).
  2. Остановлен CT119 (Prowlarr + FlareSolverr) — не помогло, нагрузка продолжала расти.
  3. Принудительная перезагрузка reboot -f (штатный reboot не срабатывал из-за зависшего systemd).
  4. После перезагрузки корень смонтировался read-only (fsck.mode=force) → pmxcfs не стартовал → /etc/pve отсутствовал.
  5. mount -o remount,rw / + systemctl reset-failed pve-cluster && start → кластерный файлсистем восстановлен.
  6. Подняты все контейнеры: 33 из 33 running (llm-lxc остановлен намеренно).

Итог: load 3.96, D-процессов 0, память 5.2 ГБ свободно.

Что требует решения владельца

  1. FlareSolverr — удалить или оставить? Он нужен для обхода Cloudflare на RuTracker, но на этом хосте памяти мало. Варианты:
    • не использовать, искать другие источники русского контента;
    • вынести на VPS (193.233.210.184), где память есть;
    • поднять лимит памяти CT119 и следить.
  2. Почему hub-core не достучался до PostgreSQL — отдельная задача: возможно, postgres был занят IO; нужно добавить таймауты и circuit breaker, чтобы не было лавины.
  3. Docker-healthcheck — 1438 процессов это признак слишком частых проверок; пересмотреть интервалы в compose-файлах.
  4. Резерв по памяти — хост работает на пределе (10 из 15 ГБ при штатной нагрузке). Нужно решение: добавить RAM, разнести сервисы или ограничить лимиты контейнеров.

Артефакты

  • Скрипты диагностики: /tmp/{host_load_check,incident_diag,thin_pool_check,disk_health,fix_readonly,pve_services}.sh
  • Лог запуска контейнеров: /tmp/start_cts.log
  • Сводный аудит: AUDIT-SPRINT-FULL-2026-11-04.md