Files
buryan-infra/ops/ops/SELFHEAL.md
T

3.2 KiB
Raw Blame History

Самовосстановление и чистка диска (23.10)

Диск: было 99% → стало 62%

Медиа лежит на корневом LV (/dev/mapper/pve-root), а не на отдельном диске. Скачанные раздачи дублировали файлы в /mnt/media/downloads — 39 ГБ лишнего.

Сделано: удалены 11 завершённых раздач вместе с файлами → освобождено 41 ГБ (1.1 ГБ → 40 ГБ свободно).

Автоочистка раздач — hub-dl-cleanup.timer (04:40)

/opt/hub-core/downloads_cleanup.py:

  1. берёт раздачи qBittorrent с прогрессом 100%;
  2. пропускает те, что ещё в очереди Sonarr/Radarr;
  3. удаляет раздачу вместе с файлами;
  4. убирает пустые каталоги и недокачанные .!qB.

Проверка: пробный запуск — 0 действий (всё уже вычищено вручную).

Самовосстановление — hub-selfheal.timer (каждые 15 минут)

/opt/hub-core/selfheal.py проверяет три уровня:

Уровень Что проверяется Действие
systemd hub-core, hub-bots, telegram-userbot, nginx, buryan-notify, telegram-proxy, telegram-relay systemctl restart
контейнеры 16 контейнеров (Kavita, Calibre, Jellyfin, HA, Authentik, Sonarr, Radarr, Grafana, 7 oauth2-proxy) docker start
HTTP hub-core, Grafana, Jellyfin, Sonarr, Radarr, Authentik рестарт после 2 неудач подряд

Каждое действие:

  • пишется в /var/lib/hub-agents/selfheal.json;
  • пишется в дневной журнал класса B (journal/YYYY-MM-DD-actions.jsonl);
  • уходит событием в шину хаба (source=selfheal);
  • приходит владельцу в Matrix.

Проверено на живых сбоях

остановили oauth2-proxy-calibre  → «Calibre-прокси: exited -> running»
остановили oauth2-proxy-freshrss → «RSS-прокси: exited -> running»

Метрики плана после работы

Метрика Было Стало
Автоматизации HA 0 12
Действия класса B 0 1
Фильмы в Jellyfin 1/14 2/14
Сериалы в Jellyfin 0/5 1/6

Ловушки

  1. hz-nginx не существует — юнит называется nginx. Ошибка в списке давала ложное «действие» каждый запуск. Списки надо сверять с systemctl list-units.
  2. Sonarr v3 не удаляет раздачи после импорта (removeCompletedDownloads в его API нет) — поэтому чистка сделана своей задачей, а не настройкой клиента.
  3. qBittorrent max_ratio не удаляет файлы — только торрент. Тоже причина держать чистку отдельно.