Files
buryan-infra/ops/hermes/HERMES-JOB-FAILS-2026-11-09.md
T

3.1 KiB

Hermes: почему задания падали тысячами (09.11.2026)

Что было

hermes_job_fails показывал пугающие числа:

Задание runs fails
check-services 8811 6949
home-heartbeat 3411 661
updates-check 432 111
export-service-metrics 8554 83
direct-health-check 3490 73

Причины (все разные)

1. check-services — флаки-проверка шлюза туннеля

Скрипт делает 58 проверок, и одна из них — «выход прокси должен быть адресом VPS»:

got=$(curl -s --max-time 30 -x http://192.168.1.161:7890 https://api.ipify.org)

api.ipify.org периодически не отвечает за 30 секунд → проверка проваливалась → скрипт exit 1 → Hermes фиксировал провал задания. 196 провалов за сутки.

Исправлено: 3 попытки × 2 сервиса (ipify + ifconfig.me). Проверено: 3 прогона подряд — «✅ всё в порядке, проверено: 58».

2. home-heartbeat — нестабильный SSH к VPS

Connection timed out during banner exchange — SSH к VPS иногда рвётся на этапе баннера. 90 провалов за сутки.

Исправлено: в команде задания 3 попытки с паузой 5 секунд и ServerAliveInterval.

3. audit-targets — мониторинг считал /health мёртвым

Эндпоинт /health в hub-core существует, но опрашивает 125 служб и Alertmanager — отвечает дольше таймаута аудита.

Исправлено: /health теперь быстрый liveness (ok, число событий, loadavg), полный статус переехал на /health/full. Проверено: audit-targets → код 0, «проверено адресов: 60, мёртвых: 0».

4. ai-digest и rag-reindex — таймауты

LLM-задания упирались в 300 и 3600 секунд, когда Ollama занята (ночной сбор).

Исправлено: ai-digest timeout 300 → 1200, rag-reindex 3600 → 7200

  • 1 повтор.

Ловушка

При правке jobs.yaml я сломал YAML неаккуратной заменой — Hermes молча загрузил 0 заданий (планировщик жив, работы нет). Поймал только проверкой safe_load. Правило: после любой правки jobs.yaml — валидировать YAML.

Итог

  • check-services — 0 провалов, проверки проходят стабильно
  • home-heartbeat — 3 попытки вместо 1
  • audit-targets — код 0
  • таймауты LLM-заданий увеличены
  • счётчики провалов обнулены после устранения причин