diff --git a/ops/hermes/HERMES-JOB-FAILS-2026-11-09.md b/ops/hermes/HERMES-JOB-FAILS-2026-11-09.md new file mode 100644 index 0000000..a4dc5aa --- /dev/null +++ b/ops/hermes/HERMES-JOB-FAILS-2026-11-09.md @@ -0,0 +1,67 @@ +# Hermes: почему задания падали тысячами (09.11.2026) + +## Что было + +`hermes_job_fails` показывал пугающие числа: + +| Задание | runs | fails | +|---|---|---| +| check-services | 8811 | **6949** | +| home-heartbeat | 3411 | **661** | +| updates-check | 432 | 111 | +| export-service-metrics | 8554 | 83 | +| direct-health-check | 3490 | 73 | + +## Причины (все разные) + +### 1. `check-services` — флаки-проверка шлюза туннеля + +Скрипт делает 58 проверок, и одна из них — «выход прокси должен быть адресом VPS»: + +```bash +got=$(curl -s --max-time 30 -x http://192.168.1.161:7890 https://api.ipify.org) +``` + +`api.ipify.org` периодически не отвечает за 30 секунд → проверка проваливалась → +скрипт `exit 1` → Hermes фиксировал провал задания. **196 провалов за сутки.** + +**Исправлено:** 3 попытки × 2 сервиса (ipify + ifconfig.me). Проверено: 3 прогона +подряд — «✅ всё в порядке, проверено: 58». + +### 2. `home-heartbeat` — нестабильный SSH к VPS + +`Connection timed out during banner exchange` — SSH к VPS иногда рвётся на этапе +баннера. 90 провалов за сутки. + +**Исправлено:** в команде задания 3 попытки с паузой 5 секунд и +`ServerAliveInterval`. + +### 3. `audit-targets` — мониторинг считал `/health` мёртвым + +Эндпоинт `/health` в hub-core существует, но опрашивает **125 служб** и +Alertmanager — отвечает дольше таймаута аудита. + +**Исправлено:** `/health` теперь **быстрый liveness** (`ok`, число событий, +loadavg), полный статус переехал на `/health/full`. +Проверено: `audit-targets` → код 0, «проверено адресов: 60, мёртвых: 0». + +### 4. `ai-digest` и `rag-reindex` — таймауты + +LLM-задания упирались в 300 и 3600 секунд, когда Ollama занята (ночной сбор). + +**Исправлено:** `ai-digest` timeout 300 → **1200**, `rag-reindex` 3600 → **7200** ++ 1 повтор. + +## Ловушка + +При правке `jobs.yaml` я **сломал YAML** неаккуратной заменой — Hermes молча +загрузил 0 заданий (планировщик жив, работы нет). Поймал только проверкой +`safe_load`. **Правило: после любой правки jobs.yaml — валидировать YAML.** + +## Итог + +* `check-services` — 0 провалов, проверки проходят стабильно +* `home-heartbeat` — 3 попытки вместо 1 +* `audit-targets` — код 0 +* таймауты LLM-заданий увеличены +* счётчики провалов обнулены после устранения причин