3.1 KiB
Hermes: почему задания падали тысячами (09.11.2026)
Что было
hermes_job_fails показывал пугающие числа:
| Задание | runs | fails |
|---|---|---|
| check-services | 8811 | 6949 |
| home-heartbeat | 3411 | 661 |
| updates-check | 432 | 111 |
| export-service-metrics | 8554 | 83 |
| direct-health-check | 3490 | 73 |
Причины (все разные)
1. check-services — флаки-проверка шлюза туннеля
Скрипт делает 58 проверок, и одна из них — «выход прокси должен быть адресом VPS»:
got=$(curl -s --max-time 30 -x http://192.168.1.161:7890 https://api.ipify.org)
api.ipify.org периодически не отвечает за 30 секунд → проверка проваливалась →
скрипт exit 1 → Hermes фиксировал провал задания. 196 провалов за сутки.
Исправлено: 3 попытки × 2 сервиса (ipify + ifconfig.me). Проверено: 3 прогона подряд — «✅ всё в порядке, проверено: 58».
2. home-heartbeat — нестабильный SSH к VPS
Connection timed out during banner exchange — SSH к VPS иногда рвётся на этапе
баннера. 90 провалов за сутки.
Исправлено: в команде задания 3 попытки с паузой 5 секунд и
ServerAliveInterval.
3. audit-targets — мониторинг считал /health мёртвым
Эндпоинт /health в hub-core существует, но опрашивает 125 служб и
Alertmanager — отвечает дольше таймаута аудита.
Исправлено: /health теперь быстрый liveness (ok, число событий,
loadavg), полный статус переехал на /health/full.
Проверено: audit-targets → код 0, «проверено адресов: 60, мёртвых: 0».
4. ai-digest и rag-reindex — таймауты
LLM-задания упирались в 300 и 3600 секунд, когда Ollama занята (ночной сбор).
Исправлено: ai-digest timeout 300 → 1200, rag-reindex 3600 → 7200
- 1 повтор.
Ловушка
При правке jobs.yaml я сломал YAML неаккуратной заменой — Hermes молча
загрузил 0 заданий (планировщик жив, работы нет). Поймал только проверкой
safe_load. Правило: после любой правки jobs.yaml — валидировать YAML.
Итог
check-services— 0 провалов, проверки проходят стабильноhome-heartbeat— 3 попытки вместо 1audit-targets— код 0- таймауты LLM-заданий увеличены
- счётчики провалов обнулены после устранения причин