[HERMES] Устранены массовые провалы заданий: check-services падал из-за флаки-проверки туннеля (3 попытки + резервный сервис), home-heartbeat — SSH с ретраями, audit-targets — быстрый /health вместо тяжёлого, таймауты ai-digest и rag-reindex увеличены

This commit is contained in:
root committed 2026-11-09 23:48:06 +03:00
1 parent 0ebd1e57bd
commit ae447b12f7
1 file changed
+67
+67
View File
@@ -0,0 +1,67 @@
# Hermes: почему задания падали тысячами (09.11.2026)
## Что было
`hermes_job_fails` показывал пугающие числа:
| Задание | runs | fails |
|---|---|---|
| check-services | 8811 | **6949** |
| home-heartbeat | 3411 | **661** |
| updates-check | 432 | 111 |
| export-service-metrics | 8554 | 83 |
| direct-health-check | 3490 | 73 |
## Причины (все разные)
### 1. `check-services` — флаки-проверка шлюза туннеля
Скрипт делает 58 проверок, и одна из них — «выход прокси должен быть адресом VPS»:
```bash
got=$(curl -s --max-time 30 -x http://192.168.1.161:7890 https://api.ipify.org)
```
`api.ipify.org` периодически не отвечает за 30 секунд → проверка проваливалась →
скрипт `exit 1` → Hermes фиксировал провал задания. **196 провалов за сутки.**
**Исправлено:** 3 попытки × 2 сервиса (ipify + ifconfig.me). Проверено: 3 прогона
подряд — «✅ всё в порядке, проверено: 58».
### 2. `home-heartbeat` — нестабильный SSH к VPS
`Connection timed out during banner exchange` — SSH к VPS иногда рвётся на этапе
баннера. 90 провалов за сутки.
**Исправлено:** в команде задания 3 попытки с паузой 5 секунд и
`ServerAliveInterval`.
### 3. `audit-targets` — мониторинг считал `/health` мёртвым
Эндпоинт `/health` в hub-core существует, но опрашивает **125 служб** и
Alertmanager — отвечает дольше таймаута аудита.
**Исправлено:** `/health` теперь **быстрый liveness** (`ok`, число событий,
loadavg), полный статус переехал на `/health/full`.
Проверено: `audit-targets` → код 0, «проверено адресов: 60, мёртвых: 0».
### 4. `ai-digest` и `rag-reindex` — таймауты
LLM-задания упирались в 300 и 3600 секунд, когда Ollama занята (ночной сбор).
**Исправлено:** `ai-digest` timeout 300 → **1200**, `rag-reindex` 3600 → **7200**
+ 1 повтор.
## Ловушка
При правке `jobs.yaml` я **сломал YAML** неаккуратной заменой — Hermes молча
загрузил 0 заданий (планировщик жив, работы нет). Поймал только проверкой
`safe_load`. **Правило: после любой правки jobs.yaml — валидировать YAML.**
## Итог
* `check-services` — 0 провалов, проверки проходят стабильно
* `home-heartbeat` — 3 попытки вместо 1
* `audit-targets` — код 0
* таймауты LLM-заданий увеличены
* счётчики провалов обнулены после устранения причин