[HERMES] Устранены массовые провалы заданий: check-services падал из-за флаки-проверки туннеля (3 попытки + резервный сервис), home-heartbeat — SSH с ретраями, audit-targets — быстрый /health вместо тяжёлого, таймауты ai-digest и rag-reindex увеличены
This commit is contained in:
1 parent
0ebd1e57bd
commit
ae447b12f7
1 file changed
+67
@@ -0,0 +1,67 @@
|
|||||||
|
# Hermes: почему задания падали тысячами (09.11.2026)
|
||||||
|
|
||||||
|
## Что было
|
||||||
|
|
||||||
|
`hermes_job_fails` показывал пугающие числа:
|
||||||
|
|
||||||
|
| Задание | runs | fails |
|
||||||
|
|---|---|---|
|
||||||
|
| check-services | 8811 | **6949** |
|
||||||
|
| home-heartbeat | 3411 | **661** |
|
||||||
|
| updates-check | 432 | 111 |
|
||||||
|
| export-service-metrics | 8554 | 83 |
|
||||||
|
| direct-health-check | 3490 | 73 |
|
||||||
|
|
||||||
|
## Причины (все разные)
|
||||||
|
|
||||||
|
### 1. `check-services` — флаки-проверка шлюза туннеля
|
||||||
|
|
||||||
|
Скрипт делает 58 проверок, и одна из них — «выход прокси должен быть адресом VPS»:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
got=$(curl -s --max-time 30 -x http://192.168.1.161:7890 https://api.ipify.org)
|
||||||
|
```
|
||||||
|
|
||||||
|
`api.ipify.org` периодически не отвечает за 30 секунд → проверка проваливалась →
|
||||||
|
скрипт `exit 1` → Hermes фиксировал провал задания. **196 провалов за сутки.**
|
||||||
|
|
||||||
|
**Исправлено:** 3 попытки × 2 сервиса (ipify + ifconfig.me). Проверено: 3 прогона
|
||||||
|
подряд — «✅ всё в порядке, проверено: 58».
|
||||||
|
|
||||||
|
### 2. `home-heartbeat` — нестабильный SSH к VPS
|
||||||
|
|
||||||
|
`Connection timed out during banner exchange` — SSH к VPS иногда рвётся на этапе
|
||||||
|
баннера. 90 провалов за сутки.
|
||||||
|
|
||||||
|
**Исправлено:** в команде задания 3 попытки с паузой 5 секунд и
|
||||||
|
`ServerAliveInterval`.
|
||||||
|
|
||||||
|
### 3. `audit-targets` — мониторинг считал `/health` мёртвым
|
||||||
|
|
||||||
|
Эндпоинт `/health` в hub-core существует, но опрашивает **125 служб** и
|
||||||
|
Alertmanager — отвечает дольше таймаута аудита.
|
||||||
|
|
||||||
|
**Исправлено:** `/health` теперь **быстрый liveness** (`ok`, число событий,
|
||||||
|
loadavg), полный статус переехал на `/health/full`.
|
||||||
|
Проверено: `audit-targets` → код 0, «проверено адресов: 60, мёртвых: 0».
|
||||||
|
|
||||||
|
### 4. `ai-digest` и `rag-reindex` — таймауты
|
||||||
|
|
||||||
|
LLM-задания упирались в 300 и 3600 секунд, когда Ollama занята (ночной сбор).
|
||||||
|
|
||||||
|
**Исправлено:** `ai-digest` timeout 300 → **1200**, `rag-reindex` 3600 → **7200**
|
||||||
|
+ 1 повтор.
|
||||||
|
|
||||||
|
## Ловушка
|
||||||
|
|
||||||
|
При правке `jobs.yaml` я **сломал YAML** неаккуратной заменой — Hermes молча
|
||||||
|
загрузил 0 заданий (планировщик жив, работы нет). Поймал только проверкой
|
||||||
|
`safe_load`. **Правило: после любой правки jobs.yaml — валидировать YAML.**
|
||||||
|
|
||||||
|
## Итог
|
||||||
|
|
||||||
|
* `check-services` — 0 провалов, проверки проходят стабильно
|
||||||
|
* `home-heartbeat` — 3 попытки вместо 1
|
||||||
|
* `audit-targets` — код 0
|
||||||
|
* таймауты LLM-заданий увеличены
|
||||||
|
* счётчики провалов обнулены после устранения причин
|
||||||
Reference in new issue
Block a user