From ae447b12f74f5be4b278c7471b36343dbd82e9d2 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Mon, 9 Nov 2026 23:48:06 +0300 Subject: [PATCH] =?UTF-8?q?[HERMES]=20=D0=A3=D1=81=D1=82=D1=80=D0=B0=D0=BD?= =?UTF-8?q?=D0=B5=D0=BD=D1=8B=20=D0=BC=D0=B0=D1=81=D1=81=D0=BE=D0=B2=D1=8B?= =?UTF-8?q?=D0=B5=20=D0=BF=D1=80=D0=BE=D0=B2=D0=B0=D0=BB=D1=8B=20=D0=B7?= =?UTF-8?q?=D0=B0=D0=B4=D0=B0=D0=BD=D0=B8=D0=B9:=20check-services=20=D0=BF?= =?UTF-8?q?=D0=B0=D0=B4=D0=B0=D0=BB=20=D0=B8=D0=B7-=D0=B7=D0=B0=20=D1=84?= =?UTF-8?q?=D0=BB=D0=B0=D0=BA=D0=B8-=D0=BF=D1=80=D0=BE=D0=B2=D0=B5=D1=80?= =?UTF-8?q?=D0=BA=D0=B8=20=D1=82=D1=83=D0=BD=D0=BD=D0=B5=D0=BB=D1=8F=20(3?= =?UTF-8?q?=20=D0=BF=D0=BE=D0=BF=D1=8B=D1=82=D0=BA=D0=B8=20+=20=D1=80?= =?UTF-8?q?=D0=B5=D0=B7=D0=B5=D1=80=D0=B2=D0=BD=D1=8B=D0=B9=20=D1=81=D0=B5?= =?UTF-8?q?=D1=80=D0=B2=D0=B8=D1=81),=20home-heartbeat=20=E2=80=94=20SSH?= =?UTF-8?q?=20=D1=81=20=D1=80=D0=B5=D1=82=D1=80=D0=B0=D1=8F=D0=BC=D0=B8,?= =?UTF-8?q?=20audit-targets=20=E2=80=94=20=D0=B1=D1=8B=D1=81=D1=82=D1=80?= =?UTF-8?q?=D1=8B=D0=B9=20/health=20=D0=B2=D0=BC=D0=B5=D1=81=D1=82=D0=BE?= =?UTF-8?q?=20=D1=82=D1=8F=D0=B6=D1=91=D0=BB=D0=BE=D0=B3=D0=BE,=20=D1=82?= =?UTF-8?q?=D0=B0=D0=B9=D0=BC=D0=B0=D1=83=D1=82=D1=8B=20ai-digest=20=D0=B8?= =?UTF-8?q?=20rag-reindex=20=D1=83=D0=B2=D0=B5=D0=BB=D0=B8=D1=87=D0=B5?= =?UTF-8?q?=D0=BD=D1=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/hermes/HERMES-JOB-FAILS-2026-11-09.md | 67 +++++++++++++++++++++++ 1 file changed, 67 insertions(+) create mode 100644 ops/hermes/HERMES-JOB-FAILS-2026-11-09.md diff --git a/ops/hermes/HERMES-JOB-FAILS-2026-11-09.md b/ops/hermes/HERMES-JOB-FAILS-2026-11-09.md new file mode 100644 index 0000000..a4dc5aa --- /dev/null +++ b/ops/hermes/HERMES-JOB-FAILS-2026-11-09.md @@ -0,0 +1,67 @@ +# Hermes: почему задания падали тысячами (09.11.2026) + +## Что было + +`hermes_job_fails` показывал пугающие числа: + +| Задание | runs | fails | +|---|---|---| +| check-services | 8811 | **6949** | +| home-heartbeat | 3411 | **661** | +| updates-check | 432 | 111 | +| export-service-metrics | 8554 | 83 | +| direct-health-check | 3490 | 73 | + +## Причины (все разные) + +### 1. `check-services` — флаки-проверка шлюза туннеля + +Скрипт делает 58 проверок, и одна из них — «выход прокси должен быть адресом VPS»: + +```bash +got=$(curl -s --max-time 30 -x http://192.168.1.161:7890 https://api.ipify.org) +``` + +`api.ipify.org` периодически не отвечает за 30 секунд → проверка проваливалась → +скрипт `exit 1` → Hermes фиксировал провал задания. **196 провалов за сутки.** + +**Исправлено:** 3 попытки × 2 сервиса (ipify + ifconfig.me). Проверено: 3 прогона +подряд — «✅ всё в порядке, проверено: 58». + +### 2. `home-heartbeat` — нестабильный SSH к VPS + +`Connection timed out during banner exchange` — SSH к VPS иногда рвётся на этапе +баннера. 90 провалов за сутки. + +**Исправлено:** в команде задания 3 попытки с паузой 5 секунд и +`ServerAliveInterval`. + +### 3. `audit-targets` — мониторинг считал `/health` мёртвым + +Эндпоинт `/health` в hub-core существует, но опрашивает **125 служб** и +Alertmanager — отвечает дольше таймаута аудита. + +**Исправлено:** `/health` теперь **быстрый liveness** (`ok`, число событий, +loadavg), полный статус переехал на `/health/full`. +Проверено: `audit-targets` → код 0, «проверено адресов: 60, мёртвых: 0». + +### 4. `ai-digest` и `rag-reindex` — таймауты + +LLM-задания упирались в 300 и 3600 секунд, когда Ollama занята (ночной сбор). + +**Исправлено:** `ai-digest` timeout 300 → **1200**, `rag-reindex` 3600 → **7200** ++ 1 повтор. + +## Ловушка + +При правке `jobs.yaml` я **сломал YAML** неаккуратной заменой — Hermes молча +загрузил 0 заданий (планировщик жив, работы нет). Поймал только проверкой +`safe_load`. **Правило: после любой правки jobs.yaml — валидировать YAML.** + +## Итог + +* `check-services` — 0 провалов, проверки проходят стабильно +* `home-heartbeat` — 3 попытки вместо 1 +* `audit-targets` — код 0 +* таймауты LLM-заданий увеличены +* счётчики провалов обнулены после устранения причин