From c322f8abf3d94199643bc290ca1b766a222c115a Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Wed, 28 Oct 2026 12:46:45 +0300 Subject: [PATCH] =?UTF-8?q?[HERMES]=20cron=20=E2=86=92=20Hermes:=20=D0=BC?= =?UTF-8?q?=D0=B5=D1=82=D1=80=D0=B8=D0=BA=D0=B8,=20health-check,=20=D0=BF?= =?UTF-8?q?=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D0=BA=D0=B0=20=D1=81=D0=BB=D1=83?= =?UTF-8?q?=D0=B6=D0=B1,=20=D1=81=D1=82=D0=BE=D1=80=D0=BE=D0=B6=20=D1=80?= =?UTF-8?q?=D0=BE=D1=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/hermes/README.md | 15 +++++++++++ ops/hermes/jobs.yaml | 46 ++++++++++++++++++++++++++------ ops/monitoring/check-services.sh | 16 ++++++++--- 3 files changed, 65 insertions(+), 12 deletions(-) mode change 100644 => 100755 ops/monitoring/check-services.sh diff --git a/ops/hermes/README.md b/ops/hermes/README.md index 248c05b..8ce5038 100644 --- a/ops/hermes/README.md +++ b/ops/hermes/README.md @@ -33,6 +33,21 @@ POST /jobs//run ручной запуск задания | `updates-check` | 6 ч | ищет обновления образов, публикует событие | | `disk-trend` | 1 ч | срез занятого места | | `verify-services` | 1 ч | проверяет статус хаба | +| `update-plan` | 08:45 | строит план обновлений в `/var/lib/hub-agents/update-plan.md` | +| `home-heartbeat` | 5 мин | dead-man switch: отметка на VPS | +| `export-service-metrics` | 2 мин | метрики служб → textfile CT134 *(было `cron.d/buryan-service-metrics`)* | +| `direct-health-check` | 5 мин | записи в `health_checks` Postgres *(было в crontab)* | +| `check-services` | 5 мин | проверки служб по смыслу *(было в crontab)* | +| `swarm-watchdog` | 1 мин | сторож роя *(было в crontab)* | + +Миграция четырёх последних выполнена 28.10.2026: строки в crontab и +`/etc/cron.d` закомментированы с пометкой `# -> Hermes 2026-10-28` +(файл `buryan-service-metrics` переименован в `.disabled`), двойного запуска нет. + +Попутно исправлено в `check-services.sh`: +* убраны проверки Plex и Tautulli — службы выведены из эксплуатации (был вечный «провал»); +* Zigbee проверяется через `check_docker "Zigbee" "zigbee2mqtt"`: у Zigbee2MQTT нет HTTP-фронтенда + (конфиг без блока `frontend`, сеть `host`), а прежний адрес `192.168.1.106:8080` не отвечал никогда. ## Куда развивать diff --git a/ops/hermes/jobs.yaml b/ops/hermes/jobs.yaml index 0dc29c5..15d89e5 100644 --- a/ops/hermes/jobs.yaml +++ b/ops/hermes/jobs.yaml @@ -1,25 +1,55 @@ -# Задания Hermes. Владелец каждого — шина; расписание в одном месте. backup-heartbeat: - command: "/usr/local/bin/backup-heartbeat.sh" + command: /usr/local/bin/backup-heartbeat.sh every_seconds: 1800 timeout: 120 retries: 1 - updates-check: - command: "/opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py" + command: /opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py every_seconds: 21600 timeout: 900 retries: 1 - disk-trend: - command: "df -h / /mnt/media /mnt/archive | tail -3" + command: df -h / /mnt/media /mnt/archive | tail -3 every_seconds: 3600 notify_on_success: false timeout: 30 retries: 0 - verify-services: - command: "curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python -c \"import json,sys; d=json.load(sys.stdin); bad=[s['name'] for s in d.get('services',[]) if not s.get('up')]; print('лежат:', bad or 'нет')\"" + command: curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python + -c "import json,sys; d=json.load(sys.stdin); bad=[s['name'] for s in d.get('services',[]) + if not s.get('up')]; print('лежат:', bad or 'нет')" every_seconds: 3600 timeout: 60 retries: 1 +update-plan: + command: /opt/music-tools/venv/bin/python /opt/hub-core/update_plan.py + daily_at: 08:45 + timeout: 120 + retries: 0 + notify_on_success: false +home-heartbeat: + command: ssh -o BatchMode=yes -o ConnectTimeout=10 root@193.233.210.184 'date +%s + > /var/lib/home-hb' + every_seconds: 300 + timeout: 40 + retries: 1 +export-service-metrics: + command: /usr/bin/python3 /opt/buryan-hub/scripts/export-service-metrics.py + every_seconds: 120 + timeout: 180 + retries: 1 +direct-health-check: + command: /usr/bin/python3 /opt/buryan-hub/scripts/direct-health-check.py + every_seconds: 300 + timeout: 180 + retries: 1 +check-services: + command: /opt/buryan-hub/scripts/check-services.sh + every_seconds: 300 + timeout: 240 + retries: 1 +swarm-watchdog: + command: /opt/buryan-hub/scripts/swarm-watchdog.sh + every_seconds: 60 + timeout: 120 + retries: 0 diff --git a/ops/monitoring/check-services.sh b/ops/monitoring/check-services.sh old mode 100644 new mode 100755 index 02fd6de..fe988a9 --- a/ops/monitoring/check-services.sh +++ b/ops/monitoring/check-services.sh @@ -65,6 +65,16 @@ check_alive() { esac } +check_docker() { # $1=имя $2=контейнер (для служб без HTTP-интерфейса) + local name="$1" cont="$2" st + st=$(docker inspect -f '{{.State.Status}}' "$cont" 2>/dev/null) + if [ "$st" = "running" ]; then + PASSED=$((PASSED+1)); return 0 + fi + FAILED="$FAILED$name:docker ${st:-нет};" + return 1 +} + check_login() { # Проверка 4.3.3: важно не «порт отвечает», а «страница входа отдаётся». # Служба может отвечать 302 на корень и при этом не отдавать страницу @@ -175,7 +185,7 @@ check "Vaultwarden" "http://192.168.1.109:8081/alive" "" check "Matrix" "http://192.168.1.155:8008/_matrix/client/versions" "versions" check "Element" "http://192.168.1.155:8088/config.json" "Buryan" check "Authentik" "http://192.168.1.114:9000/-/health/live/" "" -check "n8n" "http://192.168.1.108:5678/healthz" "" +check "n8n" "http://192.168.1.108:5680/healthz" "" check "Immich" "http://192.168.1.104:2283/api/server/ping" "pong" check "Paperless" "http://192.168.1.105:8000/api/remote/version/" "" check "Grafana" "http://192.168.1.113:3000/api/health" "ok" @@ -193,7 +203,6 @@ check "Overseerr" "http://192.168.1.121:5055/api/v1/status" "" check "UptimeKuma" "http://192.168.1.107:3001/" "" check "Linkding" "http://192.168.1.127:3000/health" "" check "AdGuard" "http://192.168.1.107:3000/control/status" "" -check "Plex" "http://192.168.1.116:32400/identity" "" # ── ЧЕРЕЗ ДОМЕНЫ (как видит пользователь) ── check "домен git" "https://git.buryans.ru/" "" 12 @@ -212,12 +221,11 @@ check_alive "sonarr" "http://192.168.1.117:8989/api/v3/system/status" check_alive "radarr" "http://192.168.1.118:7878/api/v3/system/status" check_alive "prowlarr" "http://192.168.1.119:9696/api/v1/system/status" check_alive "bazarr" "http://192.168.1.120:6767/api/system/status" -check "tautulli" "http://192.168.1.122:8181/status" "" check_alive "calibre" "http://192.168.1.240:8083/" check_alive "freshrss" "http://192.168.1.240:8090/" check "openclaw" "http://192.168.1.115:18789/healthz" "" check "Умный дом" "http://192.168.1.106:8123/" "" -check "Zigbee" "http://192.168.1.106:8080/" "" +check_docker "Zigbee" "zigbee2mqtt" check "Nextcloud" "http://192.168.1.109:8080/status.php" "" check "Финансы" "http://192.168.1.110:8080/" "" check "Копии Duplicati" "http://192.168.1.240:8200/" ""