[HERMES] cron → Hermes: метрики, health-check, проверка служб, сторож роя
lint / hygiene (push) Successful in 18s

This commit is contained in:
root committed 2026-10-28 12:46:45 +03:00
1 parent 9b1744e86c
commit c322f8abf3
3 files changed
+65 -12

No files matched your search

+15
View File
@@ -33,6 +33,21 @@ POST /jobs/<name>/run ручной запуск задания
| `updates-check` | 6 ч | ищет обновления образов, публикует событие |
| `disk-trend` | 1 ч | срез занятого места |
| `verify-services` | 1 ч | проверяет статус хаба |
| `update-plan` | 08:45 | строит план обновлений в `/var/lib/hub-agents/update-plan.md` |
| `home-heartbeat` | 5 мин | dead-man switch: отметка на VPS |
| `export-service-metrics` | 2 мин | метрики служб → textfile CT134 *(было `cron.d/buryan-service-metrics`)* |
| `direct-health-check` | 5 мин | записи в `health_checks` Postgres *(было в crontab)* |
| `check-services` | 5 мин | проверки служб по смыслу *(было в crontab)* |
| `swarm-watchdog` | 1 мин | сторож роя *(было в crontab)* |
Миграция четырёх последних выполнена 28.10.2026: строки в crontab и
`/etc/cron.d` закомментированы с пометкой `# -> Hermes 2026-10-28`
(файл `buryan-service-metrics` переименован в `.disabled`), двойного запуска нет.
Попутно исправлено в `check-services.sh`:
* убраны проверки Plex и Tautulli — службы выведены из эксплуатации (был вечный «провал»);
* Zigbee проверяется через `check_docker "Zigbee" "zigbee2mqtt"`: у Zigbee2MQTT нет HTTP-фронтенда
(конфиг без блока `frontend`, сеть `host`), а прежний адрес `192.168.1.106:8080` не отвечал никогда.
## Куда развивать
+38 -8
View File
@@ -1,25 +1,55 @@
# Задания Hermes. Владелец каждого — шина; расписание в одном месте.
backup-heartbeat:
command: "/usr/local/bin/backup-heartbeat.sh"
command: /usr/local/bin/backup-heartbeat.sh
every_seconds: 1800
timeout: 120
retries: 1
updates-check:
command: "/opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py"
command: /opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py
every_seconds: 21600
timeout: 900
retries: 1
disk-trend:
command: "df -h / /mnt/media /mnt/archive | tail -3"
command: df -h / /mnt/media /mnt/archive | tail -3
every_seconds: 3600
notify_on_success: false
timeout: 30
retries: 0
verify-services:
command: "curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python -c \"import json,sys; d=json.load(sys.stdin); bad=[s['name'] for s in d.get('services',[]) if not s.get('up')]; print('лежат:', bad or 'нет')\""
command: curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python
-c "import json,sys; d=json.load(sys.stdin); bad=[s['name'] for s in d.get('services',[])
if not s.get('up')]; print('лежат:', bad or 'нет')"
every_seconds: 3600
timeout: 60
retries: 1
update-plan:
command: /opt/music-tools/venv/bin/python /opt/hub-core/update_plan.py
daily_at: 08:45
timeout: 120
retries: 0
notify_on_success: false
home-heartbeat:
command: ssh -o BatchMode=yes -o ConnectTimeout=10 root@193.233.210.184 'date +%s
> /var/lib/home-hb'
every_seconds: 300
timeout: 40
retries: 1
export-service-metrics:
command: /usr/bin/python3 /opt/buryan-hub/scripts/export-service-metrics.py
every_seconds: 120
timeout: 180
retries: 1
direct-health-check:
command: /usr/bin/python3 /opt/buryan-hub/scripts/direct-health-check.py
every_seconds: 300
timeout: 180
retries: 1
check-services:
command: /opt/buryan-hub/scripts/check-services.sh
every_seconds: 300
timeout: 240
retries: 1
swarm-watchdog:
command: /opt/buryan-hub/scripts/swarm-watchdog.sh
every_seconds: 60
timeout: 120
retries: 0
Regular → Executable
+12 -4
View File
@@ -65,6 +65,16 @@ check_alive() {
esac
}
check_docker() { # $1=имя $2=контейнер (для служб без HTTP-интерфейса)
local name="$1" cont="$2" st
st=$(docker inspect -f '{{.State.Status}}' "$cont" 2>/dev/null)
if [ "$st" = "running" ]; then
PASSED=$((PASSED+1)); return 0
fi
FAILED="$FAILED$name:docker ${st:-нет};"
return 1
}
check_login() {
# Проверка 4.3.3: важно не «порт отвечает», а «страница входа отдаётся».
# Служба может отвечать 302 на корень и при этом не отдавать страницу
@@ -175,7 +185,7 @@ check "Vaultwarden" "http://192.168.1.109:8081/alive" ""
check "Matrix" "http://192.168.1.155:8008/_matrix/client/versions" "versions"
check "Element" "http://192.168.1.155:8088/config.json" "Buryan"
check "Authentik" "http://192.168.1.114:9000/-/health/live/" ""
check "n8n" "http://192.168.1.108:5678/healthz" ""
check "n8n" "http://192.168.1.108:5680/healthz" ""
check "Immich" "http://192.168.1.104:2283/api/server/ping" "pong"
check "Paperless" "http://192.168.1.105:8000/api/remote/version/" ""
check "Grafana" "http://192.168.1.113:3000/api/health" "ok"
@@ -193,7 +203,6 @@ check "Overseerr" "http://192.168.1.121:5055/api/v1/status" ""
check "UptimeKuma" "http://192.168.1.107:3001/" ""
check "Linkding" "http://192.168.1.127:3000/health" ""
check "AdGuard" "http://192.168.1.107:3000/control/status" ""
check "Plex" "http://192.168.1.116:32400/identity" ""
# ── ЧЕРЕЗ ДОМЕНЫ (как видит пользователь) ──
check "домен git" "https://git.buryans.ru/" "" 12
@@ -212,12 +221,11 @@ check_alive "sonarr" "http://192.168.1.117:8989/api/v3/system/status"
check_alive "radarr" "http://192.168.1.118:7878/api/v3/system/status"
check_alive "prowlarr" "http://192.168.1.119:9696/api/v1/system/status"
check_alive "bazarr" "http://192.168.1.120:6767/api/system/status"
check "tautulli" "http://192.168.1.122:8181/status" ""
check_alive "calibre" "http://192.168.1.240:8083/"
check_alive "freshrss" "http://192.168.1.240:8090/"
check "openclaw" "http://192.168.1.115:18789/healthz" ""
check "Умный дом" "http://192.168.1.106:8123/" ""
check "Zigbee" "http://192.168.1.106:8080/" ""
check_docker "Zigbee" "zigbee2mqtt"
check "Nextcloud" "http://192.168.1.109:8080/status.php" ""
check "Финансы" "http://192.168.1.110:8080/" ""
check "Копии Duplicati" "http://192.168.1.240:8200/" ""