[HERMES] cron → Hermes: метрики, health-check, проверка служб, сторож роя
lint / hygiene (push) Successful in 18s
lint / hygiene (push) Successful in 18s
This commit is contained in:
1 parent
9b1744e86c
commit
c322f8abf3
3 files changed
+65
-12
No files matched your search
@@ -33,6 +33,21 @@ POST /jobs/<name>/run ручной запуск задания
|
||||
| `updates-check` | 6 ч | ищет обновления образов, публикует событие |
|
||||
| `disk-trend` | 1 ч | срез занятого места |
|
||||
| `verify-services` | 1 ч | проверяет статус хаба |
|
||||
| `update-plan` | 08:45 | строит план обновлений в `/var/lib/hub-agents/update-plan.md` |
|
||||
| `home-heartbeat` | 5 мин | dead-man switch: отметка на VPS |
|
||||
| `export-service-metrics` | 2 мин | метрики служб → textfile CT134 *(было `cron.d/buryan-service-metrics`)* |
|
||||
| `direct-health-check` | 5 мин | записи в `health_checks` Postgres *(было в crontab)* |
|
||||
| `check-services` | 5 мин | проверки служб по смыслу *(было в crontab)* |
|
||||
| `swarm-watchdog` | 1 мин | сторож роя *(было в crontab)* |
|
||||
|
||||
Миграция четырёх последних выполнена 28.10.2026: строки в crontab и
|
||||
`/etc/cron.d` закомментированы с пометкой `# -> Hermes 2026-10-28`
|
||||
(файл `buryan-service-metrics` переименован в `.disabled`), двойного запуска нет.
|
||||
|
||||
Попутно исправлено в `check-services.sh`:
|
||||
* убраны проверки Plex и Tautulli — службы выведены из эксплуатации (был вечный «провал»);
|
||||
* Zigbee проверяется через `check_docker "Zigbee" "zigbee2mqtt"`: у Zigbee2MQTT нет HTTP-фронтенда
|
||||
(конфиг без блока `frontend`, сеть `host`), а прежний адрес `192.168.1.106:8080` не отвечал никогда.
|
||||
|
||||
## Куда развивать
|
||||
|
||||
|
||||
+38
-8
@@ -1,25 +1,55 @@
|
||||
# Задания Hermes. Владелец каждого — шина; расписание в одном месте.
|
||||
backup-heartbeat:
|
||||
command: "/usr/local/bin/backup-heartbeat.sh"
|
||||
command: /usr/local/bin/backup-heartbeat.sh
|
||||
every_seconds: 1800
|
||||
timeout: 120
|
||||
retries: 1
|
||||
|
||||
updates-check:
|
||||
command: "/opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py"
|
||||
command: /opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py
|
||||
every_seconds: 21600
|
||||
timeout: 900
|
||||
retries: 1
|
||||
|
||||
disk-trend:
|
||||
command: "df -h / /mnt/media /mnt/archive | tail -3"
|
||||
command: df -h / /mnt/media /mnt/archive | tail -3
|
||||
every_seconds: 3600
|
||||
notify_on_success: false
|
||||
timeout: 30
|
||||
retries: 0
|
||||
|
||||
verify-services:
|
||||
command: "curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python -c \"import json,sys; d=json.load(sys.stdin); bad=[s['name'] for s in d.get('services',[]) if not s.get('up')]; print('лежат:', bad or 'нет')\""
|
||||
command: curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python
|
||||
-c "import json,sys; d=json.load(sys.stdin); bad=[s['name'] for s in d.get('services',[])
|
||||
if not s.get('up')]; print('лежат:', bad or 'нет')"
|
||||
every_seconds: 3600
|
||||
timeout: 60
|
||||
retries: 1
|
||||
update-plan:
|
||||
command: /opt/music-tools/venv/bin/python /opt/hub-core/update_plan.py
|
||||
daily_at: 08:45
|
||||
timeout: 120
|
||||
retries: 0
|
||||
notify_on_success: false
|
||||
home-heartbeat:
|
||||
command: ssh -o BatchMode=yes -o ConnectTimeout=10 root@193.233.210.184 'date +%s
|
||||
> /var/lib/home-hb'
|
||||
every_seconds: 300
|
||||
timeout: 40
|
||||
retries: 1
|
||||
export-service-metrics:
|
||||
command: /usr/bin/python3 /opt/buryan-hub/scripts/export-service-metrics.py
|
||||
every_seconds: 120
|
||||
timeout: 180
|
||||
retries: 1
|
||||
direct-health-check:
|
||||
command: /usr/bin/python3 /opt/buryan-hub/scripts/direct-health-check.py
|
||||
every_seconds: 300
|
||||
timeout: 180
|
||||
retries: 1
|
||||
check-services:
|
||||
command: /opt/buryan-hub/scripts/check-services.sh
|
||||
every_seconds: 300
|
||||
timeout: 240
|
||||
retries: 1
|
||||
swarm-watchdog:
|
||||
command: /opt/buryan-hub/scripts/swarm-watchdog.sh
|
||||
every_seconds: 60
|
||||
timeout: 120
|
||||
retries: 0
|
||||
Regular → Executable
+12
-4
@@ -65,6 +65,16 @@ check_alive() {
|
||||
esac
|
||||
}
|
||||
|
||||
check_docker() { # $1=имя $2=контейнер (для служб без HTTP-интерфейса)
|
||||
local name="$1" cont="$2" st
|
||||
st=$(docker inspect -f '{{.State.Status}}' "$cont" 2>/dev/null)
|
||||
if [ "$st" = "running" ]; then
|
||||
PASSED=$((PASSED+1)); return 0
|
||||
fi
|
||||
FAILED="$FAILED$name:docker ${st:-нет};"
|
||||
return 1
|
||||
}
|
||||
|
||||
check_login() {
|
||||
# Проверка 4.3.3: важно не «порт отвечает», а «страница входа отдаётся».
|
||||
# Служба может отвечать 302 на корень и при этом не отдавать страницу
|
||||
@@ -175,7 +185,7 @@ check "Vaultwarden" "http://192.168.1.109:8081/alive" ""
|
||||
check "Matrix" "http://192.168.1.155:8008/_matrix/client/versions" "versions"
|
||||
check "Element" "http://192.168.1.155:8088/config.json" "Buryan"
|
||||
check "Authentik" "http://192.168.1.114:9000/-/health/live/" ""
|
||||
check "n8n" "http://192.168.1.108:5678/healthz" ""
|
||||
check "n8n" "http://192.168.1.108:5680/healthz" ""
|
||||
check "Immich" "http://192.168.1.104:2283/api/server/ping" "pong"
|
||||
check "Paperless" "http://192.168.1.105:8000/api/remote/version/" ""
|
||||
check "Grafana" "http://192.168.1.113:3000/api/health" "ok"
|
||||
@@ -193,7 +203,6 @@ check "Overseerr" "http://192.168.1.121:5055/api/v1/status" ""
|
||||
check "UptimeKuma" "http://192.168.1.107:3001/" ""
|
||||
check "Linkding" "http://192.168.1.127:3000/health" ""
|
||||
check "AdGuard" "http://192.168.1.107:3000/control/status" ""
|
||||
check "Plex" "http://192.168.1.116:32400/identity" ""
|
||||
|
||||
# ── ЧЕРЕЗ ДОМЕНЫ (как видит пользователь) ──
|
||||
check "домен git" "https://git.buryans.ru/" "" 12
|
||||
@@ -212,12 +221,11 @@ check_alive "sonarr" "http://192.168.1.117:8989/api/v3/system/status"
|
||||
check_alive "radarr" "http://192.168.1.118:7878/api/v3/system/status"
|
||||
check_alive "prowlarr" "http://192.168.1.119:9696/api/v1/system/status"
|
||||
check_alive "bazarr" "http://192.168.1.120:6767/api/system/status"
|
||||
check "tautulli" "http://192.168.1.122:8181/status" ""
|
||||
check_alive "calibre" "http://192.168.1.240:8083/"
|
||||
check_alive "freshrss" "http://192.168.1.240:8090/"
|
||||
check "openclaw" "http://192.168.1.115:18789/healthz" ""
|
||||
check "Умный дом" "http://192.168.1.106:8123/" ""
|
||||
check "Zigbee" "http://192.168.1.106:8080/" ""
|
||||
check_docker "Zigbee" "zigbee2mqtt"
|
||||
check "Nextcloud" "http://192.168.1.109:8080/status.php" ""
|
||||
check "Финансы" "http://192.168.1.110:8080/" ""
|
||||
check "Копии Duplicati" "http://192.168.1.240:8200/" ""
|
||||
|
||||
Reference in new issue
Block a user