[PHASE5] Унификация расписаний: 9 мёртвых cron.d (точка в имени — cron их не читает) перенесены в ops/cron-disabled с README; сборщик реестра теперь пропускает файлы с точкой (реестр врал); version-watch и check-certs перенесены в Hermes, из cron убраны. version-watch слал на порт 5678, n8n слушает 5680 — исправлено, webhook 200, состояние сохраняется, повторный прогон 0 изменений. Проверено: живой cron.d 34 файла/49 строк = реестр 49; registry_drift дважды «без изменений»; реестр 161 (cron.d 49, crontab 15, hermes 54, systemd 43). Правило: Hermes — основной планировщик, cron — только тяжёлые бэкапы

This commit is contained in:
root committed 2026-11-16 17:18:46 +03:00
1 parent 5693968d0f
commit a2f3892da1
15 files changed
+138 -18

No files matched your search

+80
View File
@@ -0,0 +1,80 @@
# Фаза 5: унификация расписаний (16.11.2026)
Цель: реестр автоматизаций = правда, без мёртвых файлов и с `drift = 0`.
## Что нашлось
1. **9 файлов в /etc/cron.d с точкой в имени** — cron их **не читает**
(man 5 cron: «files must not contain dots»). Они лежали как «отключённые»,
но создавали иллюзию работающих заданий:
`hub-index.disabled…`, `mesh-watch.disabled…`, `hub-digest.disabled…`,
`hub-events-digest…`, `hub-media-digest…`, `hub-weekly…`, `hub-weekly-core…`,
`buryan-service-metrics.disabled`, `.placeholder`.
2. **Сборщик реестра считал и их** — реестр показывал задания, которых нет.
3. **`version-watch` не мог отправить уведомление**: скрипт шёл на
`http://192.168.1.108:5678/...`, а n8n слушает **5680**.
## Что сделано
### 1. Мёртвые cron.d — в архив
Перенесены в `ops/cron-disabled/` (с `.txt`, чтобы не выглядели живыми),
рядом README с объяснением. Из `/etc/cron.d` удалены.
### 2. Сборщик реестра учитывает правила cron
`build_automations_registry.py` теперь **пропускает файлы с точкой** —
как сам cron. Реестр больше не врёт.
### 3. Два безопасных задания перенесены в Hermes
| Задание | Было | Стало |
|---|---|---|
| `version-watch` | crontab, каждые 6 ч | Hermes `every_seconds: 21600` |
| `check-certs` | cron.d/buryan-monitoring, 08:30 | Hermes `daily_at: 08:30` |
Из cron удалены (crontab и cron.d/buryan-monitoring).
### 4. `version-watch`: порт n8n
`5678` → **`5680`**. Проверка: webhook отвечает `200`, состояние
сохраняется (`ops/state/version-watch-seen.json`), повторный прогон
даёт **«изменений: 0»** (без дублей уведомлений).
## Проверка
```
живой cron.d: 34 файла, 49 строк-расписаний
реестр cron.d: 49 ← совпадает
реестр всего: 161 (cron.d 49, crontab 15, hermes 54, systemd 43)
registry_drift.py: «без изменений» (два прогона подряд)
version-watch: закреплённых 1, плавающих 10, без данных 65, изменений 0
```
## Принятое правило
* **Hermes** — основной планировщик: новые задания только там.
* **cron** — только тяжёлые бэкапы и то, что должно жить отдельно от
сервиса хаба (pg-backup, matrix-backup, offsite, vzdump-rotate,
restore-test, audit, weekly-report, update-runner, photos-backup,
vpn-backup). Причина: бэкап не должен зависеть от работоспособности
Hermes.
* Оба источника попадают в реестр, поэтому «карта» полная.
## Ловушки
| Ловушка | Что было |
|---|---|
| файлы с точкой в cron.d | cron молчит, реестр считает — «задания есть, а их нет» |
| `.bak` рядом с cron.d | мой же бэкап попал в реестр и раздул счётчик |
| webhook n8n | порт 5678 против 5680 — уведомления не уходили, а скрипт врал «не удалось» |
| state version-watch | обновлялся только при успешной отправке: после починки порта повторный прогон — 0 изменений |
## Что осталось
* Единая «утренняя сводка»: сейчас отдельно morning-briefing, ночной
разбор журналов, AI-дайджест, weekly. Стоит собрать в один дайджест.
* Задачи work-secretary: хранение не найдено в БД — уточнить и завести
таблицу, чтобы задачи не жили в памяти бота.
+8 -7
View File
@@ -1,10 +1,10 @@
# Реестр автоматизаций Buryans Hub
# Сгенерировано: 2026-11-16 06:40 (ops/scripts/build_automations_registry.py)
total: 160
# Сгенерировано: 2026-11-16 17:14 (ops/scripts/build_automations_registry.py)
total: 161
by_source:
cron.d: 50
crontab: 16
hermes: 51
cron.d: 49
crontab: 15
hermes: 54
systemd: 43
items:
- {"source": "crontab", "line": "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"}
@@ -16,7 +16,6 @@ items:
- {"source": "crontab", "line": "30 6 * * * /opt/buryan-hub/scripts/vzdump-rotate.sh >> /var/log/buryan-hub/backups/cron-vzdump-rotate.log 2>&1"}
- {"source": "crontab", "line": "0 9 * * * /root/buryan-infra/ops/audit.sh >> /root/buryan-infra/ops/audit/audit-cron.log 2>&1"}
- {"source": "crontab", "line": "0 20 * * 0 /root/buryan-infra/ops/weekly-report.sh >> /root/buryan-infra/ops/audit/weekly-report.log 2>&1"}
- {"source": "crontab", "line": "0 */6 * * * /root/buryan-infra/ops/scripts/version-watch.sh >> /root/buryan-infra/ops/audit/version-watch.log 2>&1"}
- {"source": "crontab", "line": "* * * * * /root/buryan-infra/ops/update-manager/update-runner.sh >/dev/null 2>&1"}
- {"source": "crontab", "line": "5 3 * * * /root/buryan-infra/ops/update-manager/nightly-report.sh >> /root/buryan-infra/ops/update-manager/runner.log 2>&1"}
- {"source": "crontab", "line": "0 6 * * 0 /opt/buryan-hub/scripts/verify-backups.sh >> /var/log/buryan-hub/backups/cron-verify.log 2>&1"}
@@ -29,7 +28,6 @@ items:
- {"source": "cron.d/buryan-monitor", "line": "*/5 * * * * root . /root/.buryan-monitor.env && /usr/bin/python3 /opt/buryan-hub/scripts/check_thin_pool.py >> /var/log/thin-pool-monitor.log 2>&1"}
- {"source": "cron.d/buryan-monitor", "line": "0 4 * * * root . /root/.buryan-monitor.env && /usr/bin/psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -c 'SELECT cleanup_thin_pool_metrics();' >> /var/log/thin-pool-monitor.log 2>&1"}
- {"source": "cron.d/buryan-monitoring", "line": "0 * * * * root . /root/.buryan-monitor.env && python3 /opt/buryan-hub/scripts/check_disk.py >> /var/log/buryan-monitor.log 2>&1"}
- {"source": "cron.d/buryan-monitoring", "line": "30 8 * * * root . /root/.buryan-monitor.env && python3 /opt/buryan-hub/scripts/check_certs.py >> /var/log/buryan-monitor.log 2>&1"}
- {"source": "cron.d/buryan-trim", "line": "30 3 * * 0 root /opt/buryan-hub/scripts/trim-containers.sh"}
- {"source": "cron.d/docker-config-check", "line": "15 6 * * * root /usr/local/bin/docker-config-check >> /var/log/docker-config-check.log 2>&1"}
- {"source": "cron.d/e2scrub_all", "line": "30 3 * * 0 root test -e /run/systemd/system || SERVICE_MODE=1 /usr/libexec/e2fsprogs/e2scrub_all_cron"}
@@ -167,3 +165,6 @@ items:
- {"source": "hermes", "job": "deep-audit-after-llm", "schedule": "every 1800s", "command": "/root/buryan-infra/ops/scripts/after-llm-audit.sh"}
- {"source": "hermes", "job": "net-report", "schedule": "daily 08:20", "command": "/opt/work-hub/venv/bin/python /root/buryan-infra/ops/scripts/net-report.py"}
- {"source": "hermes", "job": "night-net-report", "schedule": "daily 08:00", "command": "/opt/work-hub/venv/bin/python /root/buryan-infra/ops/scripts/night-report.py"}
- {"source": "hermes", "job": "log-signatures", "schedule": "daily 08:00", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/log_signatures.py --notify"}
- {"source": "hermes", "job": "version-watch", "schedule": "every 21600s", "command": "/root/buryan-infra/ops/scripts/version-watch.sh"}
- {"source": "hermes", "job": "check-certs", "schedule": "daily 08:30", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/check_certs.py"}
+2
View File
@@ -0,0 +1,2 @@
# DO NOT EDIT OR REMOVE
# This file is a simple placeholder to keep dpkg from removing this directory
+7
View File
@@ -0,0 +1,7 @@
# Отключённые cron.d
Cron НЕ читает файлы с точкой в имени (man 5 cron: «files must not contain dots»). Эти файлы лежали в /etc/cron.d и создавали иллюзию, что задания работают, но не выполнялись.
Перенесены 16.11.2026 в рамках Фазы 5 (унификация расписаний).
Содержимое сохранено как `<имя>.txt`.
@@ -0,0 +1,4 @@
# Метрики служб для тревог — раз в 2 минуты
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
*/2 * * * * root /usr/bin/python3 /opt/buryan-hub/scripts/export-service-metrics.py >/dev/null 2>&1
@@ -0,0 +1,4 @@
# Ежедневная сводка по платформе в комнату «Дайджесты»
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
0 9 * * * root cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 digest.py >> /var/log/hub-digest.log 2>&1
@@ -0,0 +1,3 @@
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
30 8 * * * root set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/events_digest.py >> /var/log/hub-digest.log 2>&1
@@ -0,0 +1,4 @@
# Перестроение общего индекса контента каждые 3 часа
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
15 */3 * * * root cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 reindex.py >> /var/log/hub-index.log 2>&1
@@ -0,0 +1,3 @@
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
0 9 * * 1 root set -a; . /etc/hub-core/connectors.env; . /etc/hub-bots/bots.env; . /etc/hub-bots/dm.env; set +a; NOTIFY_TOKEN="$MEDIA_TOKEN" NOTIFY_ROOM="$MEDIA" /usr/bin/python3 /opt/hub-core/media_digest.py >> /var/log/hub-media-digest.log 2>&1
@@ -0,0 +1,3 @@
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
0 20 * * 0 root set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/weekly.py >> /var/log/hub-weekly-core.log 2>&1
@@ -0,0 +1,4 @@
# Недельная сводка по понедельникам в 09:30
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
30 9 * * 1 root cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 weekly.py >> /var/log/hub-weekly.log 2>&1
@@ -0,0 +1,3 @@
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
*/5 * * * * root /opt/music-tools/venv/bin/python /opt/hub-core/mesh_watch.py >> /var/log/mesh-watch.log 2>&1
@@ -32,6 +32,8 @@ def main():
# 2. cron.d
for f in sorted(glob.glob("/etc/cron.d/*")):
if "." in os.path.basename(f):
continue # cron игнорирует имена с точкой
if ".disabled" in f:
continue
for line in open(f, encoding="utf-8", errors="ignore"):
+1 -1
View File
@@ -29,7 +29,7 @@ BASE_DIR="$(dirname "$(dirname "$SCRIPT_DIR")")"
VERSIONS_FILE="${VERSIONS_FILE:-$BASE_DIR/ops/state/stable-versions.json}"
STATE_FILE="${STATE_FILE:-$BASE_DIR/ops/state/version-watch-seen.json}"
N8N_WEBHOOK="${N8N_WEBHOOK:-http://192.168.1.108:5678/webhook/version-update-available}"
N8N_WEBHOOK="${N8N_WEBHOOK:-http://192.168.1.108:5680/webhook/version-update-available}"
LOG_TAG="version-watch"
log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*"; }
+10 -10
View File
@@ -1,7 +1,7 @@
{
"adguard": "dig:sha256:aba9e3bf0613be3ba3755e1fc311b126e2c24bec25e18b6483894a88283074f0",
"authentik-security-redis-1": "dig:sha256:858f009f9709ce576febc734aa78b8f6d624b82571f9ddb6bda4377c833b3499",
"calibre-web": "dig:sha256:b206b791d77b731203fb47b5733d055c8d4ebd7c9fa59a4569a5d6a2b3ebda54",
"authentik-security-redis-1": "dig:sha256:7f7d30b7fdd09467bac58198a1f166dd69789d348d4fe859cccb20e0cf287fbe",
"calibre-web": "dig:sha256:adb69d75b9c252e580fc691096f858833b901b5d106ae4080fb476bab104d946",
"dashy": "dig:sha256:a877dd3d182b8d6b57aedbd879f2d1c0e76771be3ee54ff1ef4a8a725a09ed11",
"duplicati": "dig:sha256:e32e280cc30e98ac5cea8d2b339cd19810b1b39e638fb9d39253786630104de0",
"element-web": "dig:sha256:f8700633d4336258af7a05b53865a4f479e0d628cf2d9ca83d28b5939314d4ce",
@@ -12,22 +12,22 @@
"jellyfin": "dig:sha256:357724bf0ae27a672c7cbaa899db2d9abeb13dbd8657ccce750258a4c059d037",
"linkding": "dig:sha256:e35cb50e0581178f245125ffaa909c565416c94c9f22ace305a7d234a4345522",
"livekit": "dig:sha256:89ca9ce0791e18d6e03bf6e2c49ceb27e1c754eae8bd50c989386c1a5963791a",
"matrix-coturn": "dig:sha256:bbefd3e1fdfdc0d58770fe01b581fd8b00d9f3a5580d00acb77cf719a6bc78e3",
"matrix-synapse": "dig:sha256:97665cd4539dcf107c69fb6afdb720e1d1c9c09fb2b5701fb13d6c33b22cd8f0",
"matrix-coturn": "dig:sha256:81f69dc7cb672eb73ab3414afbb199637c37ab8069919d1c6caaed96ff16fb88",
"matrix-synapse": "dig:sha256:c6b5dba477c41b22167e771174456364b7c9c83a4cb2d5d7ee1e530334c5cd06",
"mosquitto": "dig:sha256:38c0da4f2ef84284d47b3b3eeea1cb3bdeabe81ee10caf0cd5c5ff61ee3ea408",
"n8n": "dig:sha256:dd580fe1ab6e99e85bc66f2acf8bc8c5e9409fbe61b2e2803c5024403ef52833",
"nats": "dig:sha256:b7752304692bc0612b7fbae6add53cdd14059ec83cad1795d78edade6025ef07",
"navidrome": "dig:sha256:38dc2727bfcfd5ede290f8ada114fc90368146f265ae4701ddddbcbe2a44ee52",
"nextcloud": "dig:sha256:a588aa5353703b44106a6129adaaf7bf22521b7a4754f9f529b3228d6aa390c5",
"node_red": "dig:sha256:b5adb6c9dd29ab80c852d82bc87daed84e729dcff9b00ca1bf958e6de470f2c1",
"npm-app-1": "dig:sha256:4393e642e233e5efd5adeb7f10918d4aaea71c9ed875b94190273fc8e87f9594",
"paperless_redis": "dig:sha256:858f009f9709ce576febc734aa78b8f6d624b82571f9ddb6bda4377c833b3499",
"nextcloud": "dig:sha256:8041f24690c5631da46d2391e1fd7efcde95c6cf08695047f3dd7ce7783934b4",
"node_red": "dig:sha256:2ccd38b4066648bd5e17430c50a2f8102c566a82fd4f2fc5c342e61664d6896f",
"npm-app-1": "dig:sha256:91277490a919c792aa73b8d291af1ca84d32be74df988e543137976515763534",
"paperless_redis": "dig:sha256:7f7d30b7fdd09467bac58198a1f166dd69789d348d4fe859cccb20e0cf287fbe",
"plex": "dig:sha256:06e07af2851e6a822e89062b148435495dd794d6d5aaf36247dee05fb3dcc4b8",
"prometheus": "dig:sha256:efd719c99d83b060d9daefdcf00360461adf279f45ef5391f8d111892118753e",
"swarm-redis": "dig:sha256:858f009f9709ce576febc734aa78b8f6d624b82571f9ddb6bda4377c833b3499",
"swarm-redis": "dig:sha256:7f7d30b7fdd09467bac58198a1f166dd69789d348d4fe859cccb20e0cf287fbe",
"syncthing": "dig:sha256:4d0281bdcb4ed9baf503d251d0544ddd856f49fce3f114056257ae172b7fb670",
"tautulli": "dig:sha256:a4323bc09b27e265e269d79421ed3eb795083ef988bb84788eba89e5738c8005",
"uptime_kuma": "dig:sha256:70233f4acb5163fd2a59a49909cf01e44415cecff13dba69e3a86647a2919f83",
"vaultwarden": "dig:sha256:efb3cde962015fcc036b2ea625242248611943b27212ebf4392841fb30fad055",
"zigbee2mqtt": "dig:sha256:addbfb08fcef2e4477de1535636118241e10d13e898fbe4d9faba8a4d7396311"
"zigbee2mqtt": "dig:sha256:fb4a6b0f6868ad1cd6a9996479802b2420e599c3463b62bbff8c8cd9a908f43a"
}