diff --git a/ops/audits/PHASE5-SCHEDULES-2026-11-16.md b/ops/audits/PHASE5-SCHEDULES-2026-11-16.md new file mode 100644 index 0000000..b0ea7b5 --- /dev/null +++ b/ops/audits/PHASE5-SCHEDULES-2026-11-16.md @@ -0,0 +1,80 @@ +# Фаза 5: унификация расписаний (16.11.2026) + +Цель: реестр автоматизаций = правда, без мёртвых файлов и с `drift = 0`. + +## Что нашлось + +1. **9 файлов в /etc/cron.d с точкой в имени** — cron их **не читает** + (man 5 cron: «files must not contain dots»). Они лежали как «отключённые», + но создавали иллюзию работающих заданий: + `hub-index.disabled…`, `mesh-watch.disabled…`, `hub-digest.disabled…`, + `hub-events-digest…`, `hub-media-digest…`, `hub-weekly…`, `hub-weekly-core…`, + `buryan-service-metrics.disabled`, `.placeholder`. + +2. **Сборщик реестра считал и их** — реестр показывал задания, которых нет. + +3. **`version-watch` не мог отправить уведомление**: скрипт шёл на + `http://192.168.1.108:5678/...`, а n8n слушает **5680**. + +## Что сделано + +### 1. Мёртвые cron.d — в архив + +Перенесены в `ops/cron-disabled/` (с `.txt`, чтобы не выглядели живыми), +рядом README с объяснением. Из `/etc/cron.d` удалены. + +### 2. Сборщик реестра учитывает правила cron + +`build_automations_registry.py` теперь **пропускает файлы с точкой** — +как сам cron. Реестр больше не врёт. + +### 3. Два безопасных задания перенесены в Hermes + +| Задание | Было | Стало | +|---|---|---| +| `version-watch` | crontab, каждые 6 ч | Hermes `every_seconds: 21600` | +| `check-certs` | cron.d/buryan-monitoring, 08:30 | Hermes `daily_at: 08:30` | + +Из cron удалены (crontab и cron.d/buryan-monitoring). + +### 4. `version-watch`: порт n8n + +`5678` → **`5680`**. Проверка: webhook отвечает `200`, состояние +сохраняется (`ops/state/version-watch-seen.json`), повторный прогон +даёт **«изменений: 0»** (без дублей уведомлений). + +## Проверка + +``` +живой cron.d: 34 файла, 49 строк-расписаний +реестр cron.d: 49 ← совпадает +реестр всего: 161 (cron.d 49, crontab 15, hermes 54, systemd 43) +registry_drift.py: «без изменений» (два прогона подряд) +version-watch: закреплённых 1, плавающих 10, без данных 65, изменений 0 +``` + +## Принятое правило + +* **Hermes** — основной планировщик: новые задания только там. +* **cron** — только тяжёлые бэкапы и то, что должно жить отдельно от + сервиса хаба (pg-backup, matrix-backup, offsite, vzdump-rotate, + restore-test, audit, weekly-report, update-runner, photos-backup, + vpn-backup). Причина: бэкап не должен зависеть от работоспособности + Hermes. +* Оба источника попадают в реестр, поэтому «карта» полная. + +## Ловушки + +| Ловушка | Что было | +|---|---| +| файлы с точкой в cron.d | cron молчит, реестр считает — «задания есть, а их нет» | +| `.bak` рядом с cron.d | мой же бэкап попал в реестр и раздул счётчик | +| webhook n8n | порт 5678 против 5680 — уведомления не уходили, а скрипт врал «не удалось» | +| state version-watch | обновлялся только при успешной отправке: после починки порта повторный прогон — 0 изменений | + +## Что осталось + +* Единая «утренняя сводка»: сейчас отдельно morning-briefing, ночной + разбор журналов, AI-дайджест, weekly. Стоит собрать в один дайджест. +* Задачи work-secretary: хранение не найдено в БД — уточнить и завести + таблицу, чтобы задачи не жили в памяти бота. diff --git a/ops/automations/registry.yaml b/ops/automations/registry.yaml index 7b2b14d..9bbda49 100644 --- a/ops/automations/registry.yaml +++ b/ops/automations/registry.yaml @@ -1,10 +1,10 @@ # Реестр автоматизаций Buryans Hub -# Сгенерировано: 2026-11-16 06:40 (ops/scripts/build_automations_registry.py) -total: 160 +# Сгенерировано: 2026-11-16 17:14 (ops/scripts/build_automations_registry.py) +total: 161 by_source: - cron.d: 50 - crontab: 16 - hermes: 51 + cron.d: 49 + crontab: 15 + hermes: 54 systemd: 43 items: - {"source": "crontab", "line": "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"} @@ -16,7 +16,6 @@ items: - {"source": "crontab", "line": "30 6 * * * /opt/buryan-hub/scripts/vzdump-rotate.sh >> /var/log/buryan-hub/backups/cron-vzdump-rotate.log 2>&1"} - {"source": "crontab", "line": "0 9 * * * /root/buryan-infra/ops/audit.sh >> /root/buryan-infra/ops/audit/audit-cron.log 2>&1"} - {"source": "crontab", "line": "0 20 * * 0 /root/buryan-infra/ops/weekly-report.sh >> /root/buryan-infra/ops/audit/weekly-report.log 2>&1"} -- {"source": "crontab", "line": "0 */6 * * * /root/buryan-infra/ops/scripts/version-watch.sh >> /root/buryan-infra/ops/audit/version-watch.log 2>&1"} - {"source": "crontab", "line": "* * * * * /root/buryan-infra/ops/update-manager/update-runner.sh >/dev/null 2>&1"} - {"source": "crontab", "line": "5 3 * * * /root/buryan-infra/ops/update-manager/nightly-report.sh >> /root/buryan-infra/ops/update-manager/runner.log 2>&1"} - {"source": "crontab", "line": "0 6 * * 0 /opt/buryan-hub/scripts/verify-backups.sh >> /var/log/buryan-hub/backups/cron-verify.log 2>&1"} @@ -29,7 +28,6 @@ items: - {"source": "cron.d/buryan-monitor", "line": "*/5 * * * * root . /root/.buryan-monitor.env && /usr/bin/python3 /opt/buryan-hub/scripts/check_thin_pool.py >> /var/log/thin-pool-monitor.log 2>&1"} - {"source": "cron.d/buryan-monitor", "line": "0 4 * * * root . /root/.buryan-monitor.env && /usr/bin/psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -c 'SELECT cleanup_thin_pool_metrics();' >> /var/log/thin-pool-monitor.log 2>&1"} - {"source": "cron.d/buryan-monitoring", "line": "0 * * * * root . /root/.buryan-monitor.env && python3 /opt/buryan-hub/scripts/check_disk.py >> /var/log/buryan-monitor.log 2>&1"} -- {"source": "cron.d/buryan-monitoring", "line": "30 8 * * * root . /root/.buryan-monitor.env && python3 /opt/buryan-hub/scripts/check_certs.py >> /var/log/buryan-monitor.log 2>&1"} - {"source": "cron.d/buryan-trim", "line": "30 3 * * 0 root /opt/buryan-hub/scripts/trim-containers.sh"} - {"source": "cron.d/docker-config-check", "line": "15 6 * * * root /usr/local/bin/docker-config-check >> /var/log/docker-config-check.log 2>&1"} - {"source": "cron.d/e2scrub_all", "line": "30 3 * * 0 root test -e /run/systemd/system || SERVICE_MODE=1 /usr/libexec/e2fsprogs/e2scrub_all_cron"} @@ -167,3 +165,6 @@ items: - {"source": "hermes", "job": "deep-audit-after-llm", "schedule": "every 1800s", "command": "/root/buryan-infra/ops/scripts/after-llm-audit.sh"} - {"source": "hermes", "job": "net-report", "schedule": "daily 08:20", "command": "/opt/work-hub/venv/bin/python /root/buryan-infra/ops/scripts/net-report.py"} - {"source": "hermes", "job": "night-net-report", "schedule": "daily 08:00", "command": "/opt/work-hub/venv/bin/python /root/buryan-infra/ops/scripts/night-report.py"} +- {"source": "hermes", "job": "log-signatures", "schedule": "daily 08:00", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/log_signatures.py --notify"} +- {"source": "hermes", "job": "version-watch", "schedule": "every 21600s", "command": "/root/buryan-infra/ops/scripts/version-watch.sh"} +- {"source": "hermes", "job": "check-certs", "schedule": "daily 08:30", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/check_certs.py"} diff --git a/ops/cron-disabled/.placeholder.txt b/ops/cron-disabled/.placeholder.txt new file mode 100644 index 0000000..76cb8d0 --- /dev/null +++ b/ops/cron-disabled/.placeholder.txt @@ -0,0 +1,2 @@ +# DO NOT EDIT OR REMOVE +# This file is a simple placeholder to keep dpkg from removing this directory diff --git a/ops/cron-disabled/README.md b/ops/cron-disabled/README.md new file mode 100644 index 0000000..e0620d7 --- /dev/null +++ b/ops/cron-disabled/README.md @@ -0,0 +1,7 @@ +# Отключённые cron.d + +Cron НЕ читает файлы с точкой в имени (man 5 cron: «files must not contain dots»). Эти файлы лежали в /etc/cron.d и создавали иллюзию, что задания работают, но не выполнялись. + +Перенесены 16.11.2026 в рамках Фазы 5 (унификация расписаний). + +Содержимое сохранено как `<имя>.txt`. diff --git a/ops/cron-disabled/buryan-service-metrics.disabled.txt b/ops/cron-disabled/buryan-service-metrics.disabled.txt new file mode 100644 index 0000000..91c2adf --- /dev/null +++ b/ops/cron-disabled/buryan-service-metrics.disabled.txt @@ -0,0 +1,4 @@ +# Метрики служб для тревог — раз в 2 минуты +SHELL=/bin/bash +PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin +*/2 * * * * root /usr/bin/python3 /opt/buryan-hub/scripts/export-service-metrics.py >/dev/null 2>&1 diff --git a/ops/cron-disabled/hub-digest.disabled-dup-20261106.txt b/ops/cron-disabled/hub-digest.disabled-dup-20261106.txt new file mode 100644 index 0000000..30e2055 --- /dev/null +++ b/ops/cron-disabled/hub-digest.disabled-dup-20261106.txt @@ -0,0 +1,4 @@ +# Ежедневная сводка по платформе в комнату «Дайджесты» +SHELL=/bin/bash +PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin +0 9 * * * root cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 digest.py >> /var/log/hub-digest.log 2>&1 diff --git a/ops/cron-disabled/hub-events-digest.disabled-dup-20261106.txt b/ops/cron-disabled/hub-events-digest.disabled-dup-20261106.txt new file mode 100644 index 0000000..0cc4457 --- /dev/null +++ b/ops/cron-disabled/hub-events-digest.disabled-dup-20261106.txt @@ -0,0 +1,3 @@ +SHELL=/bin/bash +PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin +30 8 * * * root set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/events_digest.py >> /var/log/hub-digest.log 2>&1 diff --git a/ops/cron-disabled/hub-index.disabled-dup-20261106.txt b/ops/cron-disabled/hub-index.disabled-dup-20261106.txt new file mode 100644 index 0000000..65dca05 --- /dev/null +++ b/ops/cron-disabled/hub-index.disabled-dup-20261106.txt @@ -0,0 +1,4 @@ +# Перестроение общего индекса контента каждые 3 часа +SHELL=/bin/bash +PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin +15 */3 * * * root cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 reindex.py >> /var/log/hub-index.log 2>&1 diff --git a/ops/cron-disabled/hub-media-digest.disabled-dup-20261106.txt b/ops/cron-disabled/hub-media-digest.disabled-dup-20261106.txt new file mode 100644 index 0000000..653f2d6 --- /dev/null +++ b/ops/cron-disabled/hub-media-digest.disabled-dup-20261106.txt @@ -0,0 +1,3 @@ +SHELL=/bin/bash +PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin +0 9 * * 1 root set -a; . /etc/hub-core/connectors.env; . /etc/hub-bots/bots.env; . /etc/hub-bots/dm.env; set +a; NOTIFY_TOKEN="$MEDIA_TOKEN" NOTIFY_ROOM="$MEDIA" /usr/bin/python3 /opt/hub-core/media_digest.py >> /var/log/hub-media-digest.log 2>&1 diff --git a/ops/cron-disabled/hub-weekly-core.disabled-dup-20261110-1424.txt b/ops/cron-disabled/hub-weekly-core.disabled-dup-20261110-1424.txt new file mode 100644 index 0000000..25511c0 --- /dev/null +++ b/ops/cron-disabled/hub-weekly-core.disabled-dup-20261110-1424.txt @@ -0,0 +1,3 @@ +SHELL=/bin/bash +PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin +0 20 * * 0 root set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/weekly.py >> /var/log/hub-weekly-core.log 2>&1 diff --git a/ops/cron-disabled/hub-weekly.disabled-dup-20261110-1424.txt b/ops/cron-disabled/hub-weekly.disabled-dup-20261110-1424.txt new file mode 100644 index 0000000..742d778 --- /dev/null +++ b/ops/cron-disabled/hub-weekly.disabled-dup-20261110-1424.txt @@ -0,0 +1,4 @@ +# Недельная сводка по понедельникам в 09:30 +SHELL=/bin/bash +PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin +30 9 * * 1 root cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 weekly.py >> /var/log/hub-weekly.log 2>&1 diff --git a/ops/cron-disabled/mesh-watch.disabled-dup-20261110.txt b/ops/cron-disabled/mesh-watch.disabled-dup-20261110.txt new file mode 100644 index 0000000..f5900d3 --- /dev/null +++ b/ops/cron-disabled/mesh-watch.disabled-dup-20261110.txt @@ -0,0 +1,3 @@ +SHELL=/bin/bash +PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin +*/5 * * * * root /opt/music-tools/venv/bin/python /opt/hub-core/mesh_watch.py >> /var/log/mesh-watch.log 2>&1 diff --git a/ops/scripts/build_automations_registry.py b/ops/scripts/build_automations_registry.py index 0da45fd..0a67dfd 100755 --- a/ops/scripts/build_automations_registry.py +++ b/ops/scripts/build_automations_registry.py @@ -32,6 +32,8 @@ def main(): # 2. cron.d for f in sorted(glob.glob("/etc/cron.d/*")): + if "." in os.path.basename(f): + continue # cron игнорирует имена с точкой if ".disabled" in f: continue for line in open(f, encoding="utf-8", errors="ignore"): diff --git a/ops/scripts/version-watch.sh b/ops/scripts/version-watch.sh index ec60fa1..cdc628d 100755 --- a/ops/scripts/version-watch.sh +++ b/ops/scripts/version-watch.sh @@ -29,7 +29,7 @@ BASE_DIR="$(dirname "$(dirname "$SCRIPT_DIR")")" VERSIONS_FILE="${VERSIONS_FILE:-$BASE_DIR/ops/state/stable-versions.json}" STATE_FILE="${STATE_FILE:-$BASE_DIR/ops/state/version-watch-seen.json}" -N8N_WEBHOOK="${N8N_WEBHOOK:-http://192.168.1.108:5678/webhook/version-update-available}" +N8N_WEBHOOK="${N8N_WEBHOOK:-http://192.168.1.108:5680/webhook/version-update-available}" LOG_TAG="version-watch" log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*"; } diff --git a/ops/state/version-watch-seen.json b/ops/state/version-watch-seen.json index c9eaffd..3a6a346 100644 --- a/ops/state/version-watch-seen.json +++ b/ops/state/version-watch-seen.json @@ -1,7 +1,7 @@ { "adguard": "dig:sha256:aba9e3bf0613be3ba3755e1fc311b126e2c24bec25e18b6483894a88283074f0", - "authentik-security-redis-1": "dig:sha256:858f009f9709ce576febc734aa78b8f6d624b82571f9ddb6bda4377c833b3499", - "calibre-web": "dig:sha256:b206b791d77b731203fb47b5733d055c8d4ebd7c9fa59a4569a5d6a2b3ebda54", + "authentik-security-redis-1": "dig:sha256:7f7d30b7fdd09467bac58198a1f166dd69789d348d4fe859cccb20e0cf287fbe", + "calibre-web": "dig:sha256:adb69d75b9c252e580fc691096f858833b901b5d106ae4080fb476bab104d946", "dashy": "dig:sha256:a877dd3d182b8d6b57aedbd879f2d1c0e76771be3ee54ff1ef4a8a725a09ed11", "duplicati": "dig:sha256:e32e280cc30e98ac5cea8d2b339cd19810b1b39e638fb9d39253786630104de0", "element-web": "dig:sha256:f8700633d4336258af7a05b53865a4f479e0d628cf2d9ca83d28b5939314d4ce", @@ -12,22 +12,22 @@ "jellyfin": "dig:sha256:357724bf0ae27a672c7cbaa899db2d9abeb13dbd8657ccce750258a4c059d037", "linkding": "dig:sha256:e35cb50e0581178f245125ffaa909c565416c94c9f22ace305a7d234a4345522", "livekit": "dig:sha256:89ca9ce0791e18d6e03bf6e2c49ceb27e1c754eae8bd50c989386c1a5963791a", - "matrix-coturn": "dig:sha256:bbefd3e1fdfdc0d58770fe01b581fd8b00d9f3a5580d00acb77cf719a6bc78e3", - "matrix-synapse": "dig:sha256:97665cd4539dcf107c69fb6afdb720e1d1c9c09fb2b5701fb13d6c33b22cd8f0", + "matrix-coturn": "dig:sha256:81f69dc7cb672eb73ab3414afbb199637c37ab8069919d1c6caaed96ff16fb88", + "matrix-synapse": "dig:sha256:c6b5dba477c41b22167e771174456364b7c9c83a4cb2d5d7ee1e530334c5cd06", "mosquitto": "dig:sha256:38c0da4f2ef84284d47b3b3eeea1cb3bdeabe81ee10caf0cd5c5ff61ee3ea408", "n8n": "dig:sha256:dd580fe1ab6e99e85bc66f2acf8bc8c5e9409fbe61b2e2803c5024403ef52833", "nats": "dig:sha256:b7752304692bc0612b7fbae6add53cdd14059ec83cad1795d78edade6025ef07", "navidrome": "dig:sha256:38dc2727bfcfd5ede290f8ada114fc90368146f265ae4701ddddbcbe2a44ee52", - "nextcloud": "dig:sha256:a588aa5353703b44106a6129adaaf7bf22521b7a4754f9f529b3228d6aa390c5", - "node_red": "dig:sha256:b5adb6c9dd29ab80c852d82bc87daed84e729dcff9b00ca1bf958e6de470f2c1", - "npm-app-1": "dig:sha256:4393e642e233e5efd5adeb7f10918d4aaea71c9ed875b94190273fc8e87f9594", - "paperless_redis": "dig:sha256:858f009f9709ce576febc734aa78b8f6d624b82571f9ddb6bda4377c833b3499", + "nextcloud": "dig:sha256:8041f24690c5631da46d2391e1fd7efcde95c6cf08695047f3dd7ce7783934b4", + "node_red": "dig:sha256:2ccd38b4066648bd5e17430c50a2f8102c566a82fd4f2fc5c342e61664d6896f", + "npm-app-1": "dig:sha256:91277490a919c792aa73b8d291af1ca84d32be74df988e543137976515763534", + "paperless_redis": "dig:sha256:7f7d30b7fdd09467bac58198a1f166dd69789d348d4fe859cccb20e0cf287fbe", "plex": "dig:sha256:06e07af2851e6a822e89062b148435495dd794d6d5aaf36247dee05fb3dcc4b8", "prometheus": "dig:sha256:efd719c99d83b060d9daefdcf00360461adf279f45ef5391f8d111892118753e", - "swarm-redis": "dig:sha256:858f009f9709ce576febc734aa78b8f6d624b82571f9ddb6bda4377c833b3499", + "swarm-redis": "dig:sha256:7f7d30b7fdd09467bac58198a1f166dd69789d348d4fe859cccb20e0cf287fbe", "syncthing": "dig:sha256:4d0281bdcb4ed9baf503d251d0544ddd856f49fce3f114056257ae172b7fb670", "tautulli": "dig:sha256:a4323bc09b27e265e269d79421ed3eb795083ef988bb84788eba89e5738c8005", "uptime_kuma": "dig:sha256:70233f4acb5163fd2a59a49909cf01e44415cecff13dba69e3a86647a2919f83", "vaultwarden": "dig:sha256:efb3cde962015fcc036b2ea625242248611943b27212ebf4392841fb30fad055", - "zigbee2mqtt": "dig:sha256:addbfb08fcef2e4477de1535636118241e10d13e898fbe4d9faba8a4d7396311" + "zigbee2mqtt": "dig:sha256:fb4a6b0f6868ad1cd6a9996479802b2420e599c3463b62bbff8c8cd9a908f43a" }