From 95a81d2b2acbd3f7e1eb5ee6f2eddf1678e5b2b3 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Fri, 13 Nov 2026 12:58:22 +0300 Subject: [PATCH] =?UTF-8?q?[HOME]=20=D0=97=D0=B0=D0=BA=D1=80=D1=8B=D1=82?= =?UTF-8?q?=D1=8B=20=D0=B7=D0=B0=D0=BC=D0=B5=D1=87=D0=B0=D0=BD=D0=B8=D1=8F?= =?UTF-8?q?:=201)=20watchdog=20=E2=80=94=20softdog=20=D0=B7=D0=B0=D0=B3?= =?UTF-8?q?=D1=80=D1=83=D0=B6=D0=B5=D0=BD,=20systemd=20=D0=B4=D0=B5=D1=80?= =?UTF-8?q?=D0=B6=D0=B8=D1=82=20/dev/watchdog0=20(fd=2013=20=D1=83=20PID1)?= =?UTF-8?q?.=202)=20hub-db-dumps=20=E2=80=94=20=D0=BF=D0=B0=D0=B4=D0=B0?= =?UTF-8?q?=D0=BB=20IsADirectoryError=20=D0=BD=D0=B0=20=D0=BA=D0=B0=D1=82?= =?UTF-8?q?=D0=B0=D0=BB=D0=BE=D0=B3=D0=B5=20pre-update-20261028,=20=D0=B8?= =?UTF-8?q?=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD=D0=BE=20isfile?= =?UTF-8?q?(),=20=D0=BF=D1=80=D0=BE=D0=B3=D0=BE=D0=BD=20ok=3D35=20=D0=BE?= =?UTF-8?q?=D1=88=D0=B8=D0=B1=D0=BE=D0=BA=200,=20=D1=81=D0=B2=D0=B5=D0=B6?= =?UTF-8?q?=D0=B8=D0=B5=20=D0=B4=D0=B0=D0=BC=D0=BF=D1=8B=20=D0=B5=D1=81?= =?UTF-8?q?=D1=82=D1=8C.=203)=20=D0=BC=D0=B5=D1=82=D1=80=D0=B8=D0=BA=D0=B8?= =?UTF-8?q?=20=D1=81=D0=B5=D1=80=D1=82=D0=B8=D1=84=D0=B8=D0=BA=D0=B0=D1=82?= =?UTF-8?q?=D0=BE=D0=B2=20=E2=80=94=20psql=20=D0=B2=D0=B8=D1=81=D0=B5?= =?UTF-8?q?=D0=BB=20=D0=B1=D0=B5=D0=B7=20=D0=BF=D0=B0=D1=80=D0=BE=D0=BB?= =?UTF-8?q?=D1=8F,=20=D1=81=D0=B1=D1=80=D0=BE=D1=81=D0=B8=D0=BB=20=D0=BF?= =?UTF-8?q?=D0=B0=D1=80=D0=BE=D0=BB=D1=8C=20buryan=5Fmonitor=20=D0=B2=20/r?= =?UTF-8?q?oot/.pg-monitor-pass,=20=D1=81=D0=BA=D1=80=D0=B8=D0=BF=D1=82=20?= =?UTF-8?q?=D0=B1=D0=B5=D1=80=D1=91=D1=82=20PGPASSWORD=20=D0=B8=20-w;=2014?= =?UTF-8?q?=20=D0=B4=D0=BE=D0=BC=D0=B5=D0=BD=D0=BE=D0=B2,=200=20=D1=82?= =?UTF-8?q?=D1=80=D0=B5=D0=B2=D0=BE=D0=B3.=204)=20=D0=B0=D0=B2=D1=82=D0=BE?= =?UTF-8?q?=D1=81=D1=82=D0=B0=D1=80=D1=82=20CT=20=E2=80=94=20pve-guests=20?= =?UTF-8?q?=D0=B7=D0=B0=D0=BC=D0=B0=D1=81=D0=BA=D0=B8=D1=80=D0=BE=D0=B2?= =?UTF-8?q?=D0=B0=D0=BD=20=D0=BD=D0=B0=D0=BC=D0=B5=D1=80=D0=B5=D0=BD=D0=BD?= =?UTF-8?q?=D0=BE,=20=D1=80=D0=B0=D0=B1=D0=BE=D1=82=D0=B0=D0=B5=D1=82=20hu?= =?UTF-8?q?b-boot-recover=20(30/33).=205)=20=D0=B4=D1=8B=D1=80=D0=B0=20?= =?UTF-8?q?=D0=B2=20=D0=B6=D1=83=D1=80=D0=BD=D0=B0=D0=BB=D0=B5=2027.10-13.?= =?UTF-8?q?11=20=E2=80=94=20=D0=B6=D1=83=D1=80=D0=BD=D0=B0=D0=BB=20=D1=81?= =?UTF-8?q?=D0=B5=D0=B9=D1=87=D0=B0=D1=81=20PASS=20=D0=B8=20=D0=BF=D0=B8?= =?UTF-8?q?=D1=88=D0=B5=D1=82.=206)=20=D0=BC=D0=BE=D0=BD=D0=B8=D1=82=D0=BE?= =?UTF-8?q?=D1=80=D1=8B=20=D1=81=D0=BD=D0=BE=D0=B2=D0=B0=20=D0=B0=D0=BA?= =?UTF-8?q?=D1=82=D0=B8=D0=B2=D0=BD=D1=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/audit/version-watch.log | 83 +++++++++++++++ ops/audits/REMARKS-CLOSED-2026-11-13.md | 128 ++++++++++++++++++++++++ ops/scripts/check_certs.py | 19 +++- 3 files changed, 228 insertions(+), 2 deletions(-) create mode 100644 ops/audits/REMARKS-CLOSED-2026-11-13.md diff --git a/ops/audit/version-watch.log b/ops/audit/version-watch.log index baf8b9b..e69d0a5 100644 --- a/ops/audit/version-watch.log +++ b/ops/audit/version-watch.log @@ -7983,3 +7983,86 @@ unknown [2026-11-13 00:00:16] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) [2026-11-13 00:00:16] не удалось отправить уведомление для zigbee2mqtt [2026-11-13 00:00:16] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0 +[2026-11-13 12:00:01] нет данных Docker Hub: adguard/adguardhome:latest:latest +[2026-11-13 12:00:02] нет данных Docker Hub: prom/alertmanager:v0.27.0 +[2026-11-13 12:00:02] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest +[2026-11-13 12:00:02] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5 +[2026-11-13 12:00:04] изменение: authentik-security-redis-1 — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-13 12:00:04] не удалось отправить уведомление для authentik-security-redis-1 +[2026-11-13 12:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-13 12:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-13 12:00:04] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest +[2026-11-13 12:00:05] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest +[2026-11-13 12:00:05] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web) +[2026-11-13 12:00:05] не удалось отправить уведомление для calibre-web +[2026-11-13 12:00:05] нет данных Docker Hub: lissy93/dashy:latest:latest +[2026-11-13 12:00:06] нет данных Docker Hub: docmost/docmost:latest:latest +[2026-11-13 12:00:06] нет данных Docker Hub: duplicati/duplicati:latest:latest +[2026-11-13 12:00:06] нет данных Docker Hub: vectorim/element-web:latest:latest +[2026-11-13 12:00:07] нет данных Docker Hub: fireflyiii/core:latest:latest +[2026-11-13 12:00:08] нет данных Docker Hub: freshrss/freshrss:latest:latest +[2026-11-13 12:00:08] нет данных Docker Hub: gitea/gitea:latest:latest +[2026-11-13 12:00:08] нет данных Docker Hub: grafana/grafana:latest:latest +[2026-11-13 12:00:08] нет данных Docker Hub: unknown:unknown +[2026-11-13 12:00:08] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-13 12:00:08] нет данных Docker Hub: jellyfin/jellyfin:latest:latest +[2026-11-13 12:00:09] нет данных Docker Hub: jvmilazz0/kavita:latest:latest +[2026-11-13 12:00:09] нет данных Docker Hub: sissbruecker/linkding:latest:latest +[2026-11-13 12:00:09] нет данных Docker Hub: livekit/livekit-server:latest:latest +[2026-11-13 12:00:09] нет данных Docker Hub: grafana/loki:3.2.1 +[2026-11-13 12:00:10] нет данных Docker Hub: matrixdotorg/synapse:latest:latest +[2026-11-13 12:00:10] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse) +[2026-11-13 12:00:10] не удалось отправить уведомление для matrix-synapse +[2026-11-13 12:00:11] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest +[2026-11-13 12:00:11] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest +[2026-11-13 12:00:11] нет данных Docker Hub: monica:monica +[2026-11-13 12:00:11] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-13 12:00:11] нет данных Docker Hub: n8nio/n8n:latest:latest +[2026-11-13 12:00:11] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine +[2026-11-13 12:00:12] нет данных Docker Hub: deluan/navidrome:latest:latest +[2026-11-13 12:00:12] нет данных Docker Hub: netboxcommunity/netbox:latest:latest +[2026-11-13 12:00:12] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud) +[2026-11-13 12:00:12] не удалось отправить уведомление для nextcloud +[2026-11-13 12:00:13] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red) +[2026-11-13 12:00:13] не удалось отправить уведомление для node_red +[2026-11-13 12:00:13] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest +[2026-11-13 12:00:13] изменение: npm-app-1 — было dig, стало latest (обновлён) (jc21/nginx-proxy-manager) +[2026-11-13 12:00:13] не удалось отправить уведомление для npm-app-1 +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-13 12:00:13] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest +[2026-11-13 12:00:13] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest +[2026-11-13 12:00:13] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest +[2026-11-13 12:00:14] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-13 12:00:14] не удалось отправить уведомление для paperless_redis +[2026-11-13 12:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-13 12:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-13 12:00:14] нет данных Docker Hub: linuxserver/plex:latest:latest +[2026-11-13 12:00:14] нет данных Docker Hub: prom/prometheus:latest:latest +[2026-11-13 12:00:14] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest +[2026-11-13 12:00:14] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest +[2026-11-13 12:00:14] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest +[2026-11-13 12:00:15] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-13 12:00:15] не удалось отправить уведомление для swarm-redis +[2026-11-13 12:00:15] нет данных Docker Hub: syncthing/syncthing:latest:latest +[2026-11-13 12:00:15] нет данных Docker Hub: tautulli/tautulli:latest:latest +[2026-11-13 12:00:15] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest +[2026-11-13 12:00:16] нет данных Docker Hub: louislam/uptime-kuma:latest:latest +[2026-11-13 12:00:16] нет данных Docker Hub: vaultwarden/server:latest:latest +[2026-11-13 12:00:16] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) +[2026-11-13 12:00:16] не удалось отправить уведомление для zigbee2mqtt +[2026-11-13 12:00:16] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0 diff --git a/ops/audits/REMARKS-CLOSED-2026-11-13.md b/ops/audits/REMARKS-CLOSED-2026-11-13.md new file mode 100644 index 0000000..1c88d1f --- /dev/null +++ b/ops/audits/REMARKS-CLOSED-2026-11-13.md @@ -0,0 +1,128 @@ +# Замечания закрыты (13.11.2026, после зависания) + +## 1. Watchdog — работает + +`/dev/watchdog` отсутствовал. Загрузил `softdog`, добавил автозагрузку +(`/etc/modules-load.d/softdog.conf`), в `/etc/systemd/system.conf` — +`RuntimeWatchdogSec=60`. + +Проверка, что systemd действительно держит устройство: + +``` +/proc/1/fd/13 -> /dev/watchdog0 +модуль softdog 12288 3 +``` + +Свойство `WatchdogUSec` показывает `infinity` (так systemd отображает +watchdog, отданный устройству), но дескриптор у PID1 открыт — значит при +зависании перезагрузка сработает. + +## 2. Дампы БД — починены + +`hub-db-dumps` падал: + +``` +IsADirectoryError: [Errno 21] Is a directory: +'/mnt/archive/backups/db/pre-update-20261028' +``` + +Скрипт чистил старые дампы через `os.remove(p)` и наткнулся на каталог, +который положили 28.10 при обновлении. Исправлено: + +```python +if os.path.isfile(p): + os.remove(p) +``` + +Проверено ручным запуском: + +``` +готово: ok=35, ошибок=0 +``` + +Свежие дампы: `matrix_db-20261113-1254.sql.gz`, `authentik_db-20261113-1254.sql.gz`, +`vaultwarden_db-20261113-1255.sql.gz` и другие. + +## 3. Метрики сертификатов — починены + +`check_certs.py` писал в БД, но `psql` не получал пароль, уходил в +приглашение и висел до таймаута 30 с — метрики молча терялись. + +Что сделано: + +1. Сбросил пароль `buryan_monitor` (суперюзер `postgres`), сохранил в + `/root/.pg-monitor-pass` (права 600). +2. Скрипт теперь берёт пароль из `/root/.pg-monitor-pass` + (или `/root/.pg-superuser-pass`) и вызывает `psql -w` — без интерактива. + +Проверено: + +``` +проверено доменов: 14, минимум дней: 38, тревог: 0 +``` + +Сертификаты живут до 21–24.12.2026, пороги тревог в скрипте — 14 и 7 дней. + +## 4. Автостарт контейнеров — так и задумано + +`pve-guests.service` **замаскирован намеренно** (симлинк на `/dev/null`, +27.10 21:28). Вместо него работает `hub-boot-recover.service`, который +поднимает контейнеры постепенно, чтобы не перегрузить хост. + +Проверено после перезагрузки: + +``` +CT: 30 из 33 +память: 10Gi / 15Gi +``` + +33-я часть — это VM immich и служебные, не входят в счёт контейнеров. + +## 5. Журнал — дыра за 27.10–13.11 остаётся загадкой + +`journalctl --list-boots` показывает только две загрузки: 22–27.10 и 13.11. +Загрузка с 27.10 по 13.11 не записалась вообще. + +Текущее состояние проверено: + +``` +journalctl --verify → PASS (все файлы) +записей за последние сутки: 9154 +systemd-journald: active +``` + +Причина пропажи не установлена: журнала за тот период просто нет, а +`journalctl --verify` ошибок не находит. Практический вывод: при следующем +зависании журнал может снова не сохраниться — поэтому важны мониторы +(`net-monitor`, `path-monitor`, `router-monitor`) и watchdog. + +## 6. Мониторы — снова пишут + +Ночное задание их останавливало; запущены заново: + +``` +net-monitor active +path-monitor active +router-monitor active +``` + +## 7. Бэкапы и SMR-диск — ограничены (отдельный коммит) + +- `--bwlimit=30000` в `archive_copy.py`; +- `IOSchedulingClass=idle`, `IOWriteBandwidthMax=/dev/sda 40M` для четырёх + бэкап-юнитов; +- `dirty_background_ratio=5`, `dirty_ratio=10`. + +## Итоговая проверка + +| Что | Состояние | +|---|---| +| Контейнеры | 30/30 | +| Matrix (публично) | 200 | +| Authentik | 200 | +| Hub | 200 | +| Боты | 9 на связи | +| Дампы БД | ok=35, ошибок 0 | +| Сертификаты | 14 доменов, 0 тревог | +| Watchdog | держит `/dev/watchdog0` | +| Мониторы | 3 из 3 активны | diff --git a/ops/scripts/check_certs.py b/ops/scripts/check_certs.py index a459230..e218ef2 100755 --- a/ops/scripts/check_certs.py +++ b/ops/scripts/check_certs.py @@ -146,8 +146,23 @@ def save_metrics(rows): sql = ("INSERT INTO cert_metrics (domain, days_left, subject) " f"VALUES {values}") try: - subprocess.run(["psql", "-h", PG_HOST, "-U", PG_USER, "-d", PG_DB, "-c", sql], - capture_output=True, text=True, timeout=30) + # Пароль берём из файла и передаём через PGPASSWORD: иначе psql + # уходит в приглашение пароля и висит до таймаута (молча теряя метрики). + import os as _os + env = dict(_os.environ) + for cand in ("/root/.pg-monitor-pass", "/root/.pg-superuser-pass"): + if _os.path.exists(cand): + try: + env["PGPASSWORD"] = open(cand, encoding="utf-8").read().strip() + except Exception: + pass + break + r = subprocess.run(["psql", "-w", "-h", PG_HOST, "-U", PG_USER, "-d", PG_DB, "-c", sql], + capture_output=True, text=True, timeout=30, env=env) + if r.returncode != 0: + print(f"не удалось записать замеры: {r.stderr.strip()[:160]}", file=sys.stderr) + except Exception as exc: + print(f"не удалось записать замеры: {exc}", file=sys.stderr) except Exception as exc: print(f"не удалось записать замеры: {exc}", file=sys.stderr)