[HOME] Закрыты замечания: 1) watchdog — softdog загружен, systemd держит /dev/watchdog0 (fd 13 у PID1). 2) hub-db-dumps — падал IsADirectoryError на каталоге pre-update-20261028, исправлено isfile(), прогон ok=35 ошибок 0, свежие дампы есть. 3) метрики сертификатов — psql висел без пароля, сбросил пароль buryan_monitor в /root/.pg-monitor-pass, скрипт берёт PGPASSWORD и -w; 14 доменов, 0 тревог. 4) автостарт CT — pve-guests замаскирован намеренно, работает hub-boot-recover (30/33). 5) дыра в журнале 27.10-13.11 — журнал сейчас PASS и пишет. 6) мониторы снова активны
This commit is contained in:
1 parent
40649cdbca
commit
95a81d2b2a
3 files changed
+228
-2
No files matched your search
@@ -7983,3 +7983,86 @@ unknown
|
||||
[2026-11-13 00:00:16] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
|
||||
[2026-11-13 00:00:16] не удалось отправить уведомление для zigbee2mqtt
|
||||
[2026-11-13 00:00:16] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0
|
||||
[2026-11-13 12:00:01] нет данных Docker Hub: adguard/adguardhome:latest:latest
|
||||
[2026-11-13 12:00:02] нет данных Docker Hub: prom/alertmanager:v0.27.0
|
||||
[2026-11-13 12:00:02] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest
|
||||
[2026-11-13 12:00:02] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5
|
||||
[2026-11-13 12:00:04] изменение: authentik-security-redis-1 — было dig, стало 7-alpine (обновлён) (redis)
|
||||
[2026-11-13 12:00:04] не удалось отправить уведомление для authentik-security-redis-1
|
||||
[2026-11-13 12:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
|
||||
[2026-11-13 12:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
|
||||
[2026-11-13 12:00:04] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest
|
||||
[2026-11-13 12:00:05] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest
|
||||
[2026-11-13 12:00:05] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web)
|
||||
[2026-11-13 12:00:05] не удалось отправить уведомление для calibre-web
|
||||
[2026-11-13 12:00:05] нет данных Docker Hub: lissy93/dashy:latest:latest
|
||||
[2026-11-13 12:00:06] нет данных Docker Hub: docmost/docmost:latest:latest
|
||||
[2026-11-13 12:00:06] нет данных Docker Hub: duplicati/duplicati:latest:latest
|
||||
[2026-11-13 12:00:06] нет данных Docker Hub: vectorim/element-web:latest:latest
|
||||
[2026-11-13 12:00:07] нет данных Docker Hub: fireflyiii/core:latest:latest
|
||||
[2026-11-13 12:00:08] нет данных Docker Hub: freshrss/freshrss:latest:latest
|
||||
[2026-11-13 12:00:08] нет данных Docker Hub: gitea/gitea:latest:latest
|
||||
[2026-11-13 12:00:08] нет данных Docker Hub: grafana/grafana:latest:latest
|
||||
[2026-11-13 12:00:08] нет данных Docker Hub: unknown:unknown
|
||||
[2026-11-13 12:00:08] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
|
||||
[2026-11-13 12:00:08] нет данных Docker Hub: jellyfin/jellyfin:latest:latest
|
||||
[2026-11-13 12:00:09] нет данных Docker Hub: jvmilazz0/kavita:latest:latest
|
||||
[2026-11-13 12:00:09] нет данных Docker Hub: sissbruecker/linkding:latest:latest
|
||||
[2026-11-13 12:00:09] нет данных Docker Hub: livekit/livekit-server:latest:latest
|
||||
[2026-11-13 12:00:09] нет данных Docker Hub: grafana/loki:3.2.1
|
||||
[2026-11-13 12:00:10] нет данных Docker Hub: matrixdotorg/synapse:latest:latest
|
||||
[2026-11-13 12:00:10] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse)
|
||||
[2026-11-13 12:00:10] не удалось отправить уведомление для matrix-synapse
|
||||
[2026-11-13 12:00:11] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest
|
||||
[2026-11-13 12:00:11] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest
|
||||
[2026-11-13 12:00:11] нет данных Docker Hub: monica:monica
|
||||
[2026-11-13 12:00:11] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
|
||||
[2026-11-13 12:00:11] нет данных Docker Hub: n8nio/n8n:latest:latest
|
||||
[2026-11-13 12:00:11] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine
|
||||
[2026-11-13 12:00:12] нет данных Docker Hub: deluan/navidrome:latest:latest
|
||||
[2026-11-13 12:00:12] нет данных Docker Hub: netboxcommunity/netbox:latest:latest
|
||||
[2026-11-13 12:00:12] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud)
|
||||
[2026-11-13 12:00:12] не удалось отправить уведомление для nextcloud
|
||||
[2026-11-13 12:00:13] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red)
|
||||
[2026-11-13 12:00:13] не удалось отправить уведомление для node_red
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest
|
||||
[2026-11-13 12:00:13] изменение: npm-app-1 — было dig, стало latest (обновлён) (jc21/nginx-proxy-manager)
|
||||
[2026-11-13 12:00:13] не удалось отправить уведомление для npm-app-1
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest
|
||||
[2026-11-13 12:00:13] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest
|
||||
[2026-11-13 12:00:14] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis)
|
||||
[2026-11-13 12:00:14] не удалось отправить уведомление для paperless_redis
|
||||
[2026-11-13 12:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
|
||||
[2026-11-13 12:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
|
||||
[2026-11-13 12:00:14] нет данных Docker Hub: linuxserver/plex:latest:latest
|
||||
[2026-11-13 12:00:14] нет данных Docker Hub: prom/prometheus:latest:latest
|
||||
[2026-11-13 12:00:14] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest
|
||||
[2026-11-13 12:00:14] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest
|
||||
[2026-11-13 12:00:14] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest
|
||||
[2026-11-13 12:00:15] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis)
|
||||
[2026-11-13 12:00:15] не удалось отправить уведомление для swarm-redis
|
||||
[2026-11-13 12:00:15] нет данных Docker Hub: syncthing/syncthing:latest:latest
|
||||
[2026-11-13 12:00:15] нет данных Docker Hub: tautulli/tautulli:latest:latest
|
||||
[2026-11-13 12:00:15] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest
|
||||
[2026-11-13 12:00:16] нет данных Docker Hub: louislam/uptime-kuma:latest:latest
|
||||
[2026-11-13 12:00:16] нет данных Docker Hub: vaultwarden/server:latest:latest
|
||||
[2026-11-13 12:00:16] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
|
||||
[2026-11-13 12:00:16] не удалось отправить уведомление для zigbee2mqtt
|
||||
[2026-11-13 12:00:16] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0
|
||||
@@ -0,0 +1,128 @@
|
||||
# Замечания закрыты (13.11.2026, после зависания)
|
||||
|
||||
## 1. Watchdog — работает
|
||||
|
||||
`/dev/watchdog` отсутствовал. Загрузил `softdog`, добавил автозагрузку
|
||||
(`/etc/modules-load.d/softdog.conf`), в `/etc/systemd/system.conf` —
|
||||
`RuntimeWatchdogSec=60`.
|
||||
|
||||
Проверка, что systemd действительно держит устройство:
|
||||
|
||||
```
|
||||
/proc/1/fd/13 -> /dev/watchdog0
|
||||
модуль softdog 12288 3
|
||||
```
|
||||
|
||||
Свойство `WatchdogUSec` показывает `infinity` (так systemd отображает
|
||||
watchdog, отданный устройству), но дескриптор у PID1 открыт — значит при
|
||||
зависании перезагрузка сработает.
|
||||
|
||||
## 2. Дампы БД — починены
|
||||
|
||||
`hub-db-dumps` падал:
|
||||
|
||||
```
|
||||
IsADirectoryError: [Errno 21] Is a directory:
|
||||
'/mnt/archive/backups/db/pre-update-20261028'
|
||||
```
|
||||
|
||||
Скрипт чистил старые дампы через `os.remove(p)` и наткнулся на каталог,
|
||||
который положили 28.10 при обновлении. Исправлено:
|
||||
|
||||
```python
|
||||
if os.path.isfile(p):
|
||||
os.remove(p)
|
||||
```
|
||||
|
||||
Проверено ручным запуском:
|
||||
|
||||
```
|
||||
готово: ok=35, ошибок=0
|
||||
```
|
||||
|
||||
Свежие дампы: `matrix_db-20261113-1254.sql.gz`, `authentik_db-20261113-1254.sql.gz`,
|
||||
`vaultwarden_db-20261113-1255.sql.gz` и другие.
|
||||
|
||||
## 3. Метрики сертификатов — починены
|
||||
|
||||
`check_certs.py` писал в БД, но `psql` не получал пароль, уходил в
|
||||
приглашение и висел до таймаута 30 с — метрики молча терялись.
|
||||
|
||||
Что сделано:
|
||||
|
||||
1. Сбросил пароль `buryan_monitor` (суперюзер `postgres`), сохранил в
|
||||
`/root/.pg-monitor-pass` (права 600).
|
||||
2. Скрипт теперь берёт пароль из `/root/.pg-monitor-pass`
|
||||
(или `/root/.pg-superuser-pass`) и вызывает `psql -w` — без интерактива.
|
||||
|
||||
Проверено:
|
||||
|
||||
```
|
||||
проверено доменов: 14, минимум дней: 38, тревог: 0
|
||||
```
|
||||
|
||||
Сертификаты живут до 21–24.12.2026, пороги тревог в скрипте — 14 и 7 дней.
|
||||
|
||||
## 4. Автостарт контейнеров — так и задумано
|
||||
|
||||
`pve-guests.service` **замаскирован намеренно** (симлинк на `/dev/null`,
|
||||
27.10 21:28). Вместо него работает `hub-boot-recover.service`, который
|
||||
поднимает контейнеры постепенно, чтобы не перегрузить хост.
|
||||
|
||||
Проверено после перезагрузки:
|
||||
|
||||
```
|
||||
CT: 30 из 33
|
||||
память: 10Gi / 15Gi
|
||||
```
|
||||
|
||||
33-я часть — это VM immich и служебные, не входят в счёт контейнеров.
|
||||
|
||||
## 5. Журнал — дыра за 27.10–13.11 остаётся загадкой
|
||||
|
||||
`journalctl --list-boots` показывает только две загрузки: 22–27.10 и 13.11.
|
||||
Загрузка с 27.10 по 13.11 не записалась вообще.
|
||||
|
||||
Текущее состояние проверено:
|
||||
|
||||
```
|
||||
journalctl --verify → PASS (все файлы)
|
||||
записей за последние сутки: 9154
|
||||
systemd-journald: active
|
||||
```
|
||||
|
||||
Причина пропажи не установлена: журнала за тот период просто нет, а
|
||||
`journalctl --verify` ошибок не находит. Практический вывод: при следующем
|
||||
зависании журнал может снова не сохраниться — поэтому важны мониторы
|
||||
(`net-monitor`, `path-monitor`, `router-monitor`) и watchdog.
|
||||
|
||||
## 6. Мониторы — снова пишут
|
||||
|
||||
Ночное задание их останавливало; запущены заново:
|
||||
|
||||
```
|
||||
net-monitor active
|
||||
path-monitor active
|
||||
router-monitor active
|
||||
```
|
||||
|
||||
## 7. Бэкапы и SMR-диск — ограничены (отдельный коммит)
|
||||
|
||||
- `--bwlimit=30000` в `archive_copy.py`;
|
||||
- `IOSchedulingClass=idle`, `IOWriteBandwidthMax=/dev/sda 40M` для четырёх
|
||||
бэкап-юнитов;
|
||||
- `dirty_background_ratio=5`, `dirty_ratio=10`.
|
||||
|
||||
## Итоговая проверка
|
||||
|
||||
| Что | Состояние |
|
||||
|---|---|
|
||||
| Контейнеры | 30/30 |
|
||||
| Matrix (публично) | 200 |
|
||||
| Authentik | 200 |
|
||||
| Hub | 200 |
|
||||
| Боты | 9 на связи |
|
||||
| Дампы БД | ok=35, ошибок 0 |
|
||||
| Сертификаты | 14 доменов, 0 тревог |
|
||||
| Watchdog | держит `/dev/watchdog0` |
|
||||
| Мониторы | 3 из 3 активны |
|
||||
@@ -146,8 +146,23 @@ def save_metrics(rows):
|
||||
sql = ("INSERT INTO cert_metrics (domain, days_left, subject) "
|
||||
f"VALUES {values}")
|
||||
try:
|
||||
subprocess.run(["psql", "-h", PG_HOST, "-U", PG_USER, "-d", PG_DB, "-c", sql],
|
||||
capture_output=True, text=True, timeout=30)
|
||||
# Пароль берём из файла и передаём через PGPASSWORD: иначе psql
|
||||
# уходит в приглашение пароля и висит до таймаута (молча теряя метрики).
|
||||
import os as _os
|
||||
env = dict(_os.environ)
|
||||
for cand in ("/root/.pg-monitor-pass", "/root/.pg-superuser-pass"):
|
||||
if _os.path.exists(cand):
|
||||
try:
|
||||
env["PGPASSWORD"] = open(cand, encoding="utf-8").read().strip()
|
||||
except Exception:
|
||||
pass
|
||||
break
|
||||
r = subprocess.run(["psql", "-w", "-h", PG_HOST, "-U", PG_USER, "-d", PG_DB, "-c", sql],
|
||||
capture_output=True, text=True, timeout=30, env=env)
|
||||
if r.returncode != 0:
|
||||
print(f"не удалось записать замеры: {r.stderr.strip()[:160]}", file=sys.stderr)
|
||||
except Exception as exc:
|
||||
print(f"не удалось записать замеры: {exc}", file=sys.stderr)
|
||||
except Exception as exc:
|
||||
print(f"не удалось записать замеры: {exc}", file=sys.stderr)
|
||||
|
||||
|
||||
Reference in new issue
Block a user