diff --git a/ops/audit/version-watch.log b/ops/audit/version-watch.log index 1b5d5f2..4f13866 100644 --- a/ops/audit/version-watch.log +++ b/ops/audit/version-watch.log @@ -7168,3 +7168,83 @@ unknown [2026-11-10 12:00:42] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) [2026-11-10 12:00:42] не удалось отправить уведомление для zigbee2mqtt [2026-11-10 12:00:42] [version-watch] закреплённых: 1, плавающих: 10, без данных: 65, база: 0, изменений: 0 +[2026-11-10 18:00:03] нет данных Docker Hub: adguard/adguardhome:latest:latest +[2026-11-10 18:00:03] нет данных Docker Hub: prom/alertmanager:v0.27.0 +[2026-11-10 18:00:03] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest +[2026-11-10 18:00:03] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5 +[2026-11-10 18:00:29] нет данных Docker Hub: redis:7-alpine +[2026-11-10 18:00:29] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-10 18:00:29] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-10 18:00:29] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest +[2026-11-10 18:00:29] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest +[2026-11-10 18:00:29] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web) +[2026-11-10 18:00:29] не удалось отправить уведомление для calibre-web +[2026-11-10 18:00:29] нет данных Docker Hub: lissy93/dashy:latest:latest +[2026-11-10 18:00:30] нет данных Docker Hub: docmost/docmost:latest:latest +[2026-11-10 18:00:30] нет данных Docker Hub: duplicati/duplicati:latest:latest +[2026-11-10 18:00:30] нет данных Docker Hub: vectorim/element-web:latest:latest +[2026-11-10 18:00:31] нет данных Docker Hub: fireflyiii/core:latest:latest +[2026-11-10 18:00:31] нет данных Docker Hub: freshrss/freshrss:latest:latest +[2026-11-10 18:00:32] нет данных Docker Hub: gitea/gitea:latest:latest +[2026-11-10 18:00:32] нет данных Docker Hub: grafana/grafana:latest:latest +[2026-11-10 18:00:32] нет данных Docker Hub: unknown:unknown +[2026-11-10 18:00:32] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-10 18:00:47] нет данных Docker Hub: jellyfin/jellyfin:latest:latest +[2026-11-10 18:00:48] нет данных Docker Hub: jvmilazz0/kavita:latest:latest +[2026-11-10 18:00:48] нет данных Docker Hub: sissbruecker/linkding:latest:latest +[2026-11-10 18:01:01] нет данных Docker Hub: livekit/livekit-server:latest:latest +[2026-11-10 18:01:02] нет данных Docker Hub: grafana/loki:3.2.1 +[2026-11-10 18:01:03] нет данных Docker Hub: matrixdotorg/synapse:latest:latest +[2026-11-10 18:01:03] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse) +[2026-11-10 18:01:03] не удалось отправить уведомление для matrix-synapse +[2026-11-10 18:01:03] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest +[2026-11-10 18:01:03] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest +[2026-11-10 18:01:04] нет данных Docker Hub: monica:monica +[2026-11-10 18:01:04] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-10 18:01:04] нет данных Docker Hub: n8nio/n8n:latest:latest +[2026-11-10 18:01:19] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine +[2026-11-10 18:01:19] нет данных Docker Hub: deluan/navidrome:latest:latest +[2026-11-10 18:01:19] нет данных Docker Hub: netboxcommunity/netbox:latest:latest +[2026-11-10 18:01:20] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud) +[2026-11-10 18:01:20] не удалось отправить уведомление для nextcloud +[2026-11-10 18:01:20] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red) +[2026-11-10 18:01:20] не удалось отправить уведомление для node_red +[2026-11-10 18:01:20] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest +[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest +[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest +[2026-11-10 18:01:21] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-10 18:01:21] не удалось отправить уведомление для paperless_redis +[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-10 18:01:22] нет данных Docker Hub: linuxserver/plex:latest:latest +[2026-11-10 18:01:22] нет данных Docker Hub: prom/prometheus:latest:latest +[2026-11-10 18:01:22] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest +[2026-11-10 18:01:22] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest +[2026-11-10 18:01:22] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest +[2026-11-10 18:01:22] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-10 18:01:22] не удалось отправить уведомление для swarm-redis +[2026-11-10 18:01:22] нет данных Docker Hub: syncthing/syncthing:latest:latest +[2026-11-10 18:01:23] нет данных Docker Hub: tautulli/tautulli:latest:latest +[2026-11-10 18:01:23] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest +[2026-11-10 18:01:23] нет данных Docker Hub: louislam/uptime-kuma:latest:latest +[2026-11-10 18:01:24] нет данных Docker Hub: vaultwarden/server:latest:latest +[2026-11-10 18:01:24] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) +[2026-11-10 18:01:24] не удалось отправить уведомление для zigbee2mqtt +[2026-11-10 18:01:24] [version-watch] закреплённых: 1, плавающих: 10, без данных: 65, база: 0, изменений: 0 diff --git a/ops/hub/RAG-HANG-2026-11-10.md b/ops/hub/RAG-HANG-2026-11-10.md new file mode 100644 index 0000000..f043f5f --- /dev/null +++ b/ops/hub/RAG-HANG-2026-11-10.md @@ -0,0 +1,60 @@ +# RAG зависал: 7 минут вместо ответа (10.11.2026) + +## Симптом + +Pre-commit не давал закоммитить: `smoke_hub.py` висел 11 минут на проверке +«поиск по документации». Прямой запрос `/rag?q=postgres` — таймаут 30 с, ответа нет. + +## Причина (двойная) + +### 1. RAG мог ждать Ollama до 7 минут + +```python +def embed(text): + for attempt in range(4): + requests.post(..., timeout=240) # 240 с × 4 попытки + паузы 20/40/60 + time.sleep(20 * (attempt + 1)) +``` + +При зависшей Ollama вызов висел до **7 минут**, блокируя `/rag`, а через него — +смоук в pre-commit. То есть одна недоступная LLM блокировала работу с Git. + +### 2. Ollama на 192.168.1.229 зависла + +``` +/api/tags → 200 за 0.005 с (сервер жив) +/api/embeddings → таймаут 60 с (runner завис) +/api/embed → таймаут 60 с +``` + +Модели `nomic-embed-text`, `qwen2.5:3b/7b` на месте, выгрузка через +`keep_alive:0` вернула 200, но запросы embeddings всё равно не проходят. +Нужен перезапуск Ollama **на машине 192.168.1.229** (SSH по ключу не пускает). + +## Что исправлено + +### `rag.py` + +* `embed()`: одна попытка, таймаут **3 с** (было 240 с × 4); +* при недоступной Ollama возвращает `None` вместо исключения; +* `find()`: **текстовый запас** — полнотекстовый поиск (`ts_rank` + `plainto_tsquery('russian')`), + если не нашлось — по отдельным словам через `ILIKE`. + +### `pre-commit` + +Смоук запускается под `timeout 240` — хук больше не может висеть бесконечно. + +## Проверка + +``` +/rag?q=postgres: 3.2 с (было ∞) +ответ: найдено (source=ops-rag, score по ts_rank) +смоук: ок 9, провалов 0 +``` + +## Что осталось + +1. **Перезапустить Ollama на 192.168.1.229** — после этого RAG снова будет + искать по векторам (сейчас работает текстовый запас, точность ниже). +2. Проверить, не зависает ли Ollama регулярно — если да, нужен watchdog + (проверка `/api/embeddings` с коротким таймаутом и авто-перезапуск). diff --git a/ops/incidents/2026-11-10-RESTORE-DRILL.md b/ops/incidents/2026-11-10-RESTORE-DRILL.md new file mode 100644 index 0000000..d0f6271 --- /dev/null +++ b/ops/incidents/2026-11-10-RESTORE-DRILL.md @@ -0,0 +1,69 @@ +# Проверка восстановления бэкапов (10.11.2026) + +## Что проверяли и зачем + +Бэкапы сегодня стали полными (все 30 баз Postgres + CT151 в LXC). Но +**ни один не был проверен на восстановление**. Непроверенный бэкап — +это надежда, а не гарантия. + +## Ручная проверка (до правки скрипта) + +Восстановил дампы в тестовые базы на 192.168.1.151: + +| База | Таблиц | Данных | +|---|---|---| +| `vaultwarden_db` | 29 | 9 пользователей, **204 записи**, 17 папок | +| `authentik_db` | 230 | 12 пользователей, 68 провайдеров, 64 приложения | + +Восстановление с кодом 0, данные читаются. + +## Что было не так со старым drill + +`/usr/local/bin/hub-restore-drill.sh` (ежемесячно, 1-е число 05:30): + +* восстанавливал только **Immich и Paperless** — то есть не проверял самое + ценное: пароли и вход; +* брал дампы из **устаревшего пути** `/mnt/backups/postgresql/`; +* о провале **не сообщал** — только писал в лог. + +Лог старого прогона 6 ноября показывает, что он молча не работал: + +``` +Immich: восстановлено таблиц: ОШИБКА +Paperless: документов в восстановленной БД: 1 +``` + +## Новый drill + +Восстанавливает критичное и сверяет количество с живой базой: + +``` +vaultwarden_db: 204 = 204 ✓ +authentik_db: 68 = 68 ✓ +matrix_db: 35 = 35 ✓ +gitea_db: 5 = 5 ✓ +провалов: 0 +``` + +Свойства: + +* берёт дампы из актуального `/mnt/archive/backups/db`; +* сверяет восстановленное с живой базой (расхождение — отдельная строка в логе); +* при провале шлёт **critical** в шину через `/notify` (source `restore-drill`); +* код выхода равен числу провалов — systemd зафиксирует сбой; +* после проверки удаляет тестовые базы. + +Расписание: **1-е число каждого месяца, 05:30**. + +## Проверка + +``` +systemctl start hub-restore-drill.service +tail -6 /var/log/hub-restore-drill.log +``` + +## Ловушка + +Restore-учения проверяют **дампы**, а не LXC-бэкапы. Это разные механизмы: +если сломается только LXC-снимок, drill этого не покажет. Для полноты нужен +второй сценарий — восстановление контейнера из `vzdump` на тестовый CT.