From bebffd81460b6041cc9755ddbc80433a19079cc3 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Tue, 10 Nov 2026 20:35:08 +0300 Subject: [PATCH] =?UTF-8?q?[HUB]=20RAG=20=D0=B7=D0=B0=D0=B2=D0=B8=D1=81?= =?UTF-8?q?=D0=B0=D0=BB=20=D0=B4=D0=BE=207=20=D0=BC=D0=B8=D0=BD=D1=83?= =?UTF-8?q?=D1=82:=20embed()=20=D0=B4=D0=B5=D0=BB=D0=B0=D0=BB=204=20=D0=BF?= =?UTF-8?q?=D0=BE=D0=BF=D1=8B=D1=82=D0=BA=D0=B8=20=D0=BF=D0=BE=20240=20?= =?UTF-8?q?=D1=81,=20=D0=B0=20Ollama=20=D0=BD=D0=B0=20192.168.1.229=20?= =?UTF-8?q?=D0=BF=D0=B5=D1=80=D0=B5=D1=81=D1=82=D0=B0=D0=BB=D0=B0=20=D0=BE?= =?UTF-8?q?=D1=82=D0=B2=D0=B5=D1=87=D0=B0=D1=82=D1=8C=20=D0=BD=D0=B0=20/ap?= =?UTF-8?q?i/embeddings=20(=D0=BF=D1=80=D0=B8=20=D1=8D=D1=82=D0=BE=D0=BC?= =?UTF-8?q?=20/api/tags=20=D0=B6=D0=B8=D0=B2=D0=B0).=20=D0=A2=D0=B5=D0=BF?= =?UTF-8?q?=D0=B5=D1=80=D1=8C=20=D1=82=D0=B0=D0=B9=D0=BC=D0=B0=D1=83=D1=82?= =?UTF-8?q?=203=20=D1=81=20=D0=B8=20=D1=82=D0=B5=D0=BA=D1=81=D1=82=D0=BE?= =?UTF-8?q?=D0=B2=D1=8B=D0=B9=20=D0=B7=D0=B0=D0=BF=D0=B0=D1=81=20(ts=5Fran?= =?UTF-8?q?k=20=E2=86=92=20ILIKE).=20/rag:=20=D0=B1=D1=8B=D0=BB=D0=BE=20?= =?UTF-8?q?=E2=88=9E,=20=D1=81=D1=82=D0=B0=D0=BB=D0=BE=203.2=20=D1=81.=20?= =?UTF-8?q?=D0=A1=D0=BC=D0=BE=D1=83=D0=BA=20=D0=B2=20pre-commit=20=D0=BF?= =?UTF-8?q?=D0=BE=D0=B4=20timeout=20240=20=E2=80=94=20=D0=BA=D0=BE=D0=BC?= =?UTF-8?q?=D0=BC=D0=B8=D1=82=D1=8B=20=D0=B1=D0=BE=D0=BB=D1=8C=D1=88=D0=B5?= =?UTF-8?q?=20=D0=BD=D0=B5=20=D0=B2=D0=B8=D1=81=D0=BD=D1=83=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/audit/version-watch.log | 80 +++++++++++++++++++++++ ops/hub/RAG-HANG-2026-11-10.md | 60 +++++++++++++++++ ops/incidents/2026-11-10-RESTORE-DRILL.md | 69 +++++++++++++++++++ 3 files changed, 209 insertions(+) create mode 100644 ops/hub/RAG-HANG-2026-11-10.md create mode 100644 ops/incidents/2026-11-10-RESTORE-DRILL.md diff --git a/ops/audit/version-watch.log b/ops/audit/version-watch.log index 1b5d5f2..4f13866 100644 --- a/ops/audit/version-watch.log +++ b/ops/audit/version-watch.log @@ -7168,3 +7168,83 @@ unknown [2026-11-10 12:00:42] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) [2026-11-10 12:00:42] не удалось отправить уведомление для zigbee2mqtt [2026-11-10 12:00:42] [version-watch] закреплённых: 1, плавающих: 10, без данных: 65, база: 0, изменений: 0 +[2026-11-10 18:00:03] нет данных Docker Hub: adguard/adguardhome:latest:latest +[2026-11-10 18:00:03] нет данных Docker Hub: prom/alertmanager:v0.27.0 +[2026-11-10 18:00:03] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest +[2026-11-10 18:00:03] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5 +[2026-11-10 18:00:29] нет данных Docker Hub: redis:7-alpine +[2026-11-10 18:00:29] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-10 18:00:29] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-10 18:00:29] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest +[2026-11-10 18:00:29] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest +[2026-11-10 18:00:29] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web) +[2026-11-10 18:00:29] не удалось отправить уведомление для calibre-web +[2026-11-10 18:00:29] нет данных Docker Hub: lissy93/dashy:latest:latest +[2026-11-10 18:00:30] нет данных Docker Hub: docmost/docmost:latest:latest +[2026-11-10 18:00:30] нет данных Docker Hub: duplicati/duplicati:latest:latest +[2026-11-10 18:00:30] нет данных Docker Hub: vectorim/element-web:latest:latest +[2026-11-10 18:00:31] нет данных Docker Hub: fireflyiii/core:latest:latest +[2026-11-10 18:00:31] нет данных Docker Hub: freshrss/freshrss:latest:latest +[2026-11-10 18:00:32] нет данных Docker Hub: gitea/gitea:latest:latest +[2026-11-10 18:00:32] нет данных Docker Hub: grafana/grafana:latest:latest +[2026-11-10 18:00:32] нет данных Docker Hub: unknown:unknown +[2026-11-10 18:00:32] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-10 18:00:47] нет данных Docker Hub: jellyfin/jellyfin:latest:latest +[2026-11-10 18:00:48] нет данных Docker Hub: jvmilazz0/kavita:latest:latest +[2026-11-10 18:00:48] нет данных Docker Hub: sissbruecker/linkding:latest:latest +[2026-11-10 18:01:01] нет данных Docker Hub: livekit/livekit-server:latest:latest +[2026-11-10 18:01:02] нет данных Docker Hub: grafana/loki:3.2.1 +[2026-11-10 18:01:03] нет данных Docker Hub: matrixdotorg/synapse:latest:latest +[2026-11-10 18:01:03] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse) +[2026-11-10 18:01:03] не удалось отправить уведомление для matrix-synapse +[2026-11-10 18:01:03] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest +[2026-11-10 18:01:03] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest +[2026-11-10 18:01:04] нет данных Docker Hub: monica:monica +[2026-11-10 18:01:04] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-10 18:01:04] нет данных Docker Hub: n8nio/n8n:latest:latest +[2026-11-10 18:01:19] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine +[2026-11-10 18:01:19] нет данных Docker Hub: deluan/navidrome:latest:latest +[2026-11-10 18:01:19] нет данных Docker Hub: netboxcommunity/netbox:latest:latest +[2026-11-10 18:01:20] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud) +[2026-11-10 18:01:20] не удалось отправить уведомление для nextcloud +[2026-11-10 18:01:20] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red) +[2026-11-10 18:01:20] не удалось отправить уведомление для node_red +[2026-11-10 18:01:20] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest +[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest +[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest +[2026-11-10 18:01:21] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-10 18:01:21] не удалось отправить уведомление для paperless_redis +[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-10 18:01:22] нет данных Docker Hub: linuxserver/plex:latest:latest +[2026-11-10 18:01:22] нет данных Docker Hub: prom/prometheus:latest:latest +[2026-11-10 18:01:22] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest +[2026-11-10 18:01:22] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest +[2026-11-10 18:01:22] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest +[2026-11-10 18:01:22] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-10 18:01:22] не удалось отправить уведомление для swarm-redis +[2026-11-10 18:01:22] нет данных Docker Hub: syncthing/syncthing:latest:latest +[2026-11-10 18:01:23] нет данных Docker Hub: tautulli/tautulli:latest:latest +[2026-11-10 18:01:23] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest +[2026-11-10 18:01:23] нет данных Docker Hub: louislam/uptime-kuma:latest:latest +[2026-11-10 18:01:24] нет данных Docker Hub: vaultwarden/server:latest:latest +[2026-11-10 18:01:24] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) +[2026-11-10 18:01:24] не удалось отправить уведомление для zigbee2mqtt +[2026-11-10 18:01:24] [version-watch] закреплённых: 1, плавающих: 10, без данных: 65, база: 0, изменений: 0 diff --git a/ops/hub/RAG-HANG-2026-11-10.md b/ops/hub/RAG-HANG-2026-11-10.md new file mode 100644 index 0000000..f043f5f --- /dev/null +++ b/ops/hub/RAG-HANG-2026-11-10.md @@ -0,0 +1,60 @@ +# RAG зависал: 7 минут вместо ответа (10.11.2026) + +## Симптом + +Pre-commit не давал закоммитить: `smoke_hub.py` висел 11 минут на проверке +«поиск по документации». Прямой запрос `/rag?q=postgres` — таймаут 30 с, ответа нет. + +## Причина (двойная) + +### 1. RAG мог ждать Ollama до 7 минут + +```python +def embed(text): + for attempt in range(4): + requests.post(..., timeout=240) # 240 с × 4 попытки + паузы 20/40/60 + time.sleep(20 * (attempt + 1)) +``` + +При зависшей Ollama вызов висел до **7 минут**, блокируя `/rag`, а через него — +смоук в pre-commit. То есть одна недоступная LLM блокировала работу с Git. + +### 2. Ollama на 192.168.1.229 зависла + +``` +/api/tags → 200 за 0.005 с (сервер жив) +/api/embeddings → таймаут 60 с (runner завис) +/api/embed → таймаут 60 с +``` + +Модели `nomic-embed-text`, `qwen2.5:3b/7b` на месте, выгрузка через +`keep_alive:0` вернула 200, но запросы embeddings всё равно не проходят. +Нужен перезапуск Ollama **на машине 192.168.1.229** (SSH по ключу не пускает). + +## Что исправлено + +### `rag.py` + +* `embed()`: одна попытка, таймаут **3 с** (было 240 с × 4); +* при недоступной Ollama возвращает `None` вместо исключения; +* `find()`: **текстовый запас** — полнотекстовый поиск (`ts_rank` + `plainto_tsquery('russian')`), + если не нашлось — по отдельным словам через `ILIKE`. + +### `pre-commit` + +Смоук запускается под `timeout 240` — хук больше не может висеть бесконечно. + +## Проверка + +``` +/rag?q=postgres: 3.2 с (было ∞) +ответ: найдено (source=ops-rag, score по ts_rank) +смоук: ок 9, провалов 0 +``` + +## Что осталось + +1. **Перезапустить Ollama на 192.168.1.229** — после этого RAG снова будет + искать по векторам (сейчас работает текстовый запас, точность ниже). +2. Проверить, не зависает ли Ollama регулярно — если да, нужен watchdog + (проверка `/api/embeddings` с коротким таймаутом и авто-перезапуск). diff --git a/ops/incidents/2026-11-10-RESTORE-DRILL.md b/ops/incidents/2026-11-10-RESTORE-DRILL.md new file mode 100644 index 0000000..d0f6271 --- /dev/null +++ b/ops/incidents/2026-11-10-RESTORE-DRILL.md @@ -0,0 +1,69 @@ +# Проверка восстановления бэкапов (10.11.2026) + +## Что проверяли и зачем + +Бэкапы сегодня стали полными (все 30 баз Postgres + CT151 в LXC). Но +**ни один не был проверен на восстановление**. Непроверенный бэкап — +это надежда, а не гарантия. + +## Ручная проверка (до правки скрипта) + +Восстановил дампы в тестовые базы на 192.168.1.151: + +| База | Таблиц | Данных | +|---|---|---| +| `vaultwarden_db` | 29 | 9 пользователей, **204 записи**, 17 папок | +| `authentik_db` | 230 | 12 пользователей, 68 провайдеров, 64 приложения | + +Восстановление с кодом 0, данные читаются. + +## Что было не так со старым drill + +`/usr/local/bin/hub-restore-drill.sh` (ежемесячно, 1-е число 05:30): + +* восстанавливал только **Immich и Paperless** — то есть не проверял самое + ценное: пароли и вход; +* брал дампы из **устаревшего пути** `/mnt/backups/postgresql/`; +* о провале **не сообщал** — только писал в лог. + +Лог старого прогона 6 ноября показывает, что он молча не работал: + +``` +Immich: восстановлено таблиц: ОШИБКА +Paperless: документов в восстановленной БД: 1 +``` + +## Новый drill + +Восстанавливает критичное и сверяет количество с живой базой: + +``` +vaultwarden_db: 204 = 204 ✓ +authentik_db: 68 = 68 ✓ +matrix_db: 35 = 35 ✓ +gitea_db: 5 = 5 ✓ +провалов: 0 +``` + +Свойства: + +* берёт дампы из актуального `/mnt/archive/backups/db`; +* сверяет восстановленное с живой базой (расхождение — отдельная строка в логе); +* при провале шлёт **critical** в шину через `/notify` (source `restore-drill`); +* код выхода равен числу провалов — systemd зафиксирует сбой; +* после проверки удаляет тестовые базы. + +Расписание: **1-е число каждого месяца, 05:30**. + +## Проверка + +``` +systemctl start hub-restore-drill.service +tail -6 /var/log/hub-restore-drill.log +``` + +## Ловушка + +Restore-учения проверяют **дампы**, а не LXC-бэкапы. Это разные механизмы: +если сломается только LXC-снимок, drill этого не покажет. Для полноты нужен +второй сценарий — восстановление контейнера из `vzdump` на тестовый CT.