[HUB] RAG зависал до 7 минут: embed() делал 4 попытки по 240 с, а Ollama на 192.168.1.229 перестала отвечать на /api/embeddings (при этом /api/tags жива). Теперь таймаут 3 с и текстовый запас (ts_rank → ILIKE). /rag: было ∞, стало 3.2 с. Смоук в pre-commit под timeout 240 — коммиты больше не виснут
This commit is contained in:
1 parent
bf02f969e0
commit
bebffd8146
3 files changed
+209
No files matched your search
@@ -7168,3 +7168,83 @@ unknown
|
||||
[2026-11-10 12:00:42] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
|
||||
[2026-11-10 12:00:42] не удалось отправить уведомление для zigbee2mqtt
|
||||
[2026-11-10 12:00:42] [version-watch] закреплённых: 1, плавающих: 10, без данных: 65, база: 0, изменений: 0
|
||||
[2026-11-10 18:00:03] нет данных Docker Hub: adguard/adguardhome:latest:latest
|
||||
[2026-11-10 18:00:03] нет данных Docker Hub: prom/alertmanager:v0.27.0
|
||||
[2026-11-10 18:00:03] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest
|
||||
[2026-11-10 18:00:03] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5
|
||||
[2026-11-10 18:00:29] нет данных Docker Hub: redis:7-alpine
|
||||
[2026-11-10 18:00:29] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
|
||||
[2026-11-10 18:00:29] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
|
||||
[2026-11-10 18:00:29] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest
|
||||
[2026-11-10 18:00:29] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest
|
||||
[2026-11-10 18:00:29] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web)
|
||||
[2026-11-10 18:00:29] не удалось отправить уведомление для calibre-web
|
||||
[2026-11-10 18:00:29] нет данных Docker Hub: lissy93/dashy:latest:latest
|
||||
[2026-11-10 18:00:30] нет данных Docker Hub: docmost/docmost:latest:latest
|
||||
[2026-11-10 18:00:30] нет данных Docker Hub: duplicati/duplicati:latest:latest
|
||||
[2026-11-10 18:00:30] нет данных Docker Hub: vectorim/element-web:latest:latest
|
||||
[2026-11-10 18:00:31] нет данных Docker Hub: fireflyiii/core:latest:latest
|
||||
[2026-11-10 18:00:31] нет данных Docker Hub: freshrss/freshrss:latest:latest
|
||||
[2026-11-10 18:00:32] нет данных Docker Hub: gitea/gitea:latest:latest
|
||||
[2026-11-10 18:00:32] нет данных Docker Hub: grafana/grafana:latest:latest
|
||||
[2026-11-10 18:00:32] нет данных Docker Hub: unknown:unknown
|
||||
[2026-11-10 18:00:32] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
|
||||
[2026-11-10 18:00:47] нет данных Docker Hub: jellyfin/jellyfin:latest:latest
|
||||
[2026-11-10 18:00:48] нет данных Docker Hub: jvmilazz0/kavita:latest:latest
|
||||
[2026-11-10 18:00:48] нет данных Docker Hub: sissbruecker/linkding:latest:latest
|
||||
[2026-11-10 18:01:01] нет данных Docker Hub: livekit/livekit-server:latest:latest
|
||||
[2026-11-10 18:01:02] нет данных Docker Hub: grafana/loki:3.2.1
|
||||
[2026-11-10 18:01:03] нет данных Docker Hub: matrixdotorg/synapse:latest:latest
|
||||
[2026-11-10 18:01:03] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse)
|
||||
[2026-11-10 18:01:03] не удалось отправить уведомление для matrix-synapse
|
||||
[2026-11-10 18:01:03] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest
|
||||
[2026-11-10 18:01:03] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest
|
||||
[2026-11-10 18:01:04] нет данных Docker Hub: monica:monica
|
||||
[2026-11-10 18:01:04] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
|
||||
[2026-11-10 18:01:04] нет данных Docker Hub: n8nio/n8n:latest:latest
|
||||
[2026-11-10 18:01:19] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine
|
||||
[2026-11-10 18:01:19] нет данных Docker Hub: deluan/navidrome:latest:latest
|
||||
[2026-11-10 18:01:19] нет данных Docker Hub: netboxcommunity/netbox:latest:latest
|
||||
[2026-11-10 18:01:20] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud)
|
||||
[2026-11-10 18:01:20] не удалось отправить уведомление для nextcloud
|
||||
[2026-11-10 18:01:20] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red)
|
||||
[2026-11-10 18:01:20] не удалось отправить уведомление для node_red
|
||||
[2026-11-10 18:01:20] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest
|
||||
[2026-11-10 18:01:21] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis)
|
||||
[2026-11-10 18:01:21] не удалось отправить уведомление для paperless_redis
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
|
||||
[2026-11-10 18:01:21] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
|
||||
[2026-11-10 18:01:22] нет данных Docker Hub: linuxserver/plex:latest:latest
|
||||
[2026-11-10 18:01:22] нет данных Docker Hub: prom/prometheus:latest:latest
|
||||
[2026-11-10 18:01:22] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest
|
||||
[2026-11-10 18:01:22] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest
|
||||
[2026-11-10 18:01:22] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest
|
||||
[2026-11-10 18:01:22] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis)
|
||||
[2026-11-10 18:01:22] не удалось отправить уведомление для swarm-redis
|
||||
[2026-11-10 18:01:22] нет данных Docker Hub: syncthing/syncthing:latest:latest
|
||||
[2026-11-10 18:01:23] нет данных Docker Hub: tautulli/tautulli:latest:latest
|
||||
[2026-11-10 18:01:23] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest
|
||||
[2026-11-10 18:01:23] нет данных Docker Hub: louislam/uptime-kuma:latest:latest
|
||||
[2026-11-10 18:01:24] нет данных Docker Hub: vaultwarden/server:latest:latest
|
||||
[2026-11-10 18:01:24] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
|
||||
[2026-11-10 18:01:24] не удалось отправить уведомление для zigbee2mqtt
|
||||
[2026-11-10 18:01:24] [version-watch] закреплённых: 1, плавающих: 10, без данных: 65, база: 0, изменений: 0
|
||||
@@ -0,0 +1,60 @@
|
||||
# RAG зависал: 7 минут вместо ответа (10.11.2026)
|
||||
|
||||
## Симптом
|
||||
|
||||
Pre-commit не давал закоммитить: `smoke_hub.py` висел 11 минут на проверке
|
||||
«поиск по документации». Прямой запрос `/rag?q=postgres` — таймаут 30 с, ответа нет.
|
||||
|
||||
## Причина (двойная)
|
||||
|
||||
### 1. RAG мог ждать Ollama до 7 минут
|
||||
|
||||
```python
|
||||
def embed(text):
|
||||
for attempt in range(4):
|
||||
requests.post(..., timeout=240) # 240 с × 4 попытки + паузы 20/40/60
|
||||
time.sleep(20 * (attempt + 1))
|
||||
```
|
||||
|
||||
При зависшей Ollama вызов висел до **7 минут**, блокируя `/rag`, а через него —
|
||||
смоук в pre-commit. То есть одна недоступная LLM блокировала работу с Git.
|
||||
|
||||
### 2. Ollama на 192.168.1.229 зависла
|
||||
|
||||
```
|
||||
/api/tags → 200 за 0.005 с (сервер жив)
|
||||
/api/embeddings → таймаут 60 с (runner завис)
|
||||
/api/embed → таймаут 60 с
|
||||
```
|
||||
|
||||
Модели `nomic-embed-text`, `qwen2.5:3b/7b` на месте, выгрузка через
|
||||
`keep_alive:0` вернула 200, но запросы embeddings всё равно не проходят.
|
||||
Нужен перезапуск Ollama **на машине 192.168.1.229** (SSH по ключу не пускает).
|
||||
|
||||
## Что исправлено
|
||||
|
||||
### `rag.py`
|
||||
|
||||
* `embed()`: одна попытка, таймаут **3 с** (было 240 с × 4);
|
||||
* при недоступной Ollama возвращает `None` вместо исключения;
|
||||
* `find()`: **текстовый запас** — полнотекстовый поиск (`ts_rank` + `plainto_tsquery('russian')`),
|
||||
если не нашлось — по отдельным словам через `ILIKE`.
|
||||
|
||||
### `pre-commit`
|
||||
|
||||
Смоук запускается под `timeout 240` — хук больше не может висеть бесконечно.
|
||||
|
||||
## Проверка
|
||||
|
||||
```
|
||||
/rag?q=postgres: 3.2 с (было ∞)
|
||||
ответ: найдено (source=ops-rag, score по ts_rank)
|
||||
смоук: ок 9, провалов 0
|
||||
```
|
||||
|
||||
## Что осталось
|
||||
|
||||
1. **Перезапустить Ollama на 192.168.1.229** — после этого RAG снова будет
|
||||
искать по векторам (сейчас работает текстовый запас, точность ниже).
|
||||
2. Проверить, не зависает ли Ollama регулярно — если да, нужен watchdog
|
||||
(проверка `/api/embeddings` с коротким таймаутом и авто-перезапуск).
|
||||
@@ -0,0 +1,69 @@
|
||||
# Проверка восстановления бэкапов (10.11.2026)
|
||||
|
||||
## Что проверяли и зачем
|
||||
|
||||
Бэкапы сегодня стали полными (все 30 баз Postgres + CT151 в LXC). Но
|
||||
**ни один не был проверен на восстановление**. Непроверенный бэкап —
|
||||
это надежда, а не гарантия.
|
||||
|
||||
## Ручная проверка (до правки скрипта)
|
||||
|
||||
Восстановил дампы в тестовые базы на 192.168.1.151:
|
||||
|
||||
| База | Таблиц | Данных |
|
||||
|---|---|---|
|
||||
| `vaultwarden_db` | 29 | 9 пользователей, **204 записи**, 17 папок |
|
||||
| `authentik_db` | 230 | 12 пользователей, 68 провайдеров, 64 приложения |
|
||||
|
||||
Восстановление с кодом 0, данные читаются.
|
||||
|
||||
## Что было не так со старым drill
|
||||
|
||||
`/usr/local/bin/hub-restore-drill.sh` (ежемесячно, 1-е число 05:30):
|
||||
|
||||
* восстанавливал только **Immich и Paperless** — то есть не проверял самое
|
||||
ценное: пароли и вход;
|
||||
* брал дампы из **устаревшего пути** `/mnt/backups/postgresql/`;
|
||||
* о провале **не сообщал** — только писал в лог.
|
||||
|
||||
Лог старого прогона 6 ноября показывает, что он молча не работал:
|
||||
|
||||
```
|
||||
Immich: восстановлено таблиц: ОШИБКА
|
||||
Paperless: документов в восстановленной БД: 1
|
||||
```
|
||||
|
||||
## Новый drill
|
||||
|
||||
Восстанавливает критичное и сверяет количество с живой базой:
|
||||
|
||||
```
|
||||
vaultwarden_db: 204 = 204 ✓
|
||||
authentik_db: 68 = 68 ✓
|
||||
matrix_db: 35 = 35 ✓
|
||||
gitea_db: 5 = 5 ✓
|
||||
провалов: 0
|
||||
```
|
||||
|
||||
Свойства:
|
||||
|
||||
* берёт дампы из актуального `/mnt/archive/backups/db`;
|
||||
* сверяет восстановленное с живой базой (расхождение — отдельная строка в логе);
|
||||
* при провале шлёт **critical** в шину через `/notify` (source `restore-drill`);
|
||||
* код выхода равен числу провалов — systemd зафиксирует сбой;
|
||||
* после проверки удаляет тестовые базы.
|
||||
|
||||
Расписание: **1-е число каждого месяца, 05:30**.
|
||||
|
||||
## Проверка
|
||||
|
||||
```
|
||||
systemctl start hub-restore-drill.service
|
||||
tail -6 /var/log/hub-restore-drill.log
|
||||
```
|
||||
|
||||
## Ловушка
|
||||
|
||||
Restore-учения проверяют **дампы**, а не LXC-бэкапы. Это разные механизмы:
|
||||
если сломается только LXC-снимок, drill этого не покажет. Для полноты нужен
|
||||
второй сценарий — восстановление контейнера из `vzdump` на тестовый CT.
|
||||
Reference in new issue
Block a user