diff --git a/ops/incidents/2026-11-09-SERVICES-FIX.md b/ops/incidents/2026-11-09-SERVICES-FIX.md new file mode 100644 index 0000000..6561128 --- /dev/null +++ b/ops/incidents/2026-11-09-SERVICES-FIX.md @@ -0,0 +1,64 @@ +# Исправления 09.11.2026 (вечер) — упавшие службы и мёртвые зависимости + +## Что было сломано и почему + +### 1. `hub-cert-sync` — висел 30 минут, падал по таймауту + +`sync_certs.py` ходил на **`root@100.64.0.2`** — это **Tailscale-адрес VPS**. +Узел `pve-elrytdwg` в tailnet давно офлайн, поэтому `scp` висел в `poll()` без +единого сетевого сокета, пока systemd не убивал его по `TimeoutStartSec=1800`. + +**Исправлено:** `VPS = os.environ.get("VPS_SSH", "root@193.233.210.184")` — +публичный IP, SSH туда стабилен (используется во всех операциях). + +**Проверка:** прогон завершился за 2 мин: `изменений нет (проверено доменов: 49)`. + +### 2. `hub-rag` — падал с ConnectionError / ReadTimeout + +Адрес Ollama был зашит как `http://192.168.1.160:11434` — **этот CT удалён**. +Модели переехали на `192.168.1.229`. + +**Исправлено:** +* `OLLAMA = os.environ.get("OLLAMA_URL", "http://192.168.1.229:11434")` +* `embed()` получил **4 попытки с backoff** — LLM-сбор (4 воркера) занимает + ту же Ollama, и одиночный ReadTimeout больше не валит весь реиндекс. + +**Ловушка:** пока идёт ночной сбор (`yealink-research`), RAG будет медленным. +Это не поломка — конкуренция за Ollama. + +### 3. `home-img2img` — висела в failed + +Служба делала рендеры комнат через HF API. Перешли на **локальный ComfyUI**, +служба стала не нужна. Убрать через `systemctl disable` нельзя — unit +**static** (без секции `[Install]`). Пришлось переименовать файл. + +**Исправлено:** `/etc/systemd/system/home-img2img.service` → `.disabled` + +`daemon-reload`. Состояние: `not-found`. + +### 4. Книжные боты — «дубль», которого не было + +| Бот | Что делает | Комнаты | +|---|---|---| +| `book-bot` (CT111, `@bot_books`) | поиск/скачивание книг (Flibusta, Libgen, TG-каналы), запись в ingest | **пусто** | +| `@book` (hub-bots) | команды `!stats`, `!new`, `!find` по локальному каталогу | 1 DM | + +Дубля сообщений нет: у `@bot_books` **`joined_rooms: []`** — он опрашивает +Synapse, но ни в одной комнате не состоит. При этом он умеет больше +(`/find`, `/lib`, `/wanted`, `/tgadd`, `/download`). + +**Вывод:** бот не сломан, но **не приглашён ни в одну комнату** — нужно +приглашение владельца. Пока висит и опрашивает вхолостую. + +### 5. Tailscale на хосте — проверено, перехвата нет + +`RouteAll` не включён, `ip route get 192.168.1.155 → dev vmbr0`. Маршруты +через `tailscale0` только служебные. Ложная тревога — в отличие от VPS, +где `accept-routes` реально ломал проксирование. + +## Итог + +* Упавших служб: **0** +* `cert-sync`: проходит за 2 мин (было — таймаут 30 мин) +* `rag`: ретраи + актуальный адрес Ollama +* `.bak` в `/opt/hub-bots`: **0** (18 перенесены в `_archive/`) +* Боты: 9 из 9, `/health` отвечает