From 9310d3b65543dea18e94dd0670750b76ca4e47f7 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Mon, 9 Nov 2026 21:32:13 +0300 Subject: [PATCH] =?UTF-8?q?[OPS]=20=D0=9F=D0=BE=D1=87=D0=B8=D0=BD=D0=BA?= =?UTF-8?q?=D0=B0=20=D1=83=D0=BF=D0=B0=D0=B2=D1=88=D0=B8=D1=85=20=D1=81?= =?UTF-8?q?=D0=BB=D1=83=D0=B6=D0=B1:=20cert-sync=20=D1=85=D0=BE=D0=B4?= =?UTF-8?q?=D0=B8=D0=BB=20=D0=BD=D0=B0=20=D0=BC=D1=91=D1=80=D1=82=D0=B2?= =?UTF-8?q?=D1=8B=D0=B9=20Tailscale-IP=20VPS=20(=D1=82=D0=B5=D0=BF=D0=B5?= =?UTF-8?q?=D1=80=D1=8C=20=D0=BF=D1=83=D0=B1=D0=BB=D0=B8=D1=87=D0=BD=D1=8B?= =?UTF-8?q?=D0=B9),=20hub-rag=20=D0=BD=D0=B0=20=D1=83=D0=B4=D0=B0=D0=BB?= =?UTF-8?q?=D1=91=D0=BD=D0=BD=D1=8B=D0=B9=20192.168.1.160=20(=D1=82=D0=B5?= =?UTF-8?q?=D0=BF=D0=B5=D1=80=D1=8C=20.229=20+=20=D1=80=D0=B5=D1=82=D1=80?= =?UTF-8?q?=D0=B0=D0=B8),=20home-img2img=20=D0=BE=D1=82=D0=BA=D0=BB=D1=8E?= =?UTF-8?q?=D1=87=D0=B5=D0=BD=D0=B0,=2018=20.bak=20=D1=83=D0=B1=D1=80?= =?UTF-8?q?=D0=B0=D0=BD=D1=8B=20=D0=B8=D0=B7=20hub-bots?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/incidents/2026-11-09-SERVICES-FIX.md | 64 ++++++++++++++++++++++++ 1 file changed, 64 insertions(+) create mode 100644 ops/incidents/2026-11-09-SERVICES-FIX.md diff --git a/ops/incidents/2026-11-09-SERVICES-FIX.md b/ops/incidents/2026-11-09-SERVICES-FIX.md new file mode 100644 index 0000000..6561128 --- /dev/null +++ b/ops/incidents/2026-11-09-SERVICES-FIX.md @@ -0,0 +1,64 @@ +# Исправления 09.11.2026 (вечер) — упавшие службы и мёртвые зависимости + +## Что было сломано и почему + +### 1. `hub-cert-sync` — висел 30 минут, падал по таймауту + +`sync_certs.py` ходил на **`root@100.64.0.2`** — это **Tailscale-адрес VPS**. +Узел `pve-elrytdwg` в tailnet давно офлайн, поэтому `scp` висел в `poll()` без +единого сетевого сокета, пока systemd не убивал его по `TimeoutStartSec=1800`. + +**Исправлено:** `VPS = os.environ.get("VPS_SSH", "root@193.233.210.184")` — +публичный IP, SSH туда стабилен (используется во всех операциях). + +**Проверка:** прогон завершился за 2 мин: `изменений нет (проверено доменов: 49)`. + +### 2. `hub-rag` — падал с ConnectionError / ReadTimeout + +Адрес Ollama был зашит как `http://192.168.1.160:11434` — **этот CT удалён**. +Модели переехали на `192.168.1.229`. + +**Исправлено:** +* `OLLAMA = os.environ.get("OLLAMA_URL", "http://192.168.1.229:11434")` +* `embed()` получил **4 попытки с backoff** — LLM-сбор (4 воркера) занимает + ту же Ollama, и одиночный ReadTimeout больше не валит весь реиндекс. + +**Ловушка:** пока идёт ночной сбор (`yealink-research`), RAG будет медленным. +Это не поломка — конкуренция за Ollama. + +### 3. `home-img2img` — висела в failed + +Служба делала рендеры комнат через HF API. Перешли на **локальный ComfyUI**, +служба стала не нужна. Убрать через `systemctl disable` нельзя — unit +**static** (без секции `[Install]`). Пришлось переименовать файл. + +**Исправлено:** `/etc/systemd/system/home-img2img.service` → `.disabled` + +`daemon-reload`. Состояние: `not-found`. + +### 4. Книжные боты — «дубль», которого не было + +| Бот | Что делает | Комнаты | +|---|---|---| +| `book-bot` (CT111, `@bot_books`) | поиск/скачивание книг (Flibusta, Libgen, TG-каналы), запись в ingest | **пусто** | +| `@book` (hub-bots) | команды `!stats`, `!new`, `!find` по локальному каталогу | 1 DM | + +Дубля сообщений нет: у `@bot_books` **`joined_rooms: []`** — он опрашивает +Synapse, но ни в одной комнате не состоит. При этом он умеет больше +(`/find`, `/lib`, `/wanted`, `/tgadd`, `/download`). + +**Вывод:** бот не сломан, но **не приглашён ни в одну комнату** — нужно +приглашение владельца. Пока висит и опрашивает вхолостую. + +### 5. Tailscale на хосте — проверено, перехвата нет + +`RouteAll` не включён, `ip route get 192.168.1.155 → dev vmbr0`. Маршруты +через `tailscale0` только служебные. Ложная тревога — в отличие от VPS, +где `accept-routes` реально ломал проксирование. + +## Итог + +* Упавших служб: **0** +* `cert-sync`: проходит за 2 мин (было — таймаут 30 мин) +* `rag`: ретраи + актуальный адрес Ollama +* `.bak` в `/opt/hub-bots`: **0** (18 перенесены в `_archive/`) +* Боты: 9 из 9, `/health` отвечает