From c13338cf0ec0bc52d324ee42fe7647758400c7bb Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Mon, 16 Nov 2026 20:40:06 +0300 Subject: [PATCH] =?UTF-8?q?[OPS]=20=D0=90=D1=83=D0=B4=D0=B8=D1=82=20=D0=BF?= =?UTF-8?q?=D1=80=D0=BE=D0=B1=D0=BB=D0=B5=D0=BC:=20check=5Fcerts=20=D0=BF?= =?UTF-8?q?=D0=B5=D1=80=D0=B5=D0=B2=D0=B5=D0=B4=D1=91=D0=BD=20=D0=BD=D0=B0?= =?UTF-8?q?=20=D0=BB=D0=BE=D0=BA=D0=B0=D0=BB=D1=8C=D0=BD=D1=8B=D0=B9=20ngi?= =?UTF-8?q?nx=20=D1=81=20SNI=20(=D0=B2=D0=B8=D1=81=D0=B5=D0=BB=20>120=20?= =?UTF-8?q?=D1=81=20=D0=B8=D0=B7-=D0=B7=D0=B0=20DPI,=20=D1=82=D0=B5=D0=BF?= =?UTF-8?q?=D0=B5=D1=80=D1=8C=200=20=D1=81);=20RAG-=D0=BF=D0=B5=D1=80?= =?UTF-8?q?=D0=B5=D1=81=D0=B1=D0=BE=D1=80=20=D0=BF=D0=B0=D0=B4=D0=B0=D0=BB?= =?UTF-8?q?=20=D0=B8=D0=B7-=D0=B7=D0=B0=20=D0=BA=D0=BE=D0=BD=D0=BA=D1=83?= =?UTF-8?q?=D1=80=D0=B5=D0=BD=D1=86=D0=B8=D0=B8=20=D1=81=20qwen3b=20=D0=B2?= =?UTF-8?q?=20Ollama=20(190=20=D1=82=D0=B0=D0=B9=D0=BC=D0=B0=D1=83=D1=82?= =?UTF-8?q?=D0=BE=D0=B2)=20=E2=80=94=20=D0=B2=D1=8B=D0=B3=D1=80=D1=83?= =?UTF-8?q?=D0=B7=D0=BA=D0=B0=20=D0=BC=D0=BE=D0=B4=D0=B5=D0=BB=D0=B5=D0=B9?= =?UTF-8?q?=20=D0=BF=D0=B5=D1=80=D0=B5=D0=B4=20=D0=B8=D0=BD=D0=B4=D0=B5?= =?UTF-8?q?=D0=BA=D1=81=D0=B0=D1=86=D0=B8=D0=B5=D0=B9=20+=20=D0=BF=D0=B5?= =?UTF-8?q?=D1=80=D0=B5=D0=BD=D0=BE=D1=81=20=D0=BD=D0=B0=2008:30=20=D0=BF?= =?UTF-8?q?=D0=BE=D1=81=D0=BB=D0=B5=20=D0=BD=D0=BE=D1=87=D0=BD=D0=BE=D0=B3?= =?UTF-8?q?=D0=BE=20=D1=81=D0=B1=D0=BE=D1=80=D0=B0;=20=D0=B8=D0=BD=D0=BA?= =?UTF-8?q?=D1=80=D0=B5=D0=BC=D0=B5=D0=BD=D1=82=D0=B0=D0=BB=D1=8C=D0=BD?= =?UTF-8?q?=D1=8B=D0=B9=20=D0=BF=D1=80=D0=BE=D0=B3=D0=BE=D0=BD:=201140=20?= =?UTF-8?q?=D1=84=D0=B0=D0=B9=D0=BB=D0=BE=D0=B2=20=D0=BF=D1=80=D0=BE=D0=BF?= =?UTF-8?q?=D1=83=D1=89=D0=B5=D0=BD=D0=BE,=200=20=D0=BE=D1=88=D0=B8=D0=B1?= =?UTF-8?q?=D0=BE=D0=BA.=20=D0=9E=D1=82=D0=BA=D1=80=D1=8B=D1=82=D1=8B:=20n?= =?UTF-8?q?8n=20=D0=BC=D1=91=D1=80=D1=82=D0=B2=20=D1=81=2020.10,=20=D0=BF?= =?UTF-8?q?=D0=B0=D0=BC=D1=8F=D1=82=D1=8C=20(zram=20100%,=20swap=2012?= =?UTF-8?q?=D0=93),=20=D0=BF=D1=80=D1=8F=D0=BC=D0=BE=D0=B9=20VPN=2052%=20?= =?UTF-8?q?=D1=81=D0=B1=D0=BE=D0=B5=D0=B2=20(CF=200/120),=20Ollama=20?= =?UTF-8?q?=D0=BC=D0=B5=D0=B4=D0=BB=D0=B5=D0=BD=D0=BD=D0=B0=D1=8F,=20?= =?UTF-8?q?=D0=BD=D0=B5=D1=82=20SSH=20=D0=BA=20229?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/audits/REMAINING-PROBLEMS-2026-11-16.md | 55 +++++++++++++++++++++ ops/automations/registry.yaml | 4 +- ops/rag/episodes-actions.txt | 7 ++- ops/scripts/check_certs.py | 14 +++++- ops/scripts/rag_index_pg.py | 17 +++++++ 5 files changed, 93 insertions(+), 4 deletions(-) create mode 100644 ops/audits/REMAINING-PROBLEMS-2026-11-16.md diff --git a/ops/audits/REMAINING-PROBLEMS-2026-11-16.md b/ops/audits/REMAINING-PROBLEMS-2026-11-16.md new file mode 100644 index 0000000..3c01f9f --- /dev/null +++ b/ops/audits/REMAINING-PROBLEMS-2026-11-16.md @@ -0,0 +1,55 @@ +# Аудит проблем (16.11.2026, вечер) + +## Что проверено и исправлено + +### 1. check_certs зависал + +Проверка шла к публичным доменам через интернет — изнутри хоста это +упирается в DPI/hairpin, 14 доменов по 12 с. Прогон висел >120 с. + +Исправлено: сертификат забирается у **локального nginx** с нужным SNI +(`openssl s_client -connect 127.0.0.1:443 -servername <домен>`). + +Результат: **0 секунд**, 14 доменов, минимум 35 дней, тревог 0. + +### 2. RAG-пересбор падал по таймауту (190 раз) + +Причина: Ollama на 229 не может одновременно держать `qwen2.5:3b` +(ночной сбор) и модель эмбеддингов. `/api/embeddings` висел 60+ секунд, +пересбор 1140 файлов не успевал за 2 часа. + +Исправлено: + +* перед индексацией выгружаем `qwen2.5:3b/7b` (`keep_alive: 0`); +* задание перенесено с 03:40 на **08:30** — после ночного сбора + (`llm-night-stop` в 07:30), когда Ollama свободна. + +Проверка: инкрементальный прогон — **обновлено 0, пропущено 1140, +ошибок 0**, индекс 5670 чанков. + +### 3. check-services: 836 «провалов» за сутки + +Семантика уже исправлена ранее (VPN-шлюз — предупреждение, не провал). +Сейчас: `rc=0` за 21 с, в журнале `⚠️ шлюз` и `✅ всё в порядке`. + +## Что осталось (по приоритету) + +| # | Проблема | Факты | Что делать | +|---|---|---|---| +| 1 | **n8n мёртв** | 0 исполнений с 20.10; 84 успешных / 9922 ошибок; 4 воркфлоу «active», webhook не обрабатывается | Решить: вывести n8n (перенести version-watch на hub /notify, выключить воркфлоу) или починить | +| 2 | **Память** | zram 7.7/7.7 ГБ (100%), swap 12 ГБ занят, media-swapfile 4.6 ГБ, RAM 11/15 | Ждём докупку RAM (решение владельца) | +| 3 | **VPN прямой канал** | Reality 62/120 сбоев, WS 59/120, XHTTP 57/120; CF 0/120 | CF-запасной работает; проверка через неделю (задача 23.11) | +| 4 | **Ollama медленная** | 3b 17–26 с, 7b ~55 с, эмбеддинги первый вызов ~20 с | Ограничение мини-ПК; для триажа/отчётов терпимо, для интерактива медленно | +| 5 | **Нет SSH к 229** | `permission denied (publickey)` | Добавить ключ или доступ — иначе Ollama нельзя перезапустить удалённо | +| 6 | Tailscale-пир VDS | `tailscale status` показывает только сам хост | Не критично: второй контур на WG; можно выключить Tailscale | +| 7 | Старые счётчики fails | `check-services 3036`, `matrix-sso 203`, `rag-reindex 190` — исторические | Косметика: можно сбросить/почистить события | + +## Проверка сейчас + +``` +check_certs: 14 доменов, 35 дней, 0 тревог, 0 с +RAG: 1140 файлов, 5670 чанков, ошибок 0 +check-services: rc=0, 21 с +сервисы: 74/74, боты 9/9, юниты 0 +диски: 42% / 37%; бэкапы: vzdump 02:31, офсайт 18:09 +``` diff --git a/ops/automations/registry.yaml b/ops/automations/registry.yaml index 74e00d7..fc74b80 100644 --- a/ops/automations/registry.yaml +++ b/ops/automations/registry.yaml @@ -1,5 +1,5 @@ # Реестр автоматизаций Buryans Hub -# Сгенерировано: 2026-11-16 20:13 (ops/scripts/build_automations_registry.py) +# Сгенерировано: 2026-11-16 20:40 (ops/scripts/build_automations_registry.py) total: 163 by_source: cron.d: 49 @@ -128,7 +128,7 @@ items: - {"source": "hermes", "job": "ai-digest", "schedule": "daily 08:30", "command": "/usr/bin/python3 /opt/hermes/hermes_ai_digest.py"} - {"source": "hermes", "job": "media-digest", "schedule": "daily 09:30", "command": "/opt/music-tools/venv/bin/python /opt/hermes/media_digest.py"} - {"source": "hermes", "job": "hygiene-scan", "schedule": "daily 07:20", "command": "/root/buryan-infra/ops/scripts/hygiene_job.sh"} -- {"source": "hermes", "job": "rag-reindex", "schedule": "daily 03:40", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/rag_index_pg.py"} +- {"source": "hermes", "job": "rag-reindex", "schedule": "daily 08:30", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/rag_index_pg.py"} - {"source": "hermes", "job": "evolution-report", "schedule": "daily 08:10", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/evolution_agent.py"} - {"source": "hermes", "job": "trust-report", "schedule": "daily 08:00", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/trust_report.py"} - {"source": "hermes", "job": "weekly-report", "schedule": "daily 08:05", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/weekly_report.py"} diff --git a/ops/rag/episodes-actions.txt b/ops/rag/episodes-actions.txt index 3ea614a..2f390a5 100644 --- a/ops/rag/episodes-actions.txt +++ b/ops/rag/episodes-actions.txt @@ -72,4 +72,9 @@ [medium] compose-файл ≠ git CT110 (1 каталогов) предложений: 4 - [L2_safe_auto] restart_exporter {} — target d \ No newline at end of file + [L2_safe_auto] restart_exporter {} — target d +2026-11-16T07:21:02 | hygiene-scan | denied | cooldown: ещё 566 с +2026-11-16T07:23:39 | hygiene-scan | done | .md +проверок: 19 | находок: 23 | high: 1 medium: 2 low: 5 info: 15 + [high] сервис не отвечает Paperless (192.168.1.110:8000/); Immich (VM) (192.168.1.104:2283/api/server/ping + [medium] крупн \ No newline at end of file diff --git a/ops/scripts/check_certs.py b/ops/scripts/check_certs.py index e218ef2..8f29693 100755 --- a/ops/scripts/check_certs.py +++ b/ops/scripts/check_certs.py @@ -51,6 +51,9 @@ PG_DB = os.getenv("PG_DB", "buryan_monitoring") PG_USER = os.getenv("PG_USER", "buryan_monitor") +LOCAL_PROXY = ("127.0.0.1", 443) # nginx на хосте терминирует TLS для всех доменов + + def expiry_of(host, timeout=12): """Срок действия сертификата, который отдаёт узел. @@ -58,7 +61,16 @@ def expiry_of(host, timeout=12): Через ssl.getpeercert() не получается: при отключённой проверке подлинности Python возвращает пустой словарь, и срок узнать неоткуда. """ - pem = ssl.get_server_certificate((host, 443), timeout=timeout) + # Публичный домен изнутри хоста упирается в DPI/hairpin: проверяем + # через локальный nginx, передавая нужный SNI (Host). + r = subprocess.run( + ["openssl", "s_client", "-connect", "%s:%d" % LOCAL_PROXY, + "-servername", host, "-showcerts"], + input=b"", capture_output=True, timeout=timeout) + out = (r.stdout or b"").decode("utf-8", "replace") + blocks = out.split("-----BEGIN CERTIFICATE-----") + pem = ("-----BEGIN CERTIFICATE-----" + blocks[1].split("-----END CERTIFICATE-----")[0] + + "-----END CERTIFICATE-----\n") if len(blocks) > 1 else "" res = subprocess.run( ["openssl", "x509", "-noout", "-enddate", "-subject"], input=pem, capture_output=True, text=True, timeout=15, diff --git a/ops/scripts/rag_index_pg.py b/ops/scripts/rag_index_pg.py index b9f955e..76bf10c 100644 --- a/ops/scripts/rag_index_pg.py +++ b/ops/scripts/rag_index_pg.py @@ -108,7 +108,24 @@ def vec_lit(v): return "[" + ",".join("%.6f" % x for x in v) + "]" + +def unload_other_models(): + """Ollama на 229 не может держать qwen и эмбеддинги одновременно: + освобождаем память перед индексацией (иначе embeddings висят минутами).""" + import json as _j + import urllib.request as _u + for m in ("qwen2.5:3b", "qwen2.5:7b"): + try: + body = _j.dumps({"model": m, "keep_alive": 0}).encode() + req = _u.Request(LLM + "/api/generate", data=body, method="POST", + headers={"Content-Type": "application/json"}) + _u.urlopen(req, timeout=20).read() + except Exception: + pass + + def main(): + unload_other_models() rebuild = "--rebuild" in sys.argv seed = "--seed" in sys.argv pg = psycopg2.connect(rag.DSN)