[OPS] Аудит проблем: check_certs переведён на локальный nginx с SNI (висел >120 с из-за DPI, теперь 0 с); RAG-пересбор падал из-за конкуренции с qwen3b в Ollama (190 таймаутов) — выгрузка моделей перед индексацией + перенос на 08:30 после ночного сбора; инкрементальный прогон: 1140 файлов пропущено, 0 ошибок. Открыты: n8n мёртв с 20.10, память (zram 100%, swap 12Г), прямой VPN 52% сбоев (CF 0/120), Ollama медленная, нет SSH к 229

This commit is contained in:
root committed 2026-11-16 20:40:06 +03:00
1 parent e38a0233a4
commit c13338cf0e
5 files changed
+93 -4

No files matched your search

@@ -0,0 +1,55 @@
# Аудит проблем (16.11.2026, вечер)
## Что проверено и исправлено
### 1. check_certs зависал
Проверка шла к публичным доменам через интернет — изнутри хоста это
упирается в DPI/hairpin, 14 доменов по 12 с. Прогон висел >120 с.
Исправлено: сертификат забирается у **локального nginx** с нужным SNI
(`openssl s_client -connect 127.0.0.1:443 -servername <домен>`).
Результат: **0 секунд**, 14 доменов, минимум 35 дней, тревог 0.
### 2. RAG-пересбор падал по таймауту (190 раз)
Причина: Ollama на 229 не может одновременно держать `qwen2.5:3b`
(ночной сбор) и модель эмбеддингов. `/api/embeddings` висел 60+ секунд,
пересбор 1140 файлов не успевал за 2 часа.
Исправлено:
* перед индексацией выгружаем `qwen2.5:3b/7b` (`keep_alive: 0`);
* задание перенесено с 03:40 на **08:30** — после ночного сбора
(`llm-night-stop` в 07:30), когда Ollama свободна.
Проверка: инкрементальный прогон — **обновлено 0, пропущено 1140,
ошибок 0**, индекс 5670 чанков.
### 3. check-services: 836 «провалов» за сутки
Семантика уже исправлена ранее (VPN-шлюз — предупреждение, не провал).
Сейчас: `rc=0` за 21 с, в журнале `⚠️ шлюз` и `✅ всё в порядке`.
## Что осталось (по приоритету)
| # | Проблема | Факты | Что делать |
|---|---|---|---|
| 1 | **n8n мёртв** | 0 исполнений с 20.10; 84 успешных / 9922 ошибок; 4 воркфлоу «active», webhook не обрабатывается | Решить: вывести n8n (перенести version-watch на hub /notify, выключить воркфлоу) или починить |
| 2 | **Память** | zram 7.7/7.7 ГБ (100%), swap 12 ГБ занят, media-swapfile 4.6 ГБ, RAM 11/15 | Ждём докупку RAM (решение владельца) |
| 3 | **VPN прямой канал** | Reality 62/120 сбоев, WS 59/120, XHTTP 57/120; CF 0/120 | CF-запасной работает; проверка через неделю (задача 23.11) |
| 4 | **Ollama медленная** | 3b 17–26 с, 7b ~55 с, эмбеддинги первый вызов ~20 с | Ограничение мини-ПК; для триажа/отчётов терпимо, для интерактива медленно |
| 5 | **Нет SSH к 229** | `permission denied (publickey)` | Добавить ключ или доступ — иначе Ollama нельзя перезапустить удалённо |
| 6 | Tailscale-пир VDS | `tailscale status` показывает только сам хост | Не критично: второй контур на WG; можно выключить Tailscale |
| 7 | Старые счётчики fails | `check-services 3036`, `matrix-sso 203`, `rag-reindex 190` — исторические | Косметика: можно сбросить/почистить события |
## Проверка сейчас
```
check_certs: 14 доменов, 35 дней, 0 тревог, 0 с
RAG: 1140 файлов, 5670 чанков, ошибок 0
check-services: rc=0, 21 с
сервисы: 74/74, боты 9/9, юниты 0
диски: 42% / 37%; бэкапы: vzdump 02:31, офсайт 18:09
```
+2 -2
View File
@@ -1,5 +1,5 @@
# Реестр автоматизаций Buryans Hub
# Сгенерировано: 2026-11-16 20:13 (ops/scripts/build_automations_registry.py)
# Сгенерировано: 2026-11-16 20:40 (ops/scripts/build_automations_registry.py)
total: 163
by_source:
cron.d: 49
@@ -128,7 +128,7 @@ items:
- {"source": "hermes", "job": "ai-digest", "schedule": "daily 08:30", "command": "/usr/bin/python3 /opt/hermes/hermes_ai_digest.py"}
- {"source": "hermes", "job": "media-digest", "schedule": "daily 09:30", "command": "/opt/music-tools/venv/bin/python /opt/hermes/media_digest.py"}
- {"source": "hermes", "job": "hygiene-scan", "schedule": "daily 07:20", "command": "/root/buryan-infra/ops/scripts/hygiene_job.sh"}
- {"source": "hermes", "job": "rag-reindex", "schedule": "daily 03:40", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/rag_index_pg.py"}
- {"source": "hermes", "job": "rag-reindex", "schedule": "daily 08:30", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/rag_index_pg.py"}
- {"source": "hermes", "job": "evolution-report", "schedule": "daily 08:10", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/evolution_agent.py"}
- {"source": "hermes", "job": "trust-report", "schedule": "daily 08:00", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/trust_report.py"}
- {"source": "hermes", "job": "weekly-report", "schedule": "daily 08:05", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/weekly_report.py"}
+6 -1
View File
@@ -72,4 +72,9 @@
[medium] compose-файл ≠ git CT110 (1 каталогов)
предложений: 4
[L2_safe_auto] restart_exporter {} — target d
[L2_safe_auto] restart_exporter {} — target d
2026-11-16T07:21:02 | hygiene-scan | denied | cooldown: ещё 566 с
2026-11-16T07:23:39 | hygiene-scan | done | .md
проверок: 19 | находок: 23 | high: 1 medium: 2 low: 5 info: 15
[high] сервис не отвечает Paperless (192.168.1.110:8000/); Immich (VM) (192.168.1.104:2283/api/server/ping
[medium] крупн
+13 -1
View File
@@ -51,6 +51,9 @@ PG_DB = os.getenv("PG_DB", "buryan_monitoring")
PG_USER = os.getenv("PG_USER", "buryan_monitor")
LOCAL_PROXY = ("127.0.0.1", 443) # nginx на хосте терминирует TLS для всех доменов
def expiry_of(host, timeout=12):
"""Срок действия сертификата, который отдаёт узел.
@@ -58,7 +61,16 @@ def expiry_of(host, timeout=12):
Через ssl.getpeercert() не получается: при отключённой проверке
подлинности Python возвращает пустой словарь, и срок узнать неоткуда.
"""
pem = ssl.get_server_certificate((host, 443), timeout=timeout)
# Публичный домен изнутри хоста упирается в DPI/hairpin: проверяем
# через локальный nginx, передавая нужный SNI (Host).
r = subprocess.run(
["openssl", "s_client", "-connect", "%s:%d" % LOCAL_PROXY,
"-servername", host, "-showcerts"],
input=b"", capture_output=True, timeout=timeout)
out = (r.stdout or b"").decode("utf-8", "replace")
blocks = out.split("-----BEGIN CERTIFICATE-----")
pem = ("-----BEGIN CERTIFICATE-----" + blocks[1].split("-----END CERTIFICATE-----")[0]
+ "-----END CERTIFICATE-----\n") if len(blocks) > 1 else ""
res = subprocess.run(
["openssl", "x509", "-noout", "-enddate", "-subject"],
input=pem, capture_output=True, text=True, timeout=15,
+17
View File
@@ -108,7 +108,24 @@ def vec_lit(v):
return "[" + ",".join("%.6f" % x for x in v) + "]"
def unload_other_models():
"""Ollama на 229 не может держать qwen и эмбеддинги одновременно:
освобождаем память перед индексацией (иначе embeddings висят минутами)."""
import json as _j
import urllib.request as _u
for m in ("qwen2.5:3b", "qwen2.5:7b"):
try:
body = _j.dumps({"model": m, "keep_alive": 0}).encode()
req = _u.Request(LLM + "/api/generate", data=body, method="POST",
headers={"Content-Type": "application/json"})
_u.urlopen(req, timeout=20).read()
except Exception:
pass
def main():
unload_other_models()
rebuild = "--rebuild" in sys.argv
seed = "--seed" in sys.argv
pg = psycopg2.connect(rag.DSN)