[OPS] Аудит проблем: check_certs переведён на локальный nginx с SNI (висел >120 с из-за DPI, теперь 0 с); RAG-пересбор падал из-за конкуренции с qwen3b в Ollama (190 таймаутов) — выгрузка моделей перед индексацией + перенос на 08:30 после ночного сбора; инкрементальный прогон: 1140 файлов пропущено, 0 ошибок. Открыты: n8n мёртв с 20.10, память (zram 100%, swap 12Г), прямой VPN 52% сбоев (CF 0/120), Ollama медленная, нет SSH к 229
This commit is contained in:
1 parent
e38a0233a4
commit
c13338cf0e
5 files changed
+93
-4
No files matched your search
@@ -0,0 +1,55 @@
|
||||
# Аудит проблем (16.11.2026, вечер)
|
||||
|
||||
## Что проверено и исправлено
|
||||
|
||||
### 1. check_certs зависал
|
||||
|
||||
Проверка шла к публичным доменам через интернет — изнутри хоста это
|
||||
упирается в DPI/hairpin, 14 доменов по 12 с. Прогон висел >120 с.
|
||||
|
||||
Исправлено: сертификат забирается у **локального nginx** с нужным SNI
|
||||
(`openssl s_client -connect 127.0.0.1:443 -servername <домен>`).
|
||||
|
||||
Результат: **0 секунд**, 14 доменов, минимум 35 дней, тревог 0.
|
||||
|
||||
### 2. RAG-пересбор падал по таймауту (190 раз)
|
||||
|
||||
Причина: Ollama на 229 не может одновременно держать `qwen2.5:3b`
|
||||
(ночной сбор) и модель эмбеддингов. `/api/embeddings` висел 60+ секунд,
|
||||
пересбор 1140 файлов не успевал за 2 часа.
|
||||
|
||||
Исправлено:
|
||||
|
||||
* перед индексацией выгружаем `qwen2.5:3b/7b` (`keep_alive: 0`);
|
||||
* задание перенесено с 03:40 на **08:30** — после ночного сбора
|
||||
(`llm-night-stop` в 07:30), когда Ollama свободна.
|
||||
|
||||
Проверка: инкрементальный прогон — **обновлено 0, пропущено 1140,
|
||||
ошибок 0**, индекс 5670 чанков.
|
||||
|
||||
### 3. check-services: 836 «провалов» за сутки
|
||||
|
||||
Семантика уже исправлена ранее (VPN-шлюз — предупреждение, не провал).
|
||||
Сейчас: `rc=0` за 21 с, в журнале `⚠️ шлюз` и `✅ всё в порядке`.
|
||||
|
||||
## Что осталось (по приоритету)
|
||||
|
||||
| # | Проблема | Факты | Что делать |
|
||||
|---|---|---|---|
|
||||
| 1 | **n8n мёртв** | 0 исполнений с 20.10; 84 успешных / 9922 ошибок; 4 воркфлоу «active», webhook не обрабатывается | Решить: вывести n8n (перенести version-watch на hub /notify, выключить воркфлоу) или починить |
|
||||
| 2 | **Память** | zram 7.7/7.7 ГБ (100%), swap 12 ГБ занят, media-swapfile 4.6 ГБ, RAM 11/15 | Ждём докупку RAM (решение владельца) |
|
||||
| 3 | **VPN прямой канал** | Reality 62/120 сбоев, WS 59/120, XHTTP 57/120; CF 0/120 | CF-запасной работает; проверка через неделю (задача 23.11) |
|
||||
| 4 | **Ollama медленная** | 3b 17–26 с, 7b ~55 с, эмбеддинги первый вызов ~20 с | Ограничение мини-ПК; для триажа/отчётов терпимо, для интерактива медленно |
|
||||
| 5 | **Нет SSH к 229** | `permission denied (publickey)` | Добавить ключ или доступ — иначе Ollama нельзя перезапустить удалённо |
|
||||
| 6 | Tailscale-пир VDS | `tailscale status` показывает только сам хост | Не критично: второй контур на WG; можно выключить Tailscale |
|
||||
| 7 | Старые счётчики fails | `check-services 3036`, `matrix-sso 203`, `rag-reindex 190` — исторические | Косметика: можно сбросить/почистить события |
|
||||
|
||||
## Проверка сейчас
|
||||
|
||||
```
|
||||
check_certs: 14 доменов, 35 дней, 0 тревог, 0 с
|
||||
RAG: 1140 файлов, 5670 чанков, ошибок 0
|
||||
check-services: rc=0, 21 с
|
||||
сервисы: 74/74, боты 9/9, юниты 0
|
||||
диски: 42% / 37%; бэкапы: vzdump 02:31, офсайт 18:09
|
||||
```
|
||||
@@ -1,5 +1,5 @@
|
||||
# Реестр автоматизаций Buryans Hub
|
||||
# Сгенерировано: 2026-11-16 20:13 (ops/scripts/build_automations_registry.py)
|
||||
# Сгенерировано: 2026-11-16 20:40 (ops/scripts/build_automations_registry.py)
|
||||
total: 163
|
||||
by_source:
|
||||
cron.d: 49
|
||||
@@ -128,7 +128,7 @@ items:
|
||||
- {"source": "hermes", "job": "ai-digest", "schedule": "daily 08:30", "command": "/usr/bin/python3 /opt/hermes/hermes_ai_digest.py"}
|
||||
- {"source": "hermes", "job": "media-digest", "schedule": "daily 09:30", "command": "/opt/music-tools/venv/bin/python /opt/hermes/media_digest.py"}
|
||||
- {"source": "hermes", "job": "hygiene-scan", "schedule": "daily 07:20", "command": "/root/buryan-infra/ops/scripts/hygiene_job.sh"}
|
||||
- {"source": "hermes", "job": "rag-reindex", "schedule": "daily 03:40", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/rag_index_pg.py"}
|
||||
- {"source": "hermes", "job": "rag-reindex", "schedule": "daily 08:30", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/rag_index_pg.py"}
|
||||
- {"source": "hermes", "job": "evolution-report", "schedule": "daily 08:10", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/evolution_agent.py"}
|
||||
- {"source": "hermes", "job": "trust-report", "schedule": "daily 08:00", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/trust_report.py"}
|
||||
- {"source": "hermes", "job": "weekly-report", "schedule": "daily 08:05", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/weekly_report.py"}
|
||||
|
||||
@@ -72,4 +72,9 @@
|
||||
[medium] compose-файл ≠ git CT110 (1 каталогов)
|
||||
|
||||
предложений: 4
|
||||
[L2_safe_auto] restart_exporter {} — target d
|
||||
[L2_safe_auto] restart_exporter {} — target d
|
||||
2026-11-16T07:21:02 | hygiene-scan | denied | cooldown: ещё 566 с
|
||||
2026-11-16T07:23:39 | hygiene-scan | done | .md
|
||||
проверок: 19 | находок: 23 | high: 1 medium: 2 low: 5 info: 15
|
||||
[high] сервис не отвечает Paperless (192.168.1.110:8000/); Immich (VM) (192.168.1.104:2283/api/server/ping
|
||||
[medium] крупн
|
||||
@@ -51,6 +51,9 @@ PG_DB = os.getenv("PG_DB", "buryan_monitoring")
|
||||
PG_USER = os.getenv("PG_USER", "buryan_monitor")
|
||||
|
||||
|
||||
LOCAL_PROXY = ("127.0.0.1", 443) # nginx на хосте терминирует TLS для всех доменов
|
||||
|
||||
|
||||
def expiry_of(host, timeout=12):
|
||||
"""Срок действия сертификата, который отдаёт узел.
|
||||
|
||||
@@ -58,7 +61,16 @@ def expiry_of(host, timeout=12):
|
||||
Через ssl.getpeercert() не получается: при отключённой проверке
|
||||
подлинности Python возвращает пустой словарь, и срок узнать неоткуда.
|
||||
"""
|
||||
pem = ssl.get_server_certificate((host, 443), timeout=timeout)
|
||||
# Публичный домен изнутри хоста упирается в DPI/hairpin: проверяем
|
||||
# через локальный nginx, передавая нужный SNI (Host).
|
||||
r = subprocess.run(
|
||||
["openssl", "s_client", "-connect", "%s:%d" % LOCAL_PROXY,
|
||||
"-servername", host, "-showcerts"],
|
||||
input=b"", capture_output=True, timeout=timeout)
|
||||
out = (r.stdout or b"").decode("utf-8", "replace")
|
||||
blocks = out.split("-----BEGIN CERTIFICATE-----")
|
||||
pem = ("-----BEGIN CERTIFICATE-----" + blocks[1].split("-----END CERTIFICATE-----")[0]
|
||||
+ "-----END CERTIFICATE-----\n") if len(blocks) > 1 else ""
|
||||
res = subprocess.run(
|
||||
["openssl", "x509", "-noout", "-enddate", "-subject"],
|
||||
input=pem, capture_output=True, text=True, timeout=15,
|
||||
|
||||
@@ -108,7 +108,24 @@ def vec_lit(v):
|
||||
return "[" + ",".join("%.6f" % x for x in v) + "]"
|
||||
|
||||
|
||||
|
||||
def unload_other_models():
|
||||
"""Ollama на 229 не может держать qwen и эмбеддинги одновременно:
|
||||
освобождаем память перед индексацией (иначе embeddings висят минутами)."""
|
||||
import json as _j
|
||||
import urllib.request as _u
|
||||
for m in ("qwen2.5:3b", "qwen2.5:7b"):
|
||||
try:
|
||||
body = _j.dumps({"model": m, "keep_alive": 0}).encode()
|
||||
req = _u.Request(LLM + "/api/generate", data=body, method="POST",
|
||||
headers={"Content-Type": "application/json"})
|
||||
_u.urlopen(req, timeout=20).read()
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
|
||||
def main():
|
||||
unload_other_models()
|
||||
rebuild = "--rebuild" in sys.argv
|
||||
seed = "--seed" in sys.argv
|
||||
pg = psycopg2.connect(rag.DSN)
|
||||
|
||||
Reference in new issue
Block a user