diff --git a/ops/audits/NIGHT-SPRINT-AUDIT-2026-11-16.md b/ops/audits/NIGHT-SPRINT-AUDIT-2026-11-16.md new file mode 100644 index 0000000..687adcd --- /dev/null +++ b/ops/audits/NIGHT-SPRINT-AUDIT-2026-11-16.md @@ -0,0 +1,99 @@ +# Ночной спринт: аудит дня и бутылочные горлышки (16.11.2026) + +## Что сделано за день + +| Блок | Результат | Коммит | +|---|---|---| +| Фаза 0 | Ложные тревоги убраны (Matrix/SSO, Ollama, домены), Immich поднят, n8n вычищен | `418623d` | +| Фаза 1 | LLM-триаж алертов (вердикт + анти-шум) | `612a0cc` | +| Фаза 2 | LLM-RCA, очередь заявок, очеловечены секретари | `73b317c` | +| Боты | Переведены на локальный Synapse (старт 2,5 мин → мгновенно) | `5693968` | +| Фаза 3 | Ночной разбор журналов по сигнатурам | `c8e41c1` | +| Фаза 4 | LLM в отчётах (weekly/trust/research) | `9b2388a` | +| Фаза 5 | Унификация расписаний, drift = 0 | `a2f3892` | +| Три пункта | Утренняя сводка, work.db в офсайт, EXT4 закрыт | `9dec067` | +| Спринт | selfcheck 22 проверки, guard планировщика, check-services 89→20 с | `458ac82` | +| RCA v2 | Гипотеза 3b + шаги DeepSeek, запасные модели | `2d8217d` | +| Снимки | 7 LVM-снимков удалено, 12 конфигов очищено | `02162d5` | +| CF-туннель | Автообновление URL, канал proxy-cf в 6 профилях | `e38a023` | +| Проблемы | check_certs 0 с, RAG-конкуренция устранена, n8n выведен | `c13338c` | + +## Проверка сейчас + +``` +selfcheck: 22 проверки, провалов 0 +службы: 73/73 (n8n выведен из каталога) +боты: 9/9, token_failures пусто +упавшие юниты: 0 +диски: 42% / 37% / backup 41% +бэкапы: vzdump 02:31, офсайт 18:09, проверка 47/47 баз +``` + +## n8n выведен (решение принято) + +* 4 воркфлоу выключены, контейнер остановлен (`restart=no`); +* `version-watch` переведён на hub `/notify`; +* `reconcile.py` больше не проверяет n8n; +* из `services.yaml` запись убрана. + +## Бутылочные горлышки + +### 1. Память и железо — главное + +``` +RAM: 15 ГБ, занято 11; zram 7.7/7.7 (100%); swap 12 ГБ (media 4.6 ГБ) +Ollama на 229: 3b 17–26 с, 7b ~55 с, эмбеддинги ~20 с +``` + +Следствие: локальная LLM медленная, триаж/RCA/отчёты часто уходят в +DeepSeek; RAG-пересбор упирается в одну модель за раз. Пока не докуплена +RAM — это ограничение №1. + +### 2. Один внешний VDS + +Reality 62/120, WS 59/120, XHTTP 57/120 сбоев; **CF 0/120**. Прямой TLS к IP +режется. CF спасает, но добавляет ~500 мс и зависит от Cloudflare. +Резервного внешнего узла нет. + +### 3. Один Postgres (CT151): 1 ядро, 3 ГБ, 200 соединений + +73 службы на одной базе; ночной пик бэкапов уже давал «too many clients» +(сейчас 52/200 после подъёма лимита). Нет PgBouncer. + +### 4. Единый планировщик Hermes + hub-core + +55 заданий и вся шина уведомлений в одном процессе. Провал Hermes = +нет заданий (бэкапы в cron остаются), провал hub-core = нет алертов и +статуса. Guard и Restart=on-failure есть, но это всё равно одна точка. + +### 5. Нет SSH к 229 (Ollama) + +`permission denied (publickey)`. Если Ollama зависнет, перезапустить +удалённо нельзя: RAG и локальный триаж деградируют до облачных вызовов. + +### 6. Второстепенное + +* Tailscale-пир VDS отсутствует (второй контур на WG — не критично). +* Снапшоты недоступны на 12 CT с bind-монтированиями — откат только vzdump. +* Restore-test — раз в месяц (последний 01.11: 5/5). +* n8n выведен → визуальных интеграций нет; Kuma-алерты идут через hub. + +## Что настроено на автопилоте + +| Когда | Что | +|---|---| +| 07:50 | `log-signatures` (разбор журналов) | +| 08:00 | `morning-digest` (единая утренняя сводка) | +| 08:30 | `rag-reindex` (после ночного сбора) | +| каждые 5 мин | `cf-tunnel-sync` (URL CF-туннеля) | +| каждые 6 ч | `selfcheck-platform` (22 проверки) | +| 23.11 19:00 | разовая проверка VPN-канала | +| пн 09:00 | еженедельный аудит LLM в процессах | + +## Рекомендации на неделю + +1. **RAM** — главный рычаг: уберёт своп-давление и ускорит локальную LLM. +2. **SSH-ключ на 229** — управлять Ollama (перезапуск, версии моделей). +3. **VPN** — дождаться проверки 23.11 и решить: домен+CF, RU-релей или VDS. +4. **Postgres** — следить за соединениями; при росте — PgBouncer. +5. **RAG** — батчевые эмбеддинги (`/api/embed`) для скорости. diff --git a/ops/automations/registry.yaml b/ops/automations/registry.yaml index fc74b80..08c3a55 100644 --- a/ops/automations/registry.yaml +++ b/ops/automations/registry.yaml @@ -1,5 +1,5 @@ # Реестр автоматизаций Buryans Hub -# Сгенерировано: 2026-11-16 20:40 (ops/scripts/build_automations_registry.py) +# Сгенерировано: 2026-11-16 20:47 (ops/scripts/build_automations_registry.py) total: 163 by_source: cron.d: 49 diff --git a/ops/scripts/selfcheck_platform.py b/ops/scripts/selfcheck_platform.py index 5902a2f..fab1df7 100755 --- a/ops/scripts/selfcheck_platform.py +++ b/ops/scripts/selfcheck_platform.py @@ -93,11 +93,15 @@ def check_ollama(): def check_n8n(): + """n8n выведен 16.11.2026: ожидаем 0 активных воркфлоу и остановленный контейнер.""" sup = open("/root/.pg-superuser-pass").read().strip() - q = ("SELECT count(*) FROM workflow_entity WHERE active=true;") - out = sh('PGPASSWORD=%s psql -w -h 192.168.1.151 -U postgres -d n8n -t -A -c "%s"' % (sup, q)) + out = sh('PGPASSWORD=%s psql -w -h 192.168.1.151 -U postgres -d n8n -t -A ' + '-c "SELECT count(*) FROM workflow_entity WHERE active=true;"' % sup) n = out.strip() - add("n8n активные воркфлоу", n.isdigit() and int(n) >= 1, "count=%s" % n) + names = sh("pct exec 108 -- docker ps --format '{{.Names}}' 2>/dev/null").split() + running = "n8n" in names + add("n8n (выведен)", n == "0" and not running, + "активных=%s контейнер=%s" % (n, "запущен" if running else "остановлен")) def check_digests(): diff --git a/ops/scripts/version-watch.sh b/ops/scripts/version-watch.sh index cdc628d..b0420f2 100755 --- a/ops/scripts/version-watch.sh +++ b/ops/scripts/version-watch.sh @@ -79,12 +79,14 @@ save_state() { } notify() { # service image current target ct + # n8n выведен (16.11.2026): шлём в шину хаба. Обновления — не авария, + # поэтому priority=normal: уходят в журнал и дайджест, не в чат. local payload payload=$(jq -n \ - --arg s "$1" --arg i "$2" --arg c "$3" --arg n "$4" --arg ct "$5" \ - '{service:$s, image:$i, current_version:$c, new_version:$n, ct:$ct}') + --arg msg "Обновление: $1 ($2) — $3 → $4${5:+ (CT$5)}" \ + '{title: "Обновление версии", message: $msg, priority: "normal"}') curl -s -m 20 -X POST -H 'Content-Type: application/json' \ - -d "$payload" "$N8N_WEBHOOK" >/dev/null + -d "$payload" "http://127.0.0.1:9120/notify" >/dev/null } # --- Основной цикл ----------------------------------------------------------