[OPS] Ночной спринт: n8n выведен (0 воркфлоу, контейнер остановлен, version-watch→hub, reconcile и каталог почищены); счётчики fails сброшены; selfcheck обновлён (22/22). Аудит дня и бутылочные горлышки: память (zram 100%, swap 12Г) и слабая Ollama на 229 (3b 17-26с, 7b 55с), один VDS (прямой TLS 52% сбоев, CF 0/120), один Postgres (1 ядро, 200 соед.), Hermes/hub-core как SPOF, нет SSH к 229. Автопилот: 07:50/08:00/08:30, cf-sync 5м, selfcheck 6ч, VPN-проверка 23.11, LLM-аудит пн 09:00

This commit is contained in:
root committed 2026-11-16 20:47:35 +03:00
1 parent c13338cf0e
commit 64f6e8444d
4 files changed
+112 -7

No files matched your search

@@ -0,0 +1,99 @@
# Ночной спринт: аудит дня и бутылочные горлышки (16.11.2026)
## Что сделано за день
| Блок | Результат | Коммит |
|---|---|---|
| Фаза 0 | Ложные тревоги убраны (Matrix/SSO, Ollama, домены), Immich поднят, n8n вычищен | `418623d` |
| Фаза 1 | LLM-триаж алертов (вердикт + анти-шум) | `612a0cc` |
| Фаза 2 | LLM-RCA, очередь заявок, очеловечены секретари | `73b317c` |
| Боты | Переведены на локальный Synapse (старт 2,5 мин → мгновенно) | `5693968` |
| Фаза 3 | Ночной разбор журналов по сигнатурам | `c8e41c1` |
| Фаза 4 | LLM в отчётах (weekly/trust/research) | `9b2388a` |
| Фаза 5 | Унификация расписаний, drift = 0 | `a2f3892` |
| Три пункта | Утренняя сводка, work.db в офсайт, EXT4 закрыт | `9dec067` |
| Спринт | selfcheck 22 проверки, guard планировщика, check-services 89→20 с | `458ac82` |
| RCA v2 | Гипотеза 3b + шаги DeepSeek, запасные модели | `2d8217d` |
| Снимки | 7 LVM-снимков удалено, 12 конфигов очищено | `02162d5` |
| CF-туннель | Автообновление URL, канал proxy-cf в 6 профилях | `e38a023` |
| Проблемы | check_certs 0 с, RAG-конкуренция устранена, n8n выведен | `c13338c` |
## Проверка сейчас
```
selfcheck: 22 проверки, провалов 0
службы: 73/73 (n8n выведен из каталога)
боты: 9/9, token_failures пусто
упавшие юниты: 0
диски: 42% / 37% / backup 41%
бэкапы: vzdump 02:31, офсайт 18:09, проверка 47/47 баз
```
## n8n выведен (решение принято)
* 4 воркфлоу выключены, контейнер остановлен (`restart=no`);
* `version-watch` переведён на hub `/notify`;
* `reconcile.py` больше не проверяет n8n;
* из `services.yaml` запись убрана.
## Бутылочные горлышки
### 1. Память и железо — главное
```
RAM: 15 ГБ, занято 11; zram 7.7/7.7 (100%); swap 12 ГБ (media 4.6 ГБ)
Ollama на 229: 3b 17–26 с, 7b ~55 с, эмбеддинги ~20 с
```
Следствие: локальная LLM медленная, триаж/RCA/отчёты часто уходят в
DeepSeek; RAG-пересбор упирается в одну модель за раз. Пока не докуплена
RAM — это ограничение №1.
### 2. Один внешний VDS
Reality 62/120, WS 59/120, XHTTP 57/120 сбоев; **CF 0/120**. Прямой TLS к IP
режется. CF спасает, но добавляет ~500 мс и зависит от Cloudflare.
Резервного внешнего узла нет.
### 3. Один Postgres (CT151): 1 ядро, 3 ГБ, 200 соединений
73 службы на одной базе; ночной пик бэкапов уже давал «too many clients»
(сейчас 52/200 после подъёма лимита). Нет PgBouncer.
### 4. Единый планировщик Hermes + hub-core
55 заданий и вся шина уведомлений в одном процессе. Провал Hermes =
нет заданий (бэкапы в cron остаются), провал hub-core = нет алертов и
статуса. Guard и Restart=on-failure есть, но это всё равно одна точка.
### 5. Нет SSH к 229 (Ollama)
`permission denied (publickey)`. Если Ollama зависнет, перезапустить
удалённо нельзя: RAG и локальный триаж деградируют до облачных вызовов.
### 6. Второстепенное
* Tailscale-пир VDS отсутствует (второй контур на WG — не критично).
* Снапшоты недоступны на 12 CT с bind-монтированиями — откат только vzdump.
* Restore-test — раз в месяц (последний 01.11: 5/5).
* n8n выведен → визуальных интеграций нет; Kuma-алерты идут через hub.
## Что настроено на автопилоте
| Когда | Что |
|---|---|
| 07:50 | `log-signatures` (разбор журналов) |
| 08:00 | `morning-digest` (единая утренняя сводка) |
| 08:30 | `rag-reindex` (после ночного сбора) |
| каждые 5 мин | `cf-tunnel-sync` (URL CF-туннеля) |
| каждые 6 ч | `selfcheck-platform` (22 проверки) |
| 23.11 19:00 | разовая проверка VPN-канала |
| пн 09:00 | еженедельный аудит LLM в процессах |
## Рекомендации на неделю
1. **RAM** — главный рычаг: уберёт своп-давление и ускорит локальную LLM.
2. **SSH-ключ на 229** — управлять Ollama (перезапуск, версии моделей).
3. **VPN** — дождаться проверки 23.11 и решить: домен+CF, RU-релей или VDS.
4. **Postgres** — следить за соединениями; при росте — PgBouncer.
5. **RAG** — батчевые эмбеддинги (`/api/embed`) для скорости.
+1 -1
View File
@@ -1,5 +1,5 @@
# Реестр автоматизаций Buryans Hub
# Сгенерировано: 2026-11-16 20:40 (ops/scripts/build_automations_registry.py)
# Сгенерировано: 2026-11-16 20:47 (ops/scripts/build_automations_registry.py)
total: 163
by_source:
cron.d: 49
+7 -3
View File
@@ -93,11 +93,15 @@ def check_ollama():
def check_n8n():
"""n8n выведен 16.11.2026: ожидаем 0 активных воркфлоу и остановленный контейнер."""
sup = open("/root/.pg-superuser-pass").read().strip()
q = ("SELECT count(*) FROM workflow_entity WHERE active=true;")
out = sh('PGPASSWORD=%s psql -w -h 192.168.1.151 -U postgres -d n8n -t -A -c "%s"' % (sup, q))
out = sh('PGPASSWORD=%s psql -w -h 192.168.1.151 -U postgres -d n8n -t -A '
'-c "SELECT count(*) FROM workflow_entity WHERE active=true;"' % sup)
n = out.strip()
add("n8n активные воркфлоу", n.isdigit() and int(n) >= 1, "count=%s" % n)
names = sh("pct exec 108 -- docker ps --format '{{.Names}}' 2>/dev/null").split()
running = "n8n" in names
add("n8n (выведен)", n == "0" and not running,
"активных=%s контейнер=%s" % (n, "запущен" if running else "остановлен"))
def check_digests():
+5 -3
View File
@@ -79,12 +79,14 @@ save_state() {
}
notify() { # service image current target ct
# n8n выведен (16.11.2026): шлём в шину хаба. Обновления — не авария,
# поэтому priority=normal: уходят в журнал и дайджест, не в чат.
local payload
payload=$(jq -n \
--arg s "$1" --arg i "$2" --arg c "$3" --arg n "$4" --arg ct "$5" \
'{service:$s, image:$i, current_version:$c, new_version:$n, ct:$ct}')
--arg msg "Обновление: $1 ($2) — $3 → $4${5:+ (CT$5)}" \
'{title: "Обновление версии", message: $msg, priority: "normal"}')
curl -s -m 20 -X POST -H 'Content-Type: application/json' \
-d "$payload" "$N8N_WEBHOOK" >/dev/null
-d "$payload" "http://127.0.0.1:9120/notify" >/dev/null
}
# --- Основной цикл ----------------------------------------------------------