[OPS] Ночной спринт: n8n выведен (0 воркфлоу, контейнер остановлен, version-watch→hub, reconcile и каталог почищены); счётчики fails сброшены; selfcheck обновлён (22/22). Аудит дня и бутылочные горлышки: память (zram 100%, swap 12Г) и слабая Ollama на 229 (3b 17-26с, 7b 55с), один VDS (прямой TLS 52% сбоев, CF 0/120), один Postgres (1 ядро, 200 соед.), Hermes/hub-core как SPOF, нет SSH к 229. Автопилот: 07:50/08:00/08:30, cf-sync 5м, selfcheck 6ч, VPN-проверка 23.11, LLM-аудит пн 09:00
This commit is contained in:
1 parent
c13338cf0e
commit
64f6e8444d
4 files changed
+112
-7
No files matched your search
@@ -0,0 +1,99 @@
|
||||
# Ночной спринт: аудит дня и бутылочные горлышки (16.11.2026)
|
||||
|
||||
## Что сделано за день
|
||||
|
||||
| Блок | Результат | Коммит |
|
||||
|---|---|---|
|
||||
| Фаза 0 | Ложные тревоги убраны (Matrix/SSO, Ollama, домены), Immich поднят, n8n вычищен | `418623d` |
|
||||
| Фаза 1 | LLM-триаж алертов (вердикт + анти-шум) | `612a0cc` |
|
||||
| Фаза 2 | LLM-RCA, очередь заявок, очеловечены секретари | `73b317c` |
|
||||
| Боты | Переведены на локальный Synapse (старт 2,5 мин → мгновенно) | `5693968` |
|
||||
| Фаза 3 | Ночной разбор журналов по сигнатурам | `c8e41c1` |
|
||||
| Фаза 4 | LLM в отчётах (weekly/trust/research) | `9b2388a` |
|
||||
| Фаза 5 | Унификация расписаний, drift = 0 | `a2f3892` |
|
||||
| Три пункта | Утренняя сводка, work.db в офсайт, EXT4 закрыт | `9dec067` |
|
||||
| Спринт | selfcheck 22 проверки, guard планировщика, check-services 89→20 с | `458ac82` |
|
||||
| RCA v2 | Гипотеза 3b + шаги DeepSeek, запасные модели | `2d8217d` |
|
||||
| Снимки | 7 LVM-снимков удалено, 12 конфигов очищено | `02162d5` |
|
||||
| CF-туннель | Автообновление URL, канал proxy-cf в 6 профилях | `e38a023` |
|
||||
| Проблемы | check_certs 0 с, RAG-конкуренция устранена, n8n выведен | `c13338c` |
|
||||
|
||||
## Проверка сейчас
|
||||
|
||||
```
|
||||
selfcheck: 22 проверки, провалов 0
|
||||
службы: 73/73 (n8n выведен из каталога)
|
||||
боты: 9/9, token_failures пусто
|
||||
упавшие юниты: 0
|
||||
диски: 42% / 37% / backup 41%
|
||||
бэкапы: vzdump 02:31, офсайт 18:09, проверка 47/47 баз
|
||||
```
|
||||
|
||||
## n8n выведен (решение принято)
|
||||
|
||||
* 4 воркфлоу выключены, контейнер остановлен (`restart=no`);
|
||||
* `version-watch` переведён на hub `/notify`;
|
||||
* `reconcile.py` больше не проверяет n8n;
|
||||
* из `services.yaml` запись убрана.
|
||||
|
||||
## Бутылочные горлышки
|
||||
|
||||
### 1. Память и железо — главное
|
||||
|
||||
```
|
||||
RAM: 15 ГБ, занято 11; zram 7.7/7.7 (100%); swap 12 ГБ (media 4.6 ГБ)
|
||||
Ollama на 229: 3b 17–26 с, 7b ~55 с, эмбеддинги ~20 с
|
||||
```
|
||||
|
||||
Следствие: локальная LLM медленная, триаж/RCA/отчёты часто уходят в
|
||||
DeepSeek; RAG-пересбор упирается в одну модель за раз. Пока не докуплена
|
||||
RAM — это ограничение №1.
|
||||
|
||||
### 2. Один внешний VDS
|
||||
|
||||
Reality 62/120, WS 59/120, XHTTP 57/120 сбоев; **CF 0/120**. Прямой TLS к IP
|
||||
режется. CF спасает, но добавляет ~500 мс и зависит от Cloudflare.
|
||||
Резервного внешнего узла нет.
|
||||
|
||||
### 3. Один Postgres (CT151): 1 ядро, 3 ГБ, 200 соединений
|
||||
|
||||
73 службы на одной базе; ночной пик бэкапов уже давал «too many clients»
|
||||
(сейчас 52/200 после подъёма лимита). Нет PgBouncer.
|
||||
|
||||
### 4. Единый планировщик Hermes + hub-core
|
||||
|
||||
55 заданий и вся шина уведомлений в одном процессе. Провал Hermes =
|
||||
нет заданий (бэкапы в cron остаются), провал hub-core = нет алертов и
|
||||
статуса. Guard и Restart=on-failure есть, но это всё равно одна точка.
|
||||
|
||||
### 5. Нет SSH к 229 (Ollama)
|
||||
|
||||
`permission denied (publickey)`. Если Ollama зависнет, перезапустить
|
||||
удалённо нельзя: RAG и локальный триаж деградируют до облачных вызовов.
|
||||
|
||||
### 6. Второстепенное
|
||||
|
||||
* Tailscale-пир VDS отсутствует (второй контур на WG — не критично).
|
||||
* Снапшоты недоступны на 12 CT с bind-монтированиями — откат только vzdump.
|
||||
* Restore-test — раз в месяц (последний 01.11: 5/5).
|
||||
* n8n выведен → визуальных интеграций нет; Kuma-алерты идут через hub.
|
||||
|
||||
## Что настроено на автопилоте
|
||||
|
||||
| Когда | Что |
|
||||
|---|---|
|
||||
| 07:50 | `log-signatures` (разбор журналов) |
|
||||
| 08:00 | `morning-digest` (единая утренняя сводка) |
|
||||
| 08:30 | `rag-reindex` (после ночного сбора) |
|
||||
| каждые 5 мин | `cf-tunnel-sync` (URL CF-туннеля) |
|
||||
| каждые 6 ч | `selfcheck-platform` (22 проверки) |
|
||||
| 23.11 19:00 | разовая проверка VPN-канала |
|
||||
| пн 09:00 | еженедельный аудит LLM в процессах |
|
||||
|
||||
## Рекомендации на неделю
|
||||
|
||||
1. **RAM** — главный рычаг: уберёт своп-давление и ускорит локальную LLM.
|
||||
2. **SSH-ключ на 229** — управлять Ollama (перезапуск, версии моделей).
|
||||
3. **VPN** — дождаться проверки 23.11 и решить: домен+CF, RU-релей или VDS.
|
||||
4. **Postgres** — следить за соединениями; при росте — PgBouncer.
|
||||
5. **RAG** — батчевые эмбеддинги (`/api/embed`) для скорости.
|
||||
@@ -1,5 +1,5 @@
|
||||
# Реестр автоматизаций Buryans Hub
|
||||
# Сгенерировано: 2026-11-16 20:40 (ops/scripts/build_automations_registry.py)
|
||||
# Сгенерировано: 2026-11-16 20:47 (ops/scripts/build_automations_registry.py)
|
||||
total: 163
|
||||
by_source:
|
||||
cron.d: 49
|
||||
|
||||
@@ -93,11 +93,15 @@ def check_ollama():
|
||||
|
||||
|
||||
def check_n8n():
|
||||
"""n8n выведен 16.11.2026: ожидаем 0 активных воркфлоу и остановленный контейнер."""
|
||||
sup = open("/root/.pg-superuser-pass").read().strip()
|
||||
q = ("SELECT count(*) FROM workflow_entity WHERE active=true;")
|
||||
out = sh('PGPASSWORD=%s psql -w -h 192.168.1.151 -U postgres -d n8n -t -A -c "%s"' % (sup, q))
|
||||
out = sh('PGPASSWORD=%s psql -w -h 192.168.1.151 -U postgres -d n8n -t -A '
|
||||
'-c "SELECT count(*) FROM workflow_entity WHERE active=true;"' % sup)
|
||||
n = out.strip()
|
||||
add("n8n активные воркфлоу", n.isdigit() and int(n) >= 1, "count=%s" % n)
|
||||
names = sh("pct exec 108 -- docker ps --format '{{.Names}}' 2>/dev/null").split()
|
||||
running = "n8n" in names
|
||||
add("n8n (выведен)", n == "0" and not running,
|
||||
"активных=%s контейнер=%s" % (n, "запущен" if running else "остановлен"))
|
||||
|
||||
|
||||
def check_digests():
|
||||
|
||||
@@ -79,12 +79,14 @@ save_state() {
|
||||
}
|
||||
|
||||
notify() { # service image current target ct
|
||||
# n8n выведен (16.11.2026): шлём в шину хаба. Обновления — не авария,
|
||||
# поэтому priority=normal: уходят в журнал и дайджест, не в чат.
|
||||
local payload
|
||||
payload=$(jq -n \
|
||||
--arg s "$1" --arg i "$2" --arg c "$3" --arg n "$4" --arg ct "$5" \
|
||||
'{service:$s, image:$i, current_version:$c, new_version:$n, ct:$ct}')
|
||||
--arg msg "Обновление: $1 ($2) — $3 → $4${5:+ (CT$5)}" \
|
||||
'{title: "Обновление версии", message: $msg, priority: "normal"}')
|
||||
curl -s -m 20 -X POST -H 'Content-Type: application/json' \
|
||||
-d "$payload" "$N8N_WEBHOOK" >/dev/null
|
||||
-d "$payload" "http://127.0.0.1:9120/notify" >/dev/null
|
||||
}
|
||||
|
||||
# --- Основной цикл ----------------------------------------------------------
|
||||
|
||||
Reference in new issue
Block a user