From 681d2a8785fd8fbca268f95d2199b8220dc61e50 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Mon, 19 Oct 2026 21:28:17 +0300 Subject: [PATCH] =?UTF-8?q?=D0=A1=D0=BA=D0=BE=D1=80=D0=BE=D1=81=D1=82?= =?UTF-8?q?=D1=8C=20=D0=B1=D0=BE=D1=82=D0=BE=D0=B2:=20=D0=BF=D0=B0=D1=80?= =?UTF-8?q?=D0=B0=D0=BB=D0=BB=D0=B5=D0=BB=D1=8C=D0=BD=D1=8B=D0=B5=20=D0=BF?= =?UTF-8?q?=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D0=BA=D0=B8=20=D0=B8=20=D0=BA?= =?UTF-8?q?=D1=8D=D1=88,=20=D0=BC=D0=B5=D0=B4=D0=BB=D0=B5=D0=BD=D0=BD?= =?UTF-8?q?=D1=8B=D1=85=20=D0=BA=D0=BE=D0=BC=D0=B0=D0=BD=D0=B4=20=D0=BD?= =?UTF-8?q?=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit gaps: пять проверок (LLM, Telegram, камеры, MQTT, хранилища) теперь идут параллельно, результат кэшируется на 60 секунд — библиотеки и Proxmox не меняются ежесекундно. Замер 17 команд: было 3.7 с у gaps и одна команда медленнее 3 с, стало 2.5 с на первом вызове и 0.00 с на повторных, медленных нет. Ловушка: кэш объявлен на уровне модуля; первая вставка «перед классом Bot» не сработала — бот ответил «Ошибка при gaps». После правок кода ботов нужно проверять живым вызовом, а не только синтаксисом. --- ops/bots/PERFORMANCE.md | 45 +++++++++++++++ ops/bots/bench.py | 62 +++++++++++++++++++++ ops/bots/hub/bots.py | 118 +++++++++++++++++++++++++++------------- 3 files changed, 186 insertions(+), 39 deletions(-) create mode 100644 ops/bots/PERFORMANCE.md create mode 100644 ops/bots/bench.py diff --git a/ops/bots/PERFORMANCE.md b/ops/bots/PERFORMANCE.md new file mode 100644 index 0000000..071465e --- /dev/null +++ b/ops/bots/PERFORMANCE.md @@ -0,0 +1,45 @@ +# Скорость ответов ботов + +Замер: `bench.py` в `/opt/hub-bots`, 17 команд. + +## До оптимизации + +| Команда | Время | +|---|---| +| `gaps` | **3.7 с** | +| `статистика` (медиа/дом/фото/книги) | 0.5 с | +| `бэкапы` | 0.45 с | +| остальные | < 0.05 с | + +Медленнее 3 секунд: 1 команда. + +## Что сделано + +1. **Проверки в `gaps` идут параллельно.** Раньше пять проверок (ключ LLM, + Telegram, камеры, MQTT, хранилища) выполнялись по очереди — каждая с + вызовом `pct exec` или сетью. Теперь через `ThreadPoolExecutor`. +2. **Кэш на 60 секунд.** `gaps` опрашивает четыре библиотеки и Proxmox — + эти данные не меняются ежесекундно. Первый вызов считает, следующие + отдают готовое. + +## После + +| Команда | Время | +|---|---| +| `gaps` (первый раз) | 2.5 с | +| `gaps` (повторно) | **0.00 с** | +| `статистика` | 0.5 с | +| `бэкапы` | 0.45 с | +| остальные | < 0.05 с | + +Медленнее 3 секунд: **0 команд**. + +## Ловушка + +Кэш объявлен на уровне модуля. Первая попытка вставить переменные «перед +классом Bot» не сработала — код обратился к несуществующему имени и бот +ответил «Ошибка при gaps». Пришлось ставить объявления сразу после +импортов и проверять реальным вызовом, а не только синтаксисом. + +Вывод: после правки кода ботов запускать не только `ast.parse`, но и +живой вызов команды. diff --git a/ops/bots/bench.py b/ops/bots/bench.py new file mode 100644 index 0000000..4fb2455 --- /dev/null +++ b/ops/bots/bench.py @@ -0,0 +1,62 @@ +import sys +import time + +sys.path.insert(0, "/opt/hub-bots") + + +class M: + user_id = "@t:l" + + def send_chunked(self, *a, **k): + return {} + + def send(self, *a, **k): + return {} + + def set_typing(self, *a, **k): + return {} + + +from hub.bots import (BookBot, CamBot, DigestBot, HomeBot, InfraBot, # noqa: E402 + MediaBot, PhotoBot, SearchBot) + +CASES = [ + ("media", MediaBot, "статистика"), + ("media", MediaBot, "что нового"), + ("media", MediaBot, "сколько места"), + ("media", MediaBot, "очередь"), + ("infra", InfraBot, "статус"), + ("infra", InfraBot, "место"), + ("infra", InfraBot, "бэкапы"), + ("infra", InfraBot, "входящие"), + ("infra", InfraBot, "sources"), + ("infra", InfraBot, "users"), + ("infra", InfraBot, "gaps"), + ("search", SearchBot, "s дюна"), + ("search", SearchBot, "feed"), + ("photo", PhotoBot, "статистика"), + ("book", BookBot, "статистика"), + ("home", HomeBot, "статистика"), + ("cam", CamBot, "камеры"), +] + +results = [] +for name, cls, phrase in CASES: + bot = cls(M(), "", dm_rooms=set(), owner="@a:b") + start = time.time() + try: + reply = bot.dispatch(phrase, in_dm=True) + ok = bool(reply) + except Exception as e: + reply, ok = f"ошибка: {e}", False + took = time.time() - start + results.append((took, name, phrase, ok, len(reply) if reply else 0)) + +print(f"{'сек':>6} {'бот':<8}{'фраза':<18}{'ок':<4}символов") +for took, name, phrase, ok, size in sorted(results, reverse=True): + print(f"{took:6.2f} {name:<8}{phrase:<18}{'да' if ok else 'НЕТ':<4}{size}") + +slow = [r for r in results if r[0] > 3] +print(f"\nмедленнее 3 с: {len(slow)}") +for took, name, phrase, ok, size in slow: + print(f" {name} «{phrase}» — {took:.1f} с") diff --git a/ops/bots/hub/bots.py b/ops/bots/hub/bots.py index 36672a7..7106ebc 100644 --- a/ops/bots/hub/bots.py +++ b/ops/bots/hub/bots.py @@ -2,6 +2,11 @@ import datetime from . import catalog, core_api, index, local, sources, util + +# кэши: тяжёлые проверки не нужно повторять каждую секунду +_GAPS_CACHE = {"at": 0.0, "value": None} +_GAPS_FULL = {"at": 0.0, "value": None} +_GAPS_TTL = 60.0 from .matrix import Bot from .sources import CFG, RADARR, SONARR, Jellyfin, Prom, Seerr @@ -420,61 +425,96 @@ class InfraBot(Bot): return "\n".join(lines) def _system_gaps(self): - """Чего не хватает системе в целом (не контенту).""" - import os + """Чего не хватает системе в целом. Кэш 60 с, проверки параллельно.""" + import time as _time + if _GAPS_CACHE["value"] is not None and (_time.time() - _GAPS_CACHE["at"]) < _GAPS_TTL: + return list(_GAPS_CACHE["value"]) + import subprocess - gaps = [] + from concurrent.futures import ThreadPoolExecutor def read_env(path, key): try: - for line in open(path, encoding='utf-8'): - if line.startswith(key + '='): - return line.split('=', 1)[1].strip() + for line in open(path, encoding="utf-8"): + if line.startswith(key + "="): + return line.split("=", 1)[1].strip() except OSError: pass - return '' + return "" - if not read_env('/etc/hub-core/llm.env', 'LLM_API_KEY'): - gaps.append('LLM: нет ключа — боты не понимают свободные фразы') + def check_llm(): + if not read_env("/etc/hub-core/llm.env", "LLM_API_KEY"): + return "LLM: нет ключа — боты не понимают свободные фразы" + return None - if not read_env('/etc/hub-core/telegram.env', 'TG_API_ID'): - gaps.append('Telegram: нет api_id/api_hash — каналы не читаются') + def check_tg(): + if not read_env("/etc/hub-core/telegram.env", "TG_API_ID"): + return "Telegram: нет api_id/api_hash — каналы не читаются" + return None - try: - data, err = util.get('http://192.168.1.126:5000/api/stats') - cams = len((data or {}).get('cameras') or {}) if not err else -1 - if cams == 0: - gaps.append('камеры: Frigate работает, но камер нет — нужны RTSP-адреса') - elif cams < 0: - gaps.append('камеры: Frigate не отвечает') - except Exception: - pass + def check_cams(): + try: + data, err = util.get("http://192.168.1.126:5000/api/stats") + cams = len((data or {}).get("cameras") or {}) if not err else -1 + if cams == 0: + return "камеры: Frigate работает, но камер нет — нужны RTSP-адреса" + if cams < 0: + return "камеры: Frigate не отвечает" + except Exception: + pass + return None - try: - out = subprocess.run( - ['pct', 'exec', '106', '--', 'docker', 'exec', 'homeassistant', - 'sh', '-c', 'grep -c mqtt /config/.storage/core.config_entries || true'], - capture_output=True, text=True, timeout=30) - if (out.stdout or '0').strip() in ('0', ''): - gaps.append('Home Assistant: нет интеграции MQTT — Frigate виден только через REST') - except Exception: - pass + def check_mqtt(): + try: + out = subprocess.run( + ["pct", "exec", "106", "--", "docker", "exec", "homeassistant", + "sh", "-c", "grep -c mqtt /config/.storage/core.config_entries || true"], + capture_output=True, text=True, timeout=30) + if (out.stdout or "0").strip() in ("0", ""): + return "Home Assistant: нет интеграции MQTT — Frigate виден только через REST" + except Exception: + pass + return None - try: - out = subprocess.run(['pvesm', 'status'], capture_output=True, text=True, timeout=30) - for line in out.stdout.splitlines()[1:]: - parts = line.split() - if len(parts) >= 7 and parts[6].endswith('%'): - pct_used = float(parts[6].rstrip('%')) - if pct_used >= 80: - gaps.append(f'хранилище {parts[0]}: заполнено {pct_used:.0f}%') - except Exception: - pass + def check_storage(): + found = [] + try: + out = subprocess.run(["pvesm", "status"], capture_output=True, text=True, timeout=30) + for line in out.stdout.splitlines()[1:]: + parts = line.split() + if len(parts) >= 7 and parts[6].endswith("%"): + used = float(parts[6].rstrip("%")) + if used >= 80: + found.append(f"хранилище {parts[0]}: заполнено {used:.0f}%") + except Exception: + pass + return found or None + checks = [check_llm, check_tg, check_cams, check_mqtt, check_storage] + gaps = [] + with ThreadPoolExecutor(max_workers=len(checks)) as ex: + for res in ex.map(lambda f: f(), checks): + if not res: + continue + if isinstance(res, list): + gaps.extend(res) + else: + gaps.append(res) + _GAPS_CACHE["at"] = _time.time() + _GAPS_CACHE["value"] = list(gaps) return gaps def _gaps(self): """Честный список того, что мешает системе работать целиком.""" + import time as _t + if _GAPS_FULL["value"] is not None and (_t.time() - _GAPS_FULL["at"]) < _GAPS_TTL: + return _GAPS_FULL["value"] + result = self._gaps_build() + _GAPS_FULL["at"] = _t.time() + _GAPS_FULL["value"] = result + return result + + def _gaps_build(self): c = catalog.content_state() jf = c.get("jellyfin") or {} nav = c.get("navidrome") or {}