Скорость ботов: параллельные проверки и кэш, медленных команд нет

gaps: пять проверок (LLM, Telegram, камеры, MQTT, хранилища) теперь идут
параллельно, результат кэшируется на 60 секунд — библиотеки и Proxmox не
меняются ежесекундно.

Замер 17 команд: было 3.7 с у gaps и одна команда медленнее 3 с, стало
2.5 с на первом вызове и 0.00 с на повторных, медленных нет.

Ловушка: кэш объявлен на уровне модуля; первая вставка «перед классом Bot»
не сработала — бот ответил «Ошибка при gaps». После правок кода ботов нужно
проверять живым вызовом, а не только синтаксисом.
This commit is contained in:
buryan-agent committed 2026-10-19 21:28:17 +03:00
1 parent 584a4a257e
commit 681d2a8785
3 files changed
+186 -39

No files matched your search

+45
View File
@@ -0,0 +1,45 @@
# Скорость ответов ботов
Замер: `bench.py` в `/opt/hub-bots`, 17 команд.
## До оптимизации
| Команда | Время |
|---|---|
| `gaps` | **3.7 с** |
| `статистика` (медиа/дом/фото/книги) | 0.5 с |
| `бэкапы` | 0.45 с |
| остальные | < 0.05 с |
Медленнее 3 секунд: 1 команда.
## Что сделано
1. **Проверки в `gaps` идут параллельно.** Раньше пять проверок (ключ LLM,
Telegram, камеры, MQTT, хранилища) выполнялись по очереди — каждая с
вызовом `pct exec` или сетью. Теперь через `ThreadPoolExecutor`.
2. **Кэш на 60 секунд.** `gaps` опрашивает четыре библиотеки и Proxmox —
эти данные не меняются ежесекундно. Первый вызов считает, следующие
отдают готовое.
## После
| Команда | Время |
|---|---|
| `gaps` (первый раз) | 2.5 с |
| `gaps` (повторно) | **0.00 с** |
| `статистика` | 0.5 с |
| `бэкапы` | 0.45 с |
| остальные | < 0.05 с |
Медленнее 3 секунд: **0 команд**.
## Ловушка
Кэш объявлен на уровне модуля. Первая попытка вставить переменные «перед
классом Bot» не сработала — код обратился к несуществующему имени и бот
ответил «Ошибка при gaps». Пришлось ставить объявления сразу после
импортов и проверять реальным вызовом, а не только синтаксисом.
Вывод: после правки кода ботов запускать не только `ast.parse`, но и
живой вызов команды.
+62
View File
@@ -0,0 +1,62 @@
import sys
import time
sys.path.insert(0, "/opt/hub-bots")
class M:
user_id = "@t:l"
def send_chunked(self, *a, **k):
return {}
def send(self, *a, **k):
return {}
def set_typing(self, *a, **k):
return {}
from hub.bots import (BookBot, CamBot, DigestBot, HomeBot, InfraBot, # noqa: E402
MediaBot, PhotoBot, SearchBot)
CASES = [
("media", MediaBot, "статистика"),
("media", MediaBot, "что нового"),
("media", MediaBot, "сколько места"),
("media", MediaBot, "очередь"),
("infra", InfraBot, "статус"),
("infra", InfraBot, "место"),
("infra", InfraBot, "бэкапы"),
("infra", InfraBot, "входящие"),
("infra", InfraBot, "sources"),
("infra", InfraBot, "users"),
("infra", InfraBot, "gaps"),
("search", SearchBot, "s дюна"),
("search", SearchBot, "feed"),
("photo", PhotoBot, "статистика"),
("book", BookBot, "статистика"),
("home", HomeBot, "статистика"),
("cam", CamBot, "камеры"),
]
results = []
for name, cls, phrase in CASES:
bot = cls(M(), "", dm_rooms=set(), owner="@a:b")
start = time.time()
try:
reply = bot.dispatch(phrase, in_dm=True)
ok = bool(reply)
except Exception as e:
reply, ok = f"ошибка: {e}", False
took = time.time() - start
results.append((took, name, phrase, ok, len(reply) if reply else 0))
print(f"{'сек':>6} {'бот':<8}{'фраза':<18}{'ок':<4}символов")
for took, name, phrase, ok, size in sorted(results, reverse=True):
print(f"{took:6.2f} {name:<8}{phrase:<18}{'да' if ok else 'НЕТ':<4}{size}")
slow = [r for r in results if r[0] > 3]
print(f"\nмедленнее 3 с: {len(slow)}")
for took, name, phrase, ok, size in slow:
print(f" {name} «{phrase}» — {took:.1f} с")
+79 -39
View File
@@ -2,6 +2,11 @@
import datetime
from . import catalog, core_api, index, local, sources, util
# кэши: тяжёлые проверки не нужно повторять каждую секунду
_GAPS_CACHE = {"at": 0.0, "value": None}
_GAPS_FULL = {"at": 0.0, "value": None}
_GAPS_TTL = 60.0
from .matrix import Bot
from .sources import CFG, RADARR, SONARR, Jellyfin, Prom, Seerr
@@ -420,61 +425,96 @@ class InfraBot(Bot):
return "\n".join(lines)
def _system_gaps(self):
"""Чего не хватает системе в целом (не контенту)."""
import os
"""Чего не хватает системе в целом. Кэш 60 с, проверки параллельно."""
import time as _time
if _GAPS_CACHE["value"] is not None and (_time.time() - _GAPS_CACHE["at"]) < _GAPS_TTL:
return list(_GAPS_CACHE["value"])
import subprocess
gaps = []
from concurrent.futures import ThreadPoolExecutor
def read_env(path, key):
try:
for line in open(path, encoding='utf-8'):
if line.startswith(key + '='):
return line.split('=', 1)[1].strip()
for line in open(path, encoding="utf-8"):
if line.startswith(key + "="):
return line.split("=", 1)[1].strip()
except OSError:
pass
return ''
return ""
if not read_env('/etc/hub-core/llm.env', 'LLM_API_KEY'):
gaps.append('LLM: нет ключа — боты не понимают свободные фразы')
def check_llm():
if not read_env("/etc/hub-core/llm.env", "LLM_API_KEY"):
return "LLM: нет ключа — боты не понимают свободные фразы"
return None
if not read_env('/etc/hub-core/telegram.env', 'TG_API_ID'):
gaps.append('Telegram: нет api_id/api_hash — каналы не читаются')
def check_tg():
if not read_env("/etc/hub-core/telegram.env", "TG_API_ID"):
return "Telegram: нет api_id/api_hash — каналы не читаются"
return None
try:
data, err = util.get('http://192.168.1.126:5000/api/stats')
cams = len((data or {}).get('cameras') or {}) if not err else -1
if cams == 0:
gaps.append('камеры: Frigate работает, но камер нет — нужны RTSP-адреса')
elif cams < 0:
gaps.append('камеры: Frigate не отвечает')
except Exception:
pass
def check_cams():
try:
data, err = util.get("http://192.168.1.126:5000/api/stats")
cams = len((data or {}).get("cameras") or {}) if not err else -1
if cams == 0:
return "камеры: Frigate работает, но камер нет — нужны RTSP-адреса"
if cams < 0:
return "камеры: Frigate не отвечает"
except Exception:
pass
return None
try:
out = subprocess.run(
['pct', 'exec', '106', '--', 'docker', 'exec', 'homeassistant',
'sh', '-c', 'grep -c mqtt /config/.storage/core.config_entries || true'],
capture_output=True, text=True, timeout=30)
if (out.stdout or '0').strip() in ('0', ''):
gaps.append('Home Assistant: нет интеграции MQTT — Frigate виден только через REST')
except Exception:
pass
def check_mqtt():
try:
out = subprocess.run(
["pct", "exec", "106", "--", "docker", "exec", "homeassistant",
"sh", "-c", "grep -c mqtt /config/.storage/core.config_entries || true"],
capture_output=True, text=True, timeout=30)
if (out.stdout or "0").strip() in ("0", ""):
return "Home Assistant: нет интеграции MQTT — Frigate виден только через REST"
except Exception:
pass
return None
try:
out = subprocess.run(['pvesm', 'status'], capture_output=True, text=True, timeout=30)
for line in out.stdout.splitlines()[1:]:
parts = line.split()
if len(parts) >= 7 and parts[6].endswith('%'):
pct_used = float(parts[6].rstrip('%'))
if pct_used >= 80:
gaps.append(f'хранилище {parts[0]}: заполнено {pct_used:.0f}%')
except Exception:
pass
def check_storage():
found = []
try:
out = subprocess.run(["pvesm", "status"], capture_output=True, text=True, timeout=30)
for line in out.stdout.splitlines()[1:]:
parts = line.split()
if len(parts) >= 7 and parts[6].endswith("%"):
used = float(parts[6].rstrip("%"))
if used >= 80:
found.append(f"хранилище {parts[0]}: заполнено {used:.0f}%")
except Exception:
pass
return found or None
checks = [check_llm, check_tg, check_cams, check_mqtt, check_storage]
gaps = []
with ThreadPoolExecutor(max_workers=len(checks)) as ex:
for res in ex.map(lambda f: f(), checks):
if not res:
continue
if isinstance(res, list):
gaps.extend(res)
else:
gaps.append(res)
_GAPS_CACHE["at"] = _time.time()
_GAPS_CACHE["value"] = list(gaps)
return gaps
def _gaps(self):
"""Честный список того, что мешает системе работать целиком."""
import time as _t
if _GAPS_FULL["value"] is not None and (_t.time() - _GAPS_FULL["at"]) < _GAPS_TTL:
return _GAPS_FULL["value"]
result = self._gaps_build()
_GAPS_FULL["at"] = _t.time()
_GAPS_FULL["value"] = result
return result
def _gaps_build(self):
c = catalog.content_state()
jf = c.get("jellyfin") or {}
nav = c.get("navidrome") or {}