Скорость ботов: параллельные проверки и кэш, медленных команд нет
gaps: пять проверок (LLM, Telegram, камеры, MQTT, хранилища) теперь идут параллельно, результат кэшируется на 60 секунд — библиотеки и Proxmox не меняются ежесекундно. Замер 17 команд: было 3.7 с у gaps и одна команда медленнее 3 с, стало 2.5 с на первом вызове и 0.00 с на повторных, медленных нет. Ловушка: кэш объявлен на уровне модуля; первая вставка «перед классом Bot» не сработала — бот ответил «Ошибка при gaps». После правок кода ботов нужно проверять живым вызовом, а не только синтаксисом.
This commit is contained in:
1 parent
584a4a257e
commit
681d2a8785
3 files changed
+186
-39
No files matched your search
@@ -0,0 +1,45 @@
|
||||
# Скорость ответов ботов
|
||||
|
||||
Замер: `bench.py` в `/opt/hub-bots`, 17 команд.
|
||||
|
||||
## До оптимизации
|
||||
|
||||
| Команда | Время |
|
||||
|---|---|
|
||||
| `gaps` | **3.7 с** |
|
||||
| `статистика` (медиа/дом/фото/книги) | 0.5 с |
|
||||
| `бэкапы` | 0.45 с |
|
||||
| остальные | < 0.05 с |
|
||||
|
||||
Медленнее 3 секунд: 1 команда.
|
||||
|
||||
## Что сделано
|
||||
|
||||
1. **Проверки в `gaps` идут параллельно.** Раньше пять проверок (ключ LLM,
|
||||
Telegram, камеры, MQTT, хранилища) выполнялись по очереди — каждая с
|
||||
вызовом `pct exec` или сетью. Теперь через `ThreadPoolExecutor`.
|
||||
2. **Кэш на 60 секунд.** `gaps` опрашивает четыре библиотеки и Proxmox —
|
||||
эти данные не меняются ежесекундно. Первый вызов считает, следующие
|
||||
отдают готовое.
|
||||
|
||||
## После
|
||||
|
||||
| Команда | Время |
|
||||
|---|---|
|
||||
| `gaps` (первый раз) | 2.5 с |
|
||||
| `gaps` (повторно) | **0.00 с** |
|
||||
| `статистика` | 0.5 с |
|
||||
| `бэкапы` | 0.45 с |
|
||||
| остальные | < 0.05 с |
|
||||
|
||||
Медленнее 3 секунд: **0 команд**.
|
||||
|
||||
## Ловушка
|
||||
|
||||
Кэш объявлен на уровне модуля. Первая попытка вставить переменные «перед
|
||||
классом Bot» не сработала — код обратился к несуществующему имени и бот
|
||||
ответил «Ошибка при gaps». Пришлось ставить объявления сразу после
|
||||
импортов и проверять реальным вызовом, а не только синтаксисом.
|
||||
|
||||
Вывод: после правки кода ботов запускать не только `ast.parse`, но и
|
||||
живой вызов команды.
|
||||
@@ -0,0 +1,62 @@
|
||||
import sys
|
||||
import time
|
||||
|
||||
sys.path.insert(0, "/opt/hub-bots")
|
||||
|
||||
|
||||
class M:
|
||||
user_id = "@t:l"
|
||||
|
||||
def send_chunked(self, *a, **k):
|
||||
return {}
|
||||
|
||||
def send(self, *a, **k):
|
||||
return {}
|
||||
|
||||
def set_typing(self, *a, **k):
|
||||
return {}
|
||||
|
||||
|
||||
from hub.bots import (BookBot, CamBot, DigestBot, HomeBot, InfraBot, # noqa: E402
|
||||
MediaBot, PhotoBot, SearchBot)
|
||||
|
||||
CASES = [
|
||||
("media", MediaBot, "статистика"),
|
||||
("media", MediaBot, "что нового"),
|
||||
("media", MediaBot, "сколько места"),
|
||||
("media", MediaBot, "очередь"),
|
||||
("infra", InfraBot, "статус"),
|
||||
("infra", InfraBot, "место"),
|
||||
("infra", InfraBot, "бэкапы"),
|
||||
("infra", InfraBot, "входящие"),
|
||||
("infra", InfraBot, "sources"),
|
||||
("infra", InfraBot, "users"),
|
||||
("infra", InfraBot, "gaps"),
|
||||
("search", SearchBot, "s дюна"),
|
||||
("search", SearchBot, "feed"),
|
||||
("photo", PhotoBot, "статистика"),
|
||||
("book", BookBot, "статистика"),
|
||||
("home", HomeBot, "статистика"),
|
||||
("cam", CamBot, "камеры"),
|
||||
]
|
||||
|
||||
results = []
|
||||
for name, cls, phrase in CASES:
|
||||
bot = cls(M(), "", dm_rooms=set(), owner="@a:b")
|
||||
start = time.time()
|
||||
try:
|
||||
reply = bot.dispatch(phrase, in_dm=True)
|
||||
ok = bool(reply)
|
||||
except Exception as e:
|
||||
reply, ok = f"ошибка: {e}", False
|
||||
took = time.time() - start
|
||||
results.append((took, name, phrase, ok, len(reply) if reply else 0))
|
||||
|
||||
print(f"{'сек':>6} {'бот':<8}{'фраза':<18}{'ок':<4}символов")
|
||||
for took, name, phrase, ok, size in sorted(results, reverse=True):
|
||||
print(f"{took:6.2f} {name:<8}{phrase:<18}{'да' if ok else 'НЕТ':<4}{size}")
|
||||
|
||||
slow = [r for r in results if r[0] > 3]
|
||||
print(f"\nмедленнее 3 с: {len(slow)}")
|
||||
for took, name, phrase, ok, size in slow:
|
||||
print(f" {name} «{phrase}» — {took:.1f} с")
|
||||
+79
-39
@@ -2,6 +2,11 @@
|
||||
import datetime
|
||||
|
||||
from . import catalog, core_api, index, local, sources, util
|
||||
|
||||
# кэши: тяжёлые проверки не нужно повторять каждую секунду
|
||||
_GAPS_CACHE = {"at": 0.0, "value": None}
|
||||
_GAPS_FULL = {"at": 0.0, "value": None}
|
||||
_GAPS_TTL = 60.0
|
||||
from .matrix import Bot
|
||||
from .sources import CFG, RADARR, SONARR, Jellyfin, Prom, Seerr
|
||||
|
||||
@@ -420,61 +425,96 @@ class InfraBot(Bot):
|
||||
return "\n".join(lines)
|
||||
|
||||
def _system_gaps(self):
|
||||
"""Чего не хватает системе в целом (не контенту)."""
|
||||
import os
|
||||
"""Чего не хватает системе в целом. Кэш 60 с, проверки параллельно."""
|
||||
import time as _time
|
||||
if _GAPS_CACHE["value"] is not None and (_time.time() - _GAPS_CACHE["at"]) < _GAPS_TTL:
|
||||
return list(_GAPS_CACHE["value"])
|
||||
|
||||
import subprocess
|
||||
gaps = []
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
|
||||
def read_env(path, key):
|
||||
try:
|
||||
for line in open(path, encoding='utf-8'):
|
||||
if line.startswith(key + '='):
|
||||
return line.split('=', 1)[1].strip()
|
||||
for line in open(path, encoding="utf-8"):
|
||||
if line.startswith(key + "="):
|
||||
return line.split("=", 1)[1].strip()
|
||||
except OSError:
|
||||
pass
|
||||
return ''
|
||||
return ""
|
||||
|
||||
if not read_env('/etc/hub-core/llm.env', 'LLM_API_KEY'):
|
||||
gaps.append('LLM: нет ключа — боты не понимают свободные фразы')
|
||||
def check_llm():
|
||||
if not read_env("/etc/hub-core/llm.env", "LLM_API_KEY"):
|
||||
return "LLM: нет ключа — боты не понимают свободные фразы"
|
||||
return None
|
||||
|
||||
if not read_env('/etc/hub-core/telegram.env', 'TG_API_ID'):
|
||||
gaps.append('Telegram: нет api_id/api_hash — каналы не читаются')
|
||||
def check_tg():
|
||||
if not read_env("/etc/hub-core/telegram.env", "TG_API_ID"):
|
||||
return "Telegram: нет api_id/api_hash — каналы не читаются"
|
||||
return None
|
||||
|
||||
try:
|
||||
data, err = util.get('http://192.168.1.126:5000/api/stats')
|
||||
cams = len((data or {}).get('cameras') or {}) if not err else -1
|
||||
if cams == 0:
|
||||
gaps.append('камеры: Frigate работает, но камер нет — нужны RTSP-адреса')
|
||||
elif cams < 0:
|
||||
gaps.append('камеры: Frigate не отвечает')
|
||||
except Exception:
|
||||
pass
|
||||
def check_cams():
|
||||
try:
|
||||
data, err = util.get("http://192.168.1.126:5000/api/stats")
|
||||
cams = len((data or {}).get("cameras") or {}) if not err else -1
|
||||
if cams == 0:
|
||||
return "камеры: Frigate работает, но камер нет — нужны RTSP-адреса"
|
||||
if cams < 0:
|
||||
return "камеры: Frigate не отвечает"
|
||||
except Exception:
|
||||
pass
|
||||
return None
|
||||
|
||||
try:
|
||||
out = subprocess.run(
|
||||
['pct', 'exec', '106', '--', 'docker', 'exec', 'homeassistant',
|
||||
'sh', '-c', 'grep -c mqtt /config/.storage/core.config_entries || true'],
|
||||
capture_output=True, text=True, timeout=30)
|
||||
if (out.stdout or '0').strip() in ('0', ''):
|
||||
gaps.append('Home Assistant: нет интеграции MQTT — Frigate виден только через REST')
|
||||
except Exception:
|
||||
pass
|
||||
def check_mqtt():
|
||||
try:
|
||||
out = subprocess.run(
|
||||
["pct", "exec", "106", "--", "docker", "exec", "homeassistant",
|
||||
"sh", "-c", "grep -c mqtt /config/.storage/core.config_entries || true"],
|
||||
capture_output=True, text=True, timeout=30)
|
||||
if (out.stdout or "0").strip() in ("0", ""):
|
||||
return "Home Assistant: нет интеграции MQTT — Frigate виден только через REST"
|
||||
except Exception:
|
||||
pass
|
||||
return None
|
||||
|
||||
try:
|
||||
out = subprocess.run(['pvesm', 'status'], capture_output=True, text=True, timeout=30)
|
||||
for line in out.stdout.splitlines()[1:]:
|
||||
parts = line.split()
|
||||
if len(parts) >= 7 and parts[6].endswith('%'):
|
||||
pct_used = float(parts[6].rstrip('%'))
|
||||
if pct_used >= 80:
|
||||
gaps.append(f'хранилище {parts[0]}: заполнено {pct_used:.0f}%')
|
||||
except Exception:
|
||||
pass
|
||||
def check_storage():
|
||||
found = []
|
||||
try:
|
||||
out = subprocess.run(["pvesm", "status"], capture_output=True, text=True, timeout=30)
|
||||
for line in out.stdout.splitlines()[1:]:
|
||||
parts = line.split()
|
||||
if len(parts) >= 7 and parts[6].endswith("%"):
|
||||
used = float(parts[6].rstrip("%"))
|
||||
if used >= 80:
|
||||
found.append(f"хранилище {parts[0]}: заполнено {used:.0f}%")
|
||||
except Exception:
|
||||
pass
|
||||
return found or None
|
||||
|
||||
checks = [check_llm, check_tg, check_cams, check_mqtt, check_storage]
|
||||
gaps = []
|
||||
with ThreadPoolExecutor(max_workers=len(checks)) as ex:
|
||||
for res in ex.map(lambda f: f(), checks):
|
||||
if not res:
|
||||
continue
|
||||
if isinstance(res, list):
|
||||
gaps.extend(res)
|
||||
else:
|
||||
gaps.append(res)
|
||||
_GAPS_CACHE["at"] = _time.time()
|
||||
_GAPS_CACHE["value"] = list(gaps)
|
||||
return gaps
|
||||
|
||||
def _gaps(self):
|
||||
"""Честный список того, что мешает системе работать целиком."""
|
||||
import time as _t
|
||||
if _GAPS_FULL["value"] is not None and (_t.time() - _GAPS_FULL["at"]) < _GAPS_TTL:
|
||||
return _GAPS_FULL["value"]
|
||||
result = self._gaps_build()
|
||||
_GAPS_FULL["at"] = _t.time()
|
||||
_GAPS_FULL["value"] = result
|
||||
return result
|
||||
|
||||
def _gaps_build(self):
|
||||
c = catalog.content_state()
|
||||
jf = c.get("jellyfin") or {}
|
||||
nav = c.get("navidrome") or {}
|
||||
|
||||
Reference in new issue
Block a user