Коннекторы: 10 источников, включая Kuma, Calibre, Navidrome, Immich, Paperless

Добавлены источники из баз сервисов: Paperless (API), Calibre (metadata.db
через python3), Navidrome (sqlite), Immich (immich_db), Uptime Kuma (kuma.db).

Первый прогон дал 57 событий от Kuma, второй — 0: идемпотентность работает.
В ядре 60 карточек и 60 событий.

По пути: база Kuma лежит не в docker volume, а в /opt/network-lxc/uptime/data;
функции источников должны возвращать (список, ошибка) — две штуки отдавали
просто список, из-за чего падали с unpacking error.
This commit is contained in:
buryan-agent committed 2026-10-19 18:41:47 +03:00
1 parent 885def24d9
commit 67bc0a00a7
3 files changed
+240 -18

No files matched your search

+22 -18
View File
@@ -1,34 +1,38 @@
# Подключение сервисов к шине событий
## Почему опрос, а не вебхуки
Опрос раз в 10 минут (cron), состояние в `/var/lib/hub-core/state.json`,
поэтому каждое изменение даёт ровно одно событие и повторный запуск
ничего не дублирует.
Вебхуки надо настраивать в каждом сервисе отдельно, они ломаются при
обновлениях и не дают «догнать» пропущенное. Опрос раз в 10 минут:
работает сразу, ничего не меняет в сервисах, а состояние хранится в
`/var/lib/hub-core/state.json` — поэтому каждое изменение превращается
ровно в одно событие.
## Источники (10)
## Что уже подключено
| Сервис | Что забираем | Тип события |
| Сервис | Что забираем | Событие |
|---|---|---|
| Sonarr | история: grabbed, imported | `media.grabbed`, `media.imported` |
| Radarr | история: grabbed, imported | `media.grabbed`, `media.imported` |
| Radarr | история | то же |
| Seerr | заявки | `media.requested` |
| Jellyfin | недавно добавленное | `media.added` |
| Alertmanager | активные тревоги | `service.alert` |
| Paperless | документы | `document.added` |
| Calibre | книги (metadata.db) | `book.added` |
| Navidrome | альбомы (sqlite) | `music.added` |
| Immich | альбомы (Postgres) | `photo.album` |
| Uptime Kuma | активные мониторы (kuma.db) | `monitor.active` |
## Запуск
## Особенности
* Uptime Kuma: база в контейнере — `/opt/network-lxc/uptime/data/kuma.db`
(не в docker volume, как можно ожидать).
* Calibre: читаем `metadata.db` через python3 внутри CT 111.
* Immich: запрос к `immich_db` на общем PostgreSQL.
* Frigate и Home Assistant пока не подключены (нет Frigate, HA требует API).
## Проверка
```
set -a; . /etc/hub-core/connectors.env; set +a
python3 /opt/hub-core/connectors.py
```
Расписание: `/etc/cron.d/hub-connectors` (каждые 10 минут),
лог `/var/log/hub-connectors.log`.
## Что осталось подключить
Uptime Kuma (нужен ключ API), Immich, Paperless, Calibre, Navidrome,
Frigate (когда появится), Home Assistant.
Первый прогон дал 57 событий (мониторы Kuma), второй — 0: идемпотентно.
В ядре 60 карточек и 60 событий.
+92
View File
@@ -25,6 +25,8 @@ JELLYFIN_KEY = os.environ.get("JELLYFIN_KEY", "")
KUMA = os.environ.get("KUMA_URL", "http://192.168.1.107:3001")
KUMA_KEY = os.environ.get("KUMA_KEY", "")
ALERTMANAGER = os.environ.get("ALERTMANAGER_URL", "http://192.168.1.134:9093")
PAPERLESS = os.environ.get("PAPERLESS_URL", "http://192.168.1.105:8000")
PAPERLESS_TOKEN = os.environ.get("PAPERLESS_TOKEN", "")
STATE_FILE = os.environ.get("STATE_FILE", "/var/lib/hub-core/state.json")
@@ -138,12 +140,102 @@ def alertmanager_alerts():
return out, None
# ─────────────────────── источники из баз ───────────────────────
import subprocess
def pct(ct, args, timeout=40):
cmd = ["pct", "exec", str(ct), "--"] + args
try:
out = subprocess.run(cmd, capture_output=True, text=True, timeout=timeout)
if out.returncode != 0:
return None, (out.stderr or out.stdout).strip()[:120]
return out.stdout.strip(), None
except Exception as e:
return None, str(e)[:120]
def paperless_docs():
data, err = http(f"{PAPERLESS}/api/documents/?page_size=20&ordering=-created",
{"Authorization": f"Token {PAPERLESS_TOKEN}"})
if err:
return [], err
out = []
for d in (data or {}).get("results", []):
out.append({"id": d.get("id"), "title": d.get("title") or "документ",
"when": d.get("created"), "type": "document.added"})
return out, None
def calibre_books():
script = ("import json,sqlite3;c=sqlite3.connect('/opt/books/library/metadata.db');"
"rows=c.execute('select id,title from books order by id desc limit 15').fetchall();"
"print(json.dumps(rows, ensure_ascii=False))")
out, err = pct(111, ["python3", "-c", script])
if err:
return [], err
try:
rows = json.loads(out or "[]")
except json.JSONDecodeError:
return [], "не разобрал ответ"
return [{"id": r[0], "title": r[1] or "книга", "type": "book.added"} for r in rows], None
def navidrome_albums():
out, err = pct(125, ["docker", "exec", "navidrome", "sqlite3", "-separator", "|",
"/data/navidrome.db",
"select id, name from album order by created_at desc limit 15"])
if err:
return [], err
rows = []
for line in (out or "").splitlines():
parts = line.split("|")
if len(parts) >= 2:
rows.append({"id": parts[0], "title": parts[1], "type": "music.added"})
return rows, None
def immich_albums():
sql = ('select id, "albumName" from album order by "createdAt" desc limit 15')
out, err = pct(151, ["su", "-", "postgres", "-c",
f"psql -d immich_db -tA -F'|' -c '{sql}'"])
if err:
return [], err
rows = []
for line in (out or "").splitlines():
parts = line.split("|")
if len(parts) >= 2:
rows.append({"id": parts[0], "title": parts[1], "type": "photo.album"})
return rows, None
def kuma_monitors():
script = ("import json,sqlite3;"
"c=sqlite3.connect('/opt/network-lxc/uptime/data/kuma.db');"
"rows=c.execute('select id,name,active from monitor where active=1 limit 60').fetchall();"
"print(json.dumps(rows, ensure_ascii=False))")
out, err = pct(107, ["python3", "-c", script])
if err:
return [], err
try:
rows = json.loads(out or "[]")
except json.JSONDecodeError:
return [], "не разобрал ответ"
return [{"id": r[0], "title": r[1] or f"монитор {r[0]}", "type": "monitor.active"} for r in rows], None
SOURCES = [
("sonarr", lambda: arr_history(SONARR, SONARR_KEY, "sonarr"), "сериал"),
("radarr", lambda: arr_history(RADARR, RADARR_KEY, "radarr"), "фильм"),
("seerr", seerr_requests, "заявка"),
("jellyfin", jellyfin_recent, "фильм"),
("alertmanager", alertmanager_alerts, "тревога"),
("paperless", paperless_docs, "документ"),
("calibre", calibre_books, "книга"),
("navidrome", navidrome_albums, "музыка"),
("immich", immich_albums, "фотоальбом"),
("kuma", kuma_monitors, "монитор"),
]
+126
View File
@@ -0,0 +1,126 @@
#!/usr/bin/env python3
"""Дополняем коннекторы источниками из баз сервисов."""
import re
p = "/opt/hub-core/connectors.py"
src = open(p, encoding="utf-8").read()
if "def local_sources" in src:
print("уже дополнено")
raise SystemExit(0)
new_funcs = '''
# ─────────────────────── источники из баз ───────────────────────
import subprocess
def pct(ct, args, timeout=40):
cmd = ["pct", "exec", str(ct), "--"] + args
try:
out = subprocess.run(cmd, capture_output=True, text=True, timeout=timeout)
if out.returncode != 0:
return None, (out.stderr or out.stdout).strip()[:120]
return out.stdout.strip(), None
except Exception as e:
return None, str(e)[:120]
def paperless_docs():
data, err = http(f"{PAPERLESS}/api/documents/?page_size=20&ordering=-created",
{"Authorization": f"Token {PAPERLESS_TOKEN}"})
if err:
return [], err
out = []
for d in (data or {}).get("results", []):
out.append({"id": d.get("id"), "title": d.get("title") or "документ",
"when": d.get("created"), "type": "document.added"})
return out, None
def calibre_books():
script = ("import json,sqlite3;c=sqlite3.connect('/opt/books/library/metadata.db');"
"rows=c.execute('select id,title from books order by id desc limit 15').fetchall();"
"print(json.dumps(rows, ensure_ascii=False))")
out, err = pct(111, ["python3", "-c", script])
if err:
return [], err
try:
rows = json.loads(out or "[]")
except json.JSONDecodeError:
return [], "не разобрал ответ"
return [{"id": r[0], "title": r[1] or "книга", "type": "book.added"} for r in rows]
def navidrome_albums():
out, err = pct(125, ["docker", "exec", "navidrome", "sqlite3", "-separator", "|",
"/data/navidrome.db",
"select id, name from album order by created_at desc limit 15"])
if err:
return [], err
rows = []
for line in (out or "").splitlines():
parts = line.split("|")
if len(parts) >= 2:
rows.append({"id": parts[0], "title": parts[1], "type": "music.added"})
return rows, None
def immich_albums():
sql = ('select id, "albumName" from album order by "createdAt" desc limit 15')
out, err = pct(151, ["su", "-", "postgres", "-c",
f"psql -d immich_db -tA -F'|' -c '{sql}'"])
if err:
return [], err
rows = []
for line in (out or "").splitlines():
parts = line.split("|")
if len(parts) >= 2:
rows.append({"id": parts[0], "title": parts[1], "type": "photo.album"})
return rows, None
def kuma_monitors():
script = ("import json,sqlite3;"
"c=sqlite3.connect('/var/lib/docker/volumes/uptime-kuma-data/_data/kuma.db');"
"rows=c.execute('select id,name,active from monitor where active=1 limit 60').fetchall();"
"print(json.dumps(rows, ensure_ascii=False))")
out, err = pct(107, ["python3", "-c", script])
if err:
return [], err
try:
rows = json.loads(out or "[]")
except json.JSONDecodeError:
return [], "не разобрал ответ"
return [{"id": r[0], "title": r[1] or f"монитор {r[0]}", "type": "monitor.active"} for r in rows]
'''
src = src.replace("\nSOURCES = [", new_funcs + "\nSOURCES = [")
# новые переменные окружения
src = src.replace(
'ALERTMANAGER = os.environ.get("ALERTMANAGER_URL", "http://192.168.1.134:9093")',
'ALERTMANAGER = os.environ.get("ALERTMANAGER_URL", "http://192.168.1.134:9093")\n'
'PAPERLESS = os.environ.get("PAPERLESS_URL", "http://192.168.1.105:8000")\n'
'PAPERLESS_TOKEN = os.environ.get("PAPERLESS_TOKEN", "")')
# расширяем список источников
src = re.sub(
r"SOURCES = \[.*?\]",
'''SOURCES = [
("sonarr", lambda: arr_history(SONARR, SONARR_KEY, "sonarr"), "сериал"),
("radarr", lambda: arr_history(RADARR, RADARR_KEY, "radarr"), "фильм"),
("seerr", seerr_requests, "заявка"),
("jellyfin", jellyfin_recent, "фильм"),
("alertmanager", alertmanager_alerts, "тревога"),
("paperless", paperless_docs, "документ"),
("calibre", calibre_books, "книга"),
("navidrome", navidrome_albums, "музыка"),
("immich", immich_albums, "фотоальбом"),
("kuma", kuma_monitors, "монитор"),
]''',
src, flags=re.S)
open(p, "w", encoding="utf-8").write(src)
print("коннекторы дополнены: 10 источников")