Коннекторы: 10 источников, включая Kuma, Calibre, Navidrome, Immich, Paperless
Добавлены источники из баз сервисов: Paperless (API), Calibre (metadata.db через python3), Navidrome (sqlite), Immich (immich_db), Uptime Kuma (kuma.db). Первый прогон дал 57 событий от Kuma, второй — 0: идемпотентность работает. В ядре 60 карточек и 60 событий. По пути: база Kuma лежит не в docker volume, а в /opt/network-lxc/uptime/data; функции источников должны возвращать (список, ошибка) — две штуки отдавали просто список, из-за чего падали с unpacking error.
This commit is contained in:
1 parent
885def24d9
commit
67bc0a00a7
3 files changed
+240
-18
No files matched your search
+22
-18
@@ -1,34 +1,38 @@
|
||||
# Подключение сервисов к шине событий
|
||||
|
||||
## Почему опрос, а не вебхуки
|
||||
Опрос раз в 10 минут (cron), состояние в `/var/lib/hub-core/state.json`,
|
||||
поэтому каждое изменение даёт ровно одно событие и повторный запуск
|
||||
ничего не дублирует.
|
||||
|
||||
Вебхуки надо настраивать в каждом сервисе отдельно, они ломаются при
|
||||
обновлениях и не дают «догнать» пропущенное. Опрос раз в 10 минут:
|
||||
работает сразу, ничего не меняет в сервисах, а состояние хранится в
|
||||
`/var/lib/hub-core/state.json` — поэтому каждое изменение превращается
|
||||
ровно в одно событие.
|
||||
## Источники (10)
|
||||
|
||||
## Что уже подключено
|
||||
|
||||
| Сервис | Что забираем | Тип события |
|
||||
| Сервис | Что забираем | Событие |
|
||||
|---|---|---|
|
||||
| Sonarr | история: grabbed, imported | `media.grabbed`, `media.imported` |
|
||||
| Radarr | история: grabbed, imported | `media.grabbed`, `media.imported` |
|
||||
| Radarr | история | то же |
|
||||
| Seerr | заявки | `media.requested` |
|
||||
| Jellyfin | недавно добавленное | `media.added` |
|
||||
| Alertmanager | активные тревоги | `service.alert` |
|
||||
| Paperless | документы | `document.added` |
|
||||
| Calibre | книги (metadata.db) | `book.added` |
|
||||
| Navidrome | альбомы (sqlite) | `music.added` |
|
||||
| Immich | альбомы (Postgres) | `photo.album` |
|
||||
| Uptime Kuma | активные мониторы (kuma.db) | `monitor.active` |
|
||||
|
||||
## Запуск
|
||||
## Особенности
|
||||
|
||||
* Uptime Kuma: база в контейнере — `/opt/network-lxc/uptime/data/kuma.db`
|
||||
(не в docker volume, как можно ожидать).
|
||||
* Calibre: читаем `metadata.db` через python3 внутри CT 111.
|
||||
* Immich: запрос к `immich_db` на общем PostgreSQL.
|
||||
* Frigate и Home Assistant пока не подключены (нет Frigate, HA требует API).
|
||||
|
||||
## Проверка
|
||||
|
||||
```
|
||||
set -a; . /etc/hub-core/connectors.env; set +a
|
||||
python3 /opt/hub-core/connectors.py
|
||||
```
|
||||
|
||||
Расписание: `/etc/cron.d/hub-connectors` (каждые 10 минут),
|
||||
лог `/var/log/hub-connectors.log`.
|
||||
|
||||
## Что осталось подключить
|
||||
|
||||
Uptime Kuma (нужен ключ API), Immich, Paperless, Calibre, Navidrome,
|
||||
Frigate (когда появится), Home Assistant.
|
||||
Первый прогон дал 57 событий (мониторы Kuma), второй — 0: идемпотентно.
|
||||
В ядре 60 карточек и 60 событий.
|
||||
@@ -25,6 +25,8 @@ JELLYFIN_KEY = os.environ.get("JELLYFIN_KEY", "")
|
||||
KUMA = os.environ.get("KUMA_URL", "http://192.168.1.107:3001")
|
||||
KUMA_KEY = os.environ.get("KUMA_KEY", "")
|
||||
ALERTMANAGER = os.environ.get("ALERTMANAGER_URL", "http://192.168.1.134:9093")
|
||||
PAPERLESS = os.environ.get("PAPERLESS_URL", "http://192.168.1.105:8000")
|
||||
PAPERLESS_TOKEN = os.environ.get("PAPERLESS_TOKEN", "")
|
||||
|
||||
STATE_FILE = os.environ.get("STATE_FILE", "/var/lib/hub-core/state.json")
|
||||
|
||||
@@ -138,12 +140,102 @@ def alertmanager_alerts():
|
||||
return out, None
|
||||
|
||||
|
||||
|
||||
# ─────────────────────── источники из баз ───────────────────────
|
||||
import subprocess
|
||||
|
||||
|
||||
def pct(ct, args, timeout=40):
|
||||
cmd = ["pct", "exec", str(ct), "--"] + args
|
||||
try:
|
||||
out = subprocess.run(cmd, capture_output=True, text=True, timeout=timeout)
|
||||
if out.returncode != 0:
|
||||
return None, (out.stderr or out.stdout).strip()[:120]
|
||||
return out.stdout.strip(), None
|
||||
except Exception as e:
|
||||
return None, str(e)[:120]
|
||||
|
||||
|
||||
def paperless_docs():
|
||||
data, err = http(f"{PAPERLESS}/api/documents/?page_size=20&ordering=-created",
|
||||
{"Authorization": f"Token {PAPERLESS_TOKEN}"})
|
||||
if err:
|
||||
return [], err
|
||||
out = []
|
||||
for d in (data or {}).get("results", []):
|
||||
out.append({"id": d.get("id"), "title": d.get("title") or "документ",
|
||||
"when": d.get("created"), "type": "document.added"})
|
||||
return out, None
|
||||
|
||||
|
||||
def calibre_books():
|
||||
script = ("import json,sqlite3;c=sqlite3.connect('/opt/books/library/metadata.db');"
|
||||
"rows=c.execute('select id,title from books order by id desc limit 15').fetchall();"
|
||||
"print(json.dumps(rows, ensure_ascii=False))")
|
||||
out, err = pct(111, ["python3", "-c", script])
|
||||
if err:
|
||||
return [], err
|
||||
try:
|
||||
rows = json.loads(out or "[]")
|
||||
except json.JSONDecodeError:
|
||||
return [], "не разобрал ответ"
|
||||
return [{"id": r[0], "title": r[1] or "книга", "type": "book.added"} for r in rows], None
|
||||
|
||||
|
||||
def navidrome_albums():
|
||||
out, err = pct(125, ["docker", "exec", "navidrome", "sqlite3", "-separator", "|",
|
||||
"/data/navidrome.db",
|
||||
"select id, name from album order by created_at desc limit 15"])
|
||||
if err:
|
||||
return [], err
|
||||
rows = []
|
||||
for line in (out or "").splitlines():
|
||||
parts = line.split("|")
|
||||
if len(parts) >= 2:
|
||||
rows.append({"id": parts[0], "title": parts[1], "type": "music.added"})
|
||||
return rows, None
|
||||
|
||||
|
||||
def immich_albums():
|
||||
sql = ('select id, "albumName" from album order by "createdAt" desc limit 15')
|
||||
out, err = pct(151, ["su", "-", "postgres", "-c",
|
||||
f"psql -d immich_db -tA -F'|' -c '{sql}'"])
|
||||
if err:
|
||||
return [], err
|
||||
rows = []
|
||||
for line in (out or "").splitlines():
|
||||
parts = line.split("|")
|
||||
if len(parts) >= 2:
|
||||
rows.append({"id": parts[0], "title": parts[1], "type": "photo.album"})
|
||||
return rows, None
|
||||
|
||||
|
||||
def kuma_monitors():
|
||||
script = ("import json,sqlite3;"
|
||||
"c=sqlite3.connect('/opt/network-lxc/uptime/data/kuma.db');"
|
||||
"rows=c.execute('select id,name,active from monitor where active=1 limit 60').fetchall();"
|
||||
"print(json.dumps(rows, ensure_ascii=False))")
|
||||
out, err = pct(107, ["python3", "-c", script])
|
||||
if err:
|
||||
return [], err
|
||||
try:
|
||||
rows = json.loads(out or "[]")
|
||||
except json.JSONDecodeError:
|
||||
return [], "не разобрал ответ"
|
||||
return [{"id": r[0], "title": r[1] or f"монитор {r[0]}", "type": "monitor.active"} for r in rows], None
|
||||
|
||||
|
||||
SOURCES = [
|
||||
("sonarr", lambda: arr_history(SONARR, SONARR_KEY, "sonarr"), "сериал"),
|
||||
("radarr", lambda: arr_history(RADARR, RADARR_KEY, "radarr"), "фильм"),
|
||||
("seerr", seerr_requests, "заявка"),
|
||||
("jellyfin", jellyfin_recent, "фильм"),
|
||||
("alertmanager", alertmanager_alerts, "тревога"),
|
||||
("paperless", paperless_docs, "документ"),
|
||||
("calibre", calibre_books, "книга"),
|
||||
("navidrome", navidrome_albums, "музыка"),
|
||||
("immich", immich_albums, "фотоальбом"),
|
||||
("kuma", kuma_monitors, "монитор"),
|
||||
]
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,126 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Дополняем коннекторы источниками из баз сервисов."""
|
||||
import re
|
||||
|
||||
p = "/opt/hub-core/connectors.py"
|
||||
src = open(p, encoding="utf-8").read()
|
||||
|
||||
if "def local_sources" in src:
|
||||
print("уже дополнено")
|
||||
raise SystemExit(0)
|
||||
|
||||
new_funcs = '''
|
||||
|
||||
# ─────────────────────── источники из баз ───────────────────────
|
||||
import subprocess
|
||||
|
||||
|
||||
def pct(ct, args, timeout=40):
|
||||
cmd = ["pct", "exec", str(ct), "--"] + args
|
||||
try:
|
||||
out = subprocess.run(cmd, capture_output=True, text=True, timeout=timeout)
|
||||
if out.returncode != 0:
|
||||
return None, (out.stderr or out.stdout).strip()[:120]
|
||||
return out.stdout.strip(), None
|
||||
except Exception as e:
|
||||
return None, str(e)[:120]
|
||||
|
||||
|
||||
def paperless_docs():
|
||||
data, err = http(f"{PAPERLESS}/api/documents/?page_size=20&ordering=-created",
|
||||
{"Authorization": f"Token {PAPERLESS_TOKEN}"})
|
||||
if err:
|
||||
return [], err
|
||||
out = []
|
||||
for d in (data or {}).get("results", []):
|
||||
out.append({"id": d.get("id"), "title": d.get("title") or "документ",
|
||||
"when": d.get("created"), "type": "document.added"})
|
||||
return out, None
|
||||
|
||||
|
||||
def calibre_books():
|
||||
script = ("import json,sqlite3;c=sqlite3.connect('/opt/books/library/metadata.db');"
|
||||
"rows=c.execute('select id,title from books order by id desc limit 15').fetchall();"
|
||||
"print(json.dumps(rows, ensure_ascii=False))")
|
||||
out, err = pct(111, ["python3", "-c", script])
|
||||
if err:
|
||||
return [], err
|
||||
try:
|
||||
rows = json.loads(out or "[]")
|
||||
except json.JSONDecodeError:
|
||||
return [], "не разобрал ответ"
|
||||
return [{"id": r[0], "title": r[1] or "книга", "type": "book.added"} for r in rows]
|
||||
|
||||
|
||||
def navidrome_albums():
|
||||
out, err = pct(125, ["docker", "exec", "navidrome", "sqlite3", "-separator", "|",
|
||||
"/data/navidrome.db",
|
||||
"select id, name from album order by created_at desc limit 15"])
|
||||
if err:
|
||||
return [], err
|
||||
rows = []
|
||||
for line in (out or "").splitlines():
|
||||
parts = line.split("|")
|
||||
if len(parts) >= 2:
|
||||
rows.append({"id": parts[0], "title": parts[1], "type": "music.added"})
|
||||
return rows, None
|
||||
|
||||
|
||||
def immich_albums():
|
||||
sql = ('select id, "albumName" from album order by "createdAt" desc limit 15')
|
||||
out, err = pct(151, ["su", "-", "postgres", "-c",
|
||||
f"psql -d immich_db -tA -F'|' -c '{sql}'"])
|
||||
if err:
|
||||
return [], err
|
||||
rows = []
|
||||
for line in (out or "").splitlines():
|
||||
parts = line.split("|")
|
||||
if len(parts) >= 2:
|
||||
rows.append({"id": parts[0], "title": parts[1], "type": "photo.album"})
|
||||
return rows, None
|
||||
|
||||
|
||||
def kuma_monitors():
|
||||
script = ("import json,sqlite3;"
|
||||
"c=sqlite3.connect('/var/lib/docker/volumes/uptime-kuma-data/_data/kuma.db');"
|
||||
"rows=c.execute('select id,name,active from monitor where active=1 limit 60').fetchall();"
|
||||
"print(json.dumps(rows, ensure_ascii=False))")
|
||||
out, err = pct(107, ["python3", "-c", script])
|
||||
if err:
|
||||
return [], err
|
||||
try:
|
||||
rows = json.loads(out or "[]")
|
||||
except json.JSONDecodeError:
|
||||
return [], "не разобрал ответ"
|
||||
return [{"id": r[0], "title": r[1] or f"монитор {r[0]}", "type": "monitor.active"} for r in rows]
|
||||
|
||||
'''
|
||||
|
||||
src = src.replace("\nSOURCES = [", new_funcs + "\nSOURCES = [")
|
||||
|
||||
# новые переменные окружения
|
||||
src = src.replace(
|
||||
'ALERTMANAGER = os.environ.get("ALERTMANAGER_URL", "http://192.168.1.134:9093")',
|
||||
'ALERTMANAGER = os.environ.get("ALERTMANAGER_URL", "http://192.168.1.134:9093")\n'
|
||||
'PAPERLESS = os.environ.get("PAPERLESS_URL", "http://192.168.1.105:8000")\n'
|
||||
'PAPERLESS_TOKEN = os.environ.get("PAPERLESS_TOKEN", "")')
|
||||
|
||||
# расширяем список источников
|
||||
src = re.sub(
|
||||
r"SOURCES = \[.*?\]",
|
||||
'''SOURCES = [
|
||||
("sonarr", lambda: arr_history(SONARR, SONARR_KEY, "sonarr"), "сериал"),
|
||||
("radarr", lambda: arr_history(RADARR, RADARR_KEY, "radarr"), "фильм"),
|
||||
("seerr", seerr_requests, "заявка"),
|
||||
("jellyfin", jellyfin_recent, "фильм"),
|
||||
("alertmanager", alertmanager_alerts, "тревога"),
|
||||
("paperless", paperless_docs, "документ"),
|
||||
("calibre", calibre_books, "книга"),
|
||||
("navidrome", navidrome_albums, "музыка"),
|
||||
("immich", immich_albums, "фотоальбом"),
|
||||
("kuma", kuma_monitors, "монитор"),
|
||||
]''',
|
||||
src, flags=re.S)
|
||||
|
||||
open(p, "w", encoding="utf-8").write(src)
|
||||
print("коннекторы дополнены: 10 источников")
|
||||
Reference in new issue
Block a user