Добавлены связи по жанрам, студиям, ключевым словам (темам), эпохам, продолжениям и похожести. Книги получили теги как жанры. Наполнение: 12 фильмов (Radarr) и 10 книг (Calibre с метаданными и тегами). Итог: 193 связи — тема 60, жанр 49, похож 22, снят в 12, студия 12, написал 10, входит в 9, серия 8, продолжение 4, экранизация 1, общая вселенная 1. Проверены примеры: продолжения Matrix и Dune, экранизация Dune, связь коллекции Dune с книжной серией.
214 lines
8.0 KiB
Python
214 lines
8.0 KiB
Python
"""Граф контента v2: фильмы, книги, франшизы, жанры, студии, темы, эпохи.
|
||
|
||
Связи:
|
||
фильм → коллекция «входит в»
|
||
фильм → жанр «жанр»
|
||
фильм → студия «снят студией»
|
||
фильм → тема (ключевые слова) «тема»
|
||
фильм → фильм «продолжение» (внутри коллекции по годам)
|
||
фильм ↔ фильм «похож» (≥2 общих жанра)
|
||
фильм → эпоха «снят в»
|
||
книга → автор «написал»
|
||
книга → серия «входит в серию»
|
||
книга → жанр (тег) «жанр»
|
||
книга ↔ фильм «экранизация»
|
||
коллекция ↔ книжная серия «общая вселенная»
|
||
"""
|
||
import json
|
||
import os
|
||
import re
|
||
import subprocess
|
||
import sys
|
||
import urllib.request
|
||
|
||
CORE = os.environ.get("CORE_URL", "http://127.0.0.1:9120")
|
||
RADARR = os.environ.get("RADARR_URL", "http://192.168.1.118:7878")
|
||
RADARR_KEY = os.environ.get("RADARR_KEY", "")
|
||
|
||
MAX_THEMES_PER_ITEM = 5
|
||
MAX_SIMILAR = 40
|
||
|
||
|
||
def get(url, headers=None, timeout=25):
|
||
try:
|
||
req = urllib.request.Request(url, headers=headers or {})
|
||
with urllib.request.urlopen(req, timeout=timeout) as r:
|
||
return json.loads(r.read() or b"{}"), None
|
||
except Exception as e:
|
||
return None, str(e)[:100]
|
||
|
||
|
||
def post(path, payload):
|
||
req = urllib.request.Request(f"{CORE}{path}",
|
||
data=json.dumps(payload, ensure_ascii=False).encode(),
|
||
method="POST", headers={"Content-Type": "application/json"})
|
||
try:
|
||
with urllib.request.urlopen(req, timeout=20) as r:
|
||
return json.loads(r.read() or b"{}"), None
|
||
except Exception as e:
|
||
return None, str(e)[:100]
|
||
|
||
|
||
def norm(s):
|
||
s = (s or "").lower().replace("ё", "е")
|
||
s = re.sub(r"[:!?.,'’\"()\[\]]", " ", s)
|
||
return " ".join(s.split())
|
||
|
||
|
||
def movies():
|
||
data, err = get(f"{RADARR}/api/v3/movie", {"X-Api-Key": RADARR_KEY})
|
||
if err:
|
||
print(f" Radarr: {err}")
|
||
return []
|
||
out = []
|
||
for m in data or []:
|
||
col = m.get("collection") or {}
|
||
out.append({
|
||
"title": m.get("title"), "year": m.get("year"), "tmdb": m.get("tmdbId"),
|
||
"collection": col.get("title"), "collection_tmdb": col.get("tmdbId"),
|
||
"genres": m.get("genres") or [], "studio": m.get("studio"),
|
||
"keywords": (m.get("keywords") or [])[:MAX_THEMES_PER_ITEM],
|
||
})
|
||
return out
|
||
|
||
|
||
def books():
|
||
script = '''
|
||
import json, sqlite3
|
||
c = sqlite3.connect('/opt/books/library/metadata.db')
|
||
rows = []
|
||
for bid, title in c.execute("select id, title from books"):
|
||
authors = [r[0] for r in c.execute(
|
||
"select a.name from authors a join books_authors_link l on l.author=a.id where l.book=?", (bid,))]
|
||
series = c.execute(
|
||
"select s.name from series s join books_series_link l on l.series=s.id where l.book=?", (bid,)).fetchone()
|
||
tags = [r[0] for r in c.execute(
|
||
"select t.name from tags t join books_tags_link l on l.tag=t.id where l.book=?", (bid,))]
|
||
rows.append({"id": bid, "title": title, "authors": authors,
|
||
"series": series[0] if series else None, "tags": tags})
|
||
print(json.dumps(rows, ensure_ascii=False))
|
||
'''
|
||
path = "/tmp/books_graph.json"
|
||
open(path, "w", encoding="utf-8").write(script)
|
||
subprocess.run(["pct", "push", "111", path, path, "--perms", "644"], capture_output=True, timeout=30)
|
||
out = subprocess.run(["pct", "exec", "111", "--", "python3", path],
|
||
capture_output=True, text=True, timeout=60)
|
||
try:
|
||
return json.loads(out.stdout or "[]")
|
||
except Exception:
|
||
print(" Calibre:", (out.stderr or "")[:80])
|
||
return []
|
||
|
||
|
||
def decade(year):
|
||
try:
|
||
y = int(year)
|
||
except (TypeError, ValueError):
|
||
return None
|
||
return f"{(y // 10) * 10}-е"
|
||
|
||
|
||
def main():
|
||
mv = movies()
|
||
bk = books()
|
||
print(f"фильмов: {len(mv)}, книг: {len(bk)}")
|
||
|
||
ids = {}
|
||
cards = 0
|
||
links = 0
|
||
|
||
def card(kind, key, title, status=None):
|
||
nonlocal cards
|
||
res, err = post("/entity", {"kind": kind, "key": key, "title": title, "status": status})
|
||
if err or not res:
|
||
return None
|
||
cards += 1
|
||
ids[key] = res.get("id")
|
||
return res.get("id")
|
||
|
||
def link(a, b, rel):
|
||
nonlocal links
|
||
if not a or not b or a == b:
|
||
return
|
||
_, err = post("/link", {"from": a, "to": b, "relation": rel})
|
||
if not err:
|
||
links += 1
|
||
|
||
# фильмы и их метаданные
|
||
for m in mv:
|
||
mid = card("фильм", f"tmdb:{m['tmdb']}", f"{m['title']} ({m['year']})", "в медиатеке")
|
||
for g in m["genres"]:
|
||
gid = card("жанр", f"genre:{norm(g)}", g)
|
||
link(mid, gid, "жанр")
|
||
if m["studio"]:
|
||
sid = card("студия", f"studio:{norm(m['studio'])}", m["studio"])
|
||
link(mid, sid, "снят студией")
|
||
for kw in m["keywords"]:
|
||
tid = card("тема", f"theme:{norm(kw)}", kw)
|
||
link(mid, tid, "тема")
|
||
dec = decade(m["year"])
|
||
if dec:
|
||
did = card("эпоха", f"decade:{dec}", dec)
|
||
link(mid, did, "снят в")
|
||
if m["collection"]:
|
||
cid = card("коллекция", f"collection:{m['collection_tmdb'] or norm(m['collection'])}",
|
||
m["collection"], "франшиза")
|
||
link(mid, cid, "входит в")
|
||
|
||
# книги
|
||
for b in bk:
|
||
bid = card("книга", f"calibre:{b['id']}", b["title"], "в библиотеке")
|
||
for a in b.get("authors") or []:
|
||
aid = card("автор", f"author:{norm(a)}", a)
|
||
link(bid, aid, "написал")
|
||
if b.get("series"):
|
||
sid = card("серия книг", f"series:{norm(b['series'])}", b["series"], "книжная серия")
|
||
link(bid, sid, "входит в серию")
|
||
for t in b.get("tags") or []:
|
||
gid = card("жанр", f"genre:{norm(t)}", t)
|
||
link(bid, gid, "жанр")
|
||
|
||
# экранизации
|
||
by_title = {}
|
||
for m in mv:
|
||
by_title.setdefault(norm(m["title"]), []).append(m["tmdb"])
|
||
for b in bk:
|
||
for tmdb in by_title.get(norm(b["title"]), []):
|
||
link(ids.get(f"calibre:{b['id']}"), ids.get(f"tmdb:{tmdb}"), "экранизация")
|
||
|
||
# продолжения внутри коллекции (по году)
|
||
by_col = {}
|
||
for m in mv:
|
||
if m["collection"]:
|
||
by_col.setdefault(norm(m["collection"]), []).append(m)
|
||
for col, items in by_col.items():
|
||
items.sort(key=lambda x: x.get("year") or 0)
|
||
for prev, nxt in zip(items, items[1:]):
|
||
link(ids.get(f"tmdb:{prev['tmdb']}"), ids.get(f"tmdb:{nxt['tmdb']}"), "продолжение")
|
||
|
||
# похожие: ≥2 общих жанра
|
||
made = 0
|
||
for i, a in enumerate(mv):
|
||
for b in mv[i + 1:]:
|
||
common = set(a["genres"]) & set(b["genres"])
|
||
if len(common) >= 2 and made < MAX_SIMILAR:
|
||
link(ids.get(f"tmdb:{a['tmdb']}"), ids.get(f"tmdb:{b['tmdb']}"), "похож")
|
||
made += 1
|
||
|
||
# общая вселенная: коллекция ↔ книжная серия
|
||
for m in mv:
|
||
if not m["collection"]:
|
||
continue
|
||
col_key = f"collection:{m['collection_tmdb'] or norm(m['collection'])}"
|
||
col_norm = norm(m["collection"]).replace("collection", "").strip()
|
||
for b in bk:
|
||
if b.get("series") and norm(b["series"]) == col_norm:
|
||
link(ids.get(col_key), ids.get(f"series:{norm(b['series'])}"), "общая вселенная")
|
||
|
||
print(f"карточек: {cards}, связей: {links}")
|
||
return 0
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|