Files
buryan-infra/ops/media/content_graph.py
T
buryan-agent 63f02b4521 Граф контента v2: 182 карточки и 193 связи
Добавлены связи по жанрам, студиям, ключевым словам (темам), эпохам,
продолжениям и похожести. Книги получили теги как жанры.

Наполнение: 12 фильмов (Radarr) и 10 книг (Calibre с метаданными и тегами).
Итог: 193 связи — тема 60, жанр 49, похож 22, снят в 12, студия 12,
написал 10, входит в 9, серия 8, продолжение 4, экранизация 1,
общая вселенная 1.

Проверены примеры: продолжения Matrix и Dune, экранизация Dune, связь
коллекции Dune с книжной серией.
2026-10-20 10:38:12 +03:00

214 lines
8.0 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Граф контента v2: фильмы, книги, франшизы, жанры, студии, темы, эпохи.
Связи:
фильм → коллекция «входит в»
фильм → жанр «жанр»
фильм → студия «снят студией»
фильм → тема (ключевые слова) «тема»
фильм → фильм «продолжение» (внутри коллекции по годам)
фильм ↔ фильм «похож» (≥2 общих жанра)
фильм → эпоха «снят в»
книга → автор «написал»
книга → серия «входит в серию»
книга → жанр (тег) «жанр»
книга ↔ фильм «экранизация»
коллекция ↔ книжная серия «общая вселенная»
"""
import json
import os
import re
import subprocess
import sys
import urllib.request
CORE = os.environ.get("CORE_URL", "http://127.0.0.1:9120")
RADARR = os.environ.get("RADARR_URL", "http://192.168.1.118:7878")
RADARR_KEY = os.environ.get("RADARR_KEY", "")
MAX_THEMES_PER_ITEM = 5
MAX_SIMILAR = 40
def get(url, headers=None, timeout=25):
try:
req = urllib.request.Request(url, headers=headers or {})
with urllib.request.urlopen(req, timeout=timeout) as r:
return json.loads(r.read() or b"{}"), None
except Exception as e:
return None, str(e)[:100]
def post(path, payload):
req = urllib.request.Request(f"{CORE}{path}",
data=json.dumps(payload, ensure_ascii=False).encode(),
method="POST", headers={"Content-Type": "application/json"})
try:
with urllib.request.urlopen(req, timeout=20) as r:
return json.loads(r.read() or b"{}"), None
except Exception as e:
return None, str(e)[:100]
def norm(s):
s = (s or "").lower().replace("ё", "е")
s = re.sub(r"[:!?.,'’\"()\[\]]", " ", s)
return " ".join(s.split())
def movies():
data, err = get(f"{RADARR}/api/v3/movie", {"X-Api-Key": RADARR_KEY})
if err:
print(f" Radarr: {err}")
return []
out = []
for m in data or []:
col = m.get("collection") or {}
out.append({
"title": m.get("title"), "year": m.get("year"), "tmdb": m.get("tmdbId"),
"collection": col.get("title"), "collection_tmdb": col.get("tmdbId"),
"genres": m.get("genres") or [], "studio": m.get("studio"),
"keywords": (m.get("keywords") or [])[:MAX_THEMES_PER_ITEM],
})
return out
def books():
script = '''
import json, sqlite3
c = sqlite3.connect('/opt/books/library/metadata.db')
rows = []
for bid, title in c.execute("select id, title from books"):
authors = [r[0] for r in c.execute(
"select a.name from authors a join books_authors_link l on l.author=a.id where l.book=?", (bid,))]
series = c.execute(
"select s.name from series s join books_series_link l on l.series=s.id where l.book=?", (bid,)).fetchone()
tags = [r[0] for r in c.execute(
"select t.name from tags t join books_tags_link l on l.tag=t.id where l.book=?", (bid,))]
rows.append({"id": bid, "title": title, "authors": authors,
"series": series[0] if series else None, "tags": tags})
print(json.dumps(rows, ensure_ascii=False))
'''
path = "/tmp/books_graph.json"
open(path, "w", encoding="utf-8").write(script)
subprocess.run(["pct", "push", "111", path, path, "--perms", "644"], capture_output=True, timeout=30)
out = subprocess.run(["pct", "exec", "111", "--", "python3", path],
capture_output=True, text=True, timeout=60)
try:
return json.loads(out.stdout or "[]")
except Exception:
print(" Calibre:", (out.stderr or "")[:80])
return []
def decade(year):
try:
y = int(year)
except (TypeError, ValueError):
return None
return f"{(y // 10) * 10}-е"
def main():
mv = movies()
bk = books()
print(f"фильмов: {len(mv)}, книг: {len(bk)}")
ids = {}
cards = 0
links = 0
def card(kind, key, title, status=None):
nonlocal cards
res, err = post("/entity", {"kind": kind, "key": key, "title": title, "status": status})
if err or not res:
return None
cards += 1
ids[key] = res.get("id")
return res.get("id")
def link(a, b, rel):
nonlocal links
if not a or not b or a == b:
return
_, err = post("/link", {"from": a, "to": b, "relation": rel})
if not err:
links += 1
# фильмы и их метаданные
for m in mv:
mid = card("фильм", f"tmdb:{m['tmdb']}", f"{m['title']} ({m['year']})", "в медиатеке")
for g in m["genres"]:
gid = card("жанр", f"genre:{norm(g)}", g)
link(mid, gid, "жанр")
if m["studio"]:
sid = card("студия", f"studio:{norm(m['studio'])}", m["studio"])
link(mid, sid, "снят студией")
for kw in m["keywords"]:
tid = card("тема", f"theme:{norm(kw)}", kw)
link(mid, tid, "тема")
dec = decade(m["year"])
if dec:
did = card("эпоха", f"decade:{dec}", dec)
link(mid, did, "снят в")
if m["collection"]:
cid = card("коллекция", f"collection:{m['collection_tmdb'] or norm(m['collection'])}",
m["collection"], "франшиза")
link(mid, cid, "входит в")
# книги
for b in bk:
bid = card("книга", f"calibre:{b['id']}", b["title"], "в библиотеке")
for a in b.get("authors") or []:
aid = card("автор", f"author:{norm(a)}", a)
link(bid, aid, "написал")
if b.get("series"):
sid = card("серия книг", f"series:{norm(b['series'])}", b["series"], "книжная серия")
link(bid, sid, "входит в серию")
for t in b.get("tags") or []:
gid = card("жанр", f"genre:{norm(t)}", t)
link(bid, gid, "жанр")
# экранизации
by_title = {}
for m in mv:
by_title.setdefault(norm(m["title"]), []).append(m["tmdb"])
for b in bk:
for tmdb in by_title.get(norm(b["title"]), []):
link(ids.get(f"calibre:{b['id']}"), ids.get(f"tmdb:{tmdb}"), "экранизация")
# продолжения внутри коллекции (по году)
by_col = {}
for m in mv:
if m["collection"]:
by_col.setdefault(norm(m["collection"]), []).append(m)
for col, items in by_col.items():
items.sort(key=lambda x: x.get("year") or 0)
for prev, nxt in zip(items, items[1:]):
link(ids.get(f"tmdb:{prev['tmdb']}"), ids.get(f"tmdb:{nxt['tmdb']}"), "продолжение")
# похожие: ≥2 общих жанра
made = 0
for i, a in enumerate(mv):
for b in mv[i + 1:]:
common = set(a["genres"]) & set(b["genres"])
if len(common) >= 2 and made < MAX_SIMILAR:
link(ids.get(f"tmdb:{a['tmdb']}"), ids.get(f"tmdb:{b['tmdb']}"), "похож")
made += 1
# общая вселенная: коллекция ↔ книжная серия
for m in mv:
if not m["collection"]:
continue
col_key = f"collection:{m['collection_tmdb'] or norm(m['collection'])}"
col_norm = norm(m["collection"]).replace("collection", "").strip()
for b in bk:
if b.get("series") and norm(b["series"]) == col_norm:
link(ids.get(col_key), ids.get(f"series:{norm(b['series'])}"), "общая вселенная")
print(f"карточек: {cards}, связей: {links}")
return 0
if __name__ == "__main__":
sys.exit(main())