Граф контента v2: 182 карточки и 193 связи

Добавлены связи по жанрам, студиям, ключевым словам (темам), эпохам,
продолжениям и похожести. Книги получили теги как жанры.

Наполнение: 12 фильмов (Radarr) и 10 книг (Calibre с метаданными и тегами).
Итог: 193 связи — тема 60, жанр 49, похож 22, снят в 12, студия 12,
написал 10, входит в 9, серия 8, продолжение 4, экранизация 1,
общая вселенная 1.

Проверены примеры: продолжения Matrix и Dune, экранизация Dune, связь
коллекции Dune с книжной серией.
This commit is contained in:
buryan-agent committed 2026-10-20 10:38:12 +03:00
1 parent 878e1e3b88
commit 63f02b4521
2 files changed
+156 -112

No files matched your search

+54 -43
View File
@@ -1,63 +1,74 @@
# Граф контента
Связи между фильмами, книгами, сериями и авторами — то, что превращает
список файлов в медиатеку.
Связи между фильмами, книгами, франшизами, жанрами, студиями, темами и
эпохами. Превращает список файлов в медиатеку, по которой можно
ориентироваться.
## Что строится
## Что связывается
| Связь | Как определяется |
| Связь | Источник данных |
|---|---|
| фильм → коллекция («входит в») | `collection` из Radarr (TMDB-франшиза) |
| книга → автор («написал») | авторы из Calibre |
| книга → серия («входит в серию») | серия из Calibre |
| книга ↔ фильм («экранизация») | нормализованное название совпадает |
| коллекция ↔ книжная серия («общая вселенная») | название коллекции без слова Collection = название серии |
| фильм → коллекция «входит в» | `collection` из Radarr |
| фильм → жанр «жанр» | `genres` из Radarr |
| фильм → студия «снят студией» | `studio` из Radarr |
| фильм → тема «тема» | `keywords` из Radarr (до 5 на фильм) |
| фильм → эпоха «снят в» | год → десятилетие |
| фильм → фильм «продолжение» | коллекция, сортировка по году |
| фильм ↔ фильм «похож» | ≥2 общих жанра |
| книга → автор «написал» | авторы Calibre |
| книга → серия «входит в серию» | серия Calibre |
| книга → жанр «жанр» | теги Calibre |
| книга ↔ фильм «экранизация» | совпадение нормализованного названия |
| коллекция ↔ книжная серия «общая вселенная» | название коллекции = название серии |
Нормализация названий: нижний регистр, без знаков, без слов «часть»,
«chapter», «том», «книга».
## Наполнение для проверки
## Результат на реальных данных
Метаданные без скачивания файлов:
Наполнение: 5 фильмов (Radarr) + 4 книги (Calibre, созданы как EPUB
с метаданными).
* **12 фильмов** (Radarr, через прокси к SkyHook): Matrix ×3, Dune ×2,
Blade Runner ×2, Arrival, Interstellar, The Fifth Element, Alien, Prometheus;
* **10 книг** (Calibre, созданы как минимальные EPUB с метаданными):
Dune ×3, Hainish ×2, Hyperion Cantos ×2, Foundation, I Robot, Neuromancer;
* теги книг: science fiction, space opera, cyberpunk, classic, robots.
## Результат
```
фильмов: 5, книг: 4
карточек создано/обновлено: 21, связей: 19
фильмов: 12, книг: 10
карточек: 182, связей: 193
Связи по типам:
входит в: 5
написал: 4
входит в серию: 3
общая вселенная: 1
Связи:
тема: 60 (ключевые слова фильмов)
жанр: 49 (11 жанров)
похож: 22 (общие жанры)
снят в: 12 (6 эпох)
снят студией: 12 (8 студий)
написал: 10 (5 авторов)
входит в: 9 (5 коллекций)
входит в серию: 8 (4 серии)
продолжение: 4
экранизация: 1
общая вселенная: 1
```
Граф:
Примеры:
```
Dune Collection ← Dune (2021)
Dune Collection ← Dune: Part Two (2024)
The Matrix Collection ← The Matrix (1999)
The Matrix Collection ← The Matrix Reloaded (2003)
The Matrix Collection ← The Matrix Revolutions (2003)
Продолжения:
Blade Runner (1982) → Blade Runner 2049 (2017)
Dune (2021) → Dune: Part Two (2024)
The Matrix (1999) → The Matrix Reloaded (2003)
The Matrix Reloaded (2003) → The Matrix Revolutions (2003)
Dune → Frank Herbert (написал)
Dune Messiah → Dune (входит в серию)
Dune ↔ Dune (2021) (экранизация)
Dune Collection ⇄ Dune (общая вселенная)
Экранизация: Dune ↔ Dune (2021)
Общая вселенная: Dune Collection ↔ Dune (книжная серия)
Топ жанров: science fiction 21, Adventure 4, classic 4, Drama 4, Action 4
```
## Куда попадает
## Где видно
* ядро: карточки и связи (`GET /links` — сводка и список);
* Медиа Хаб: блок «Связи контента»;
* бот Медиа: команда `хаб`;
* расписание: ежедневно 04:45.
## Что это даёт
* «есть ли книга, по которой снят фильм» — связь `экранизация`;
* «что ещё из этой франшизы» — `входит в`;
* «какие книги того же автора» — `написал`;
* «вся вселенная» — коллекция фильмов ↔ книжная серия.
* `GET /links` — сводка по типам и список связей;
* Медиа Хаб — блок «Связи контента»;
* бот Медиа — команда `хаб`;
* расписание — ежедневно 04:45.
+102 -69
View File
@@ -1,26 +1,35 @@
"""Граф контента: связи между фильмами, книгами, коллекциями и авторами.
"""Граф контента v2: фильмы, книги, франшизы, жанры, студии, темы, эпохи.
Строит карточки и связи в ядре:
фильм → коллекция «входит в»
книга → серия «входит в серию»
книга → автор «написал»
книга ↔ фильм «экранизация»
коллекция ↔ серия книг «общая вселенная»
Связи:
фильм → коллекция «входит в»
фильм → жанр «жанр»
фильм → студия «снят студией»
фильм → тема (ключевые слова) «тема»
фильм → фильм «продолжение» (внутри коллекции по годам)
фильм ↔ фильм «похож» (≥2 общих жанра)
фильм → эпоха «снят в»
книга → автор «написал»
книга → серия «входит в серию»
книга → жанр (тег) «жанр»
книга ↔ фильм «экранизация»
коллекция ↔ книжная серия «общая вселенная»
"""
import json
import os
import re
import subprocess
import sys
import urllib.parse
import urllib.request
CORE = os.environ.get("CORE_URL", "http://127.0.0.1:9120")
RADARR = os.environ.get("RADARR_URL", "http://192.168.1.118:7878")
RADARR_KEY = os.environ.get("RADARR_KEY", "")
MAX_THEMES_PER_ITEM = 5
MAX_SIMILAR = 40
def get(url, headers=None, timeout=20):
def get(url, headers=None, timeout=25):
try:
req = urllib.request.Request(url, headers=headers or {})
with urllib.request.urlopen(req, timeout=timeout) as r:
@@ -43,58 +52,61 @@ def post(path, payload):
def norm(s):
s = (s or "").lower().replace("ё", "е")
s = re.sub(r"[:!?.,'’\"()\[\]]", " ", s)
s = re.sub(r"\b(part|chapter|часть|том|книга)\b", " ", s)
return " ".join(s.split())
# ─────────── источники ───────────
def movies():
data, err = get(f"{RADARR}/api/v3/movie", {"X-Api-Key": RADARR_KEY})
if err:
print(f" Radarr: ошибка {err}")
print(f" Radarr: {err}")
return []
out = []
for m in data or []:
col = m.get("collection") or {}
out.append({
"title": m.get("title"), "year": m.get("year"),
"tmdb": m.get("tmdbId"),
"title": m.get("title"), "year": m.get("year"), "tmdb": m.get("tmdbId"),
"collection": col.get("title"), "collection_tmdb": col.get("tmdbId"),
"genres": m.get("genres") or [],
"genres": m.get("genres") or [], "studio": m.get("studio"),
"keywords": (m.get("keywords") or [])[:MAX_THEMES_PER_ITEM],
})
return out
def books():
script = """
script = '''
import json, sqlite3
c = sqlite3.connect('/opt/books/library/metadata.db')
q = '''select b.id, b.title, b.series_index, s.name
from books b left join books_series_link l on l.book = b.id
left join series s on s.id = l.series'''
rows = []
for bid, title, idx, series in c.execute(q):
for bid, title in c.execute("select id, title from books"):
authors = [r[0] for r in c.execute(
'select a.name from authors a join books_authors_link l on l.author = a.id where l.book = ?', (bid,))]
rows.append({"id": bid, "title": title, "series": series,
"series_index": idx, "authors": authors})
"select a.name from authors a join books_authors_link l on l.author=a.id where l.book=?", (bid,))]
series = c.execute(
"select s.name from series s join books_series_link l on l.series=s.id where l.book=?", (bid,)).fetchone()
tags = [r[0] for r in c.execute(
"select t.name from tags t join books_tags_link l on l.tag=t.id where l.book=?", (bid,))]
rows.append({"id": bid, "title": title, "authors": authors,
"series": series[0] if series else None, "tags": tags})
print(json.dumps(rows, ensure_ascii=False))
"""
path = "/tmp/books.json"
'''
path = "/tmp/books_graph.json"
open(path, "w", encoding="utf-8").write(script)
subprocess.run(["pct", "push", "111", path, path, "--perms", "644"],
capture_output=True, timeout=30)
subprocess.run(["pct", "push", "111", path, path, "--perms", "644"], capture_output=True, timeout=30)
out = subprocess.run(["pct", "exec", "111", "--", "python3", path],
capture_output=True, text=True, timeout=60)
try:
return json.loads(out.stdout or "[]")
except Exception:
print(" Calibre: не прочитал", (out.stderr or "")[:80])
print(" Calibre:", (out.stderr or "")[:80])
return []
# ─────────── граф ───────────
def decade(year):
try:
y = int(year)
except (TypeError, ValueError):
return None
return f"{(y // 10) * 10}-е"
def main():
mv = movies()
@@ -102,58 +114,88 @@ def main():
print(f"фильмов: {len(mv)}, книг: {len(bk)}")
ids = {}
made_cards = 0
made_links = 0
cards = 0
links = 0
def card(kind, key, title, status=None):
nonlocal made_cards
nonlocal cards
res, err = post("/entity", {"kind": kind, "key": key, "title": title, "status": status})
if err or not res:
return None
made_cards += 1
cards += 1
ids[key] = res.get("id")
return res.get("id")
def link(a, b, relation):
nonlocal made_links
def link(a, b, rel):
nonlocal links
if not a or not b or a == b:
return
_, err = post("/link", {"from": a, "to": b, "relation": relation})
_, err = post("/link", {"from": a, "to": b, "relation": rel})
if not err:
made_links += 1
links += 1
# фильмы
for m in mv:
card("фильм", f"tmdb:{m['tmdb']}", f"{m['title']} ({m['year']})", "в медиатеке")
# коллекции
# фильмы и их метаданные
for m in mv:
mid = card("фильм", f"tmdb:{m['tmdb']}", f"{m['title']} ({m['year']})", "в медиатеке")
for g in m["genres"]:
gid = card("жанр", f"genre:{norm(g)}", g)
link(mid, gid, "жанр")
if m["studio"]:
sid = card("студия", f"studio:{norm(m['studio'])}", m["studio"])
link(mid, sid, "снят студией")
for kw in m["keywords"]:
tid = card("тема", f"theme:{norm(kw)}", kw)
link(mid, tid, "тема")
dec = decade(m["year"])
if dec:
did = card("эпоха", f"decade:{dec}", dec)
link(mid, did, "снят в")
if m["collection"]:
key = f"collection:{m['collection_tmdb'] or norm(m['collection'])}"
card("коллекция", key, m["collection"], "франшиза")
link(ids.get(f"tmdb:{m['tmdb']}"), ids.get(key), "входит в")
cid = card("коллекция", f"collection:{m['collection_tmdb'] or norm(m['collection'])}",
m["collection"], "франшиза")
link(mid, cid, "входит в")
# книги
for b in bk:
card("книга", f"calibre:{b['id']}", b["title"], "в библиотеке")
for author in b.get("authors") or []:
key = f"author:{norm(author)}"
card("автор", key, author)
link(ids.get(f"calibre:{b['id']}"), ids.get(key), "написал")
bid = card("книга", f"calibre:{b['id']}", b["title"], "в библиотеке")
for a in b.get("authors") or []:
aid = card("автор", f"author:{norm(a)}", a)
link(bid, aid, "написал")
if b.get("series"):
key = f"series:{norm(b['series'])}"
card("серия книг", key, b["series"], "книжная серия")
link(ids.get(f"calibre:{b['id']}"), ids.get(key), "входит в серию")
sid = card("серия книг", f"series:{norm(b['series'])}", b["series"], "книжная серия")
link(bid, sid, "входит в серию")
for t in b.get("tags") or []:
gid = card("жанр", f"genre:{norm(t)}", t)
link(bid, gid, "жанр")
# экранизации: книга ↔ фильм по названию
# экранизации
by_title = {}
for m in mv:
by_title.setdefault(norm(m["title"]), []).append(("фильм", m["tmdb"]))
by_title.setdefault(norm(m["title"]), []).append(m["tmdb"])
for b in bk:
for kind, ident in by_title.get(norm(b["title"]), []):
link(ids.get(f"calibre:{b['id']}"), ids.get(f"tmdb:{ident}"), "экранизация")
for tmdb in by_title.get(norm(b["title"]), []):
link(ids.get(f"calibre:{b['id']}"), ids.get(f"tmdb:{tmdb}"), "экранизация")
# общая вселенная: коллекция фильмов ↔ книжная серия с тем же названием
# продолжения внутри коллекции (по году)
by_col = {}
for m in mv:
if m["collection"]:
by_col.setdefault(norm(m["collection"]), []).append(m)
for col, items in by_col.items():
items.sort(key=lambda x: x.get("year") or 0)
for prev, nxt in zip(items, items[1:]):
link(ids.get(f"tmdb:{prev['tmdb']}"), ids.get(f"tmdb:{nxt['tmdb']}"), "продолжение")
# похожие: ≥2 общих жанра
made = 0
for i, a in enumerate(mv):
for b in mv[i + 1:]:
common = set(a["genres"]) & set(b["genres"])
if len(common) >= 2 and made < MAX_SIMILAR:
link(ids.get(f"tmdb:{a['tmdb']}"), ids.get(f"tmdb:{b['tmdb']}"), "похож")
made += 1
# общая вселенная: коллекция ↔ книжная серия
for m in mv:
if not m["collection"]:
continue
@@ -163,16 +205,7 @@ def main():
if b.get("series") and norm(b["series"]) == col_norm:
link(ids.get(col_key), ids.get(f"series:{norm(b['series'])}"), "общая вселенная")
print(f"карточек создано/обновлено: {made_cards}, связей: {made_links}")
# сводка по типам связей
from collections import Counter
try:
import urllib.request as u
with u.urlopen(f"{CORE}/entity/{list(ids.values())[0]}", timeout=20) as r:
pass
except Exception:
pass
print(f"карточек: {cards}, связей: {links}")
return 0