Граф контента v2: 182 карточки и 193 связи
Добавлены связи по жанрам, студиям, ключевым словам (темам), эпохам, продолжениям и похожести. Книги получили теги как жанры. Наполнение: 12 фильмов (Radarr) и 10 книг (Calibre с метаданными и тегами). Итог: 193 связи — тема 60, жанр 49, похож 22, снят в 12, студия 12, написал 10, входит в 9, серия 8, продолжение 4, экранизация 1, общая вселенная 1. Проверены примеры: продолжения Matrix и Dune, экранизация Dune, связь коллекции Dune с книжной серией.
This commit is contained in:
1 parent
878e1e3b88
commit
63f02b4521
2 files changed
+156
-112
No files matched your search
+54
-43
@@ -1,63 +1,74 @@
|
||||
# Граф контента
|
||||
|
||||
Связи между фильмами, книгами, сериями и авторами — то, что превращает
|
||||
список файлов в медиатеку.
|
||||
Связи между фильмами, книгами, франшизами, жанрами, студиями, темами и
|
||||
эпохами. Превращает список файлов в медиатеку, по которой можно
|
||||
ориентироваться.
|
||||
|
||||
## Что строится
|
||||
## Что связывается
|
||||
|
||||
| Связь | Как определяется |
|
||||
| Связь | Источник данных |
|
||||
|---|---|
|
||||
| фильм → коллекция («входит в») | `collection` из Radarr (TMDB-франшиза) |
|
||||
| книга → автор («написал») | авторы из Calibre |
|
||||
| книга → серия («входит в серию») | серия из Calibre |
|
||||
| книга ↔ фильм («экранизация») | нормализованное название совпадает |
|
||||
| коллекция ↔ книжная серия («общая вселенная») | название коллекции без слова Collection = название серии |
|
||||
| фильм → коллекция «входит в» | `collection` из Radarr |
|
||||
| фильм → жанр «жанр» | `genres` из Radarr |
|
||||
| фильм → студия «снят студией» | `studio` из Radarr |
|
||||
| фильм → тема «тема» | `keywords` из Radarr (до 5 на фильм) |
|
||||
| фильм → эпоха «снят в» | год → десятилетие |
|
||||
| фильм → фильм «продолжение» | коллекция, сортировка по году |
|
||||
| фильм ↔ фильм «похож» | ≥2 общих жанра |
|
||||
| книга → автор «написал» | авторы Calibre |
|
||||
| книга → серия «входит в серию» | серия Calibre |
|
||||
| книга → жанр «жанр» | теги Calibre |
|
||||
| книга ↔ фильм «экранизация» | совпадение нормализованного названия |
|
||||
| коллекция ↔ книжная серия «общая вселенная» | название коллекции = название серии |
|
||||
|
||||
Нормализация названий: нижний регистр, без знаков, без слов «часть»,
|
||||
«chapter», «том», «книга».
|
||||
## Наполнение для проверки
|
||||
|
||||
## Результат на реальных данных
|
||||
Метаданные без скачивания файлов:
|
||||
|
||||
Наполнение: 5 фильмов (Radarr) + 4 книги (Calibre, созданы как EPUB
|
||||
с метаданными).
|
||||
* **12 фильмов** (Radarr, через прокси к SkyHook): Matrix ×3, Dune ×2,
|
||||
Blade Runner ×2, Arrival, Interstellar, The Fifth Element, Alien, Prometheus;
|
||||
* **10 книг** (Calibre, созданы как минимальные EPUB с метаданными):
|
||||
Dune ×3, Hainish ×2, Hyperion Cantos ×2, Foundation, I Robot, Neuromancer;
|
||||
* теги книг: science fiction, space opera, cyberpunk, classic, robots.
|
||||
|
||||
## Результат
|
||||
|
||||
```
|
||||
фильмов: 5, книг: 4
|
||||
карточек создано/обновлено: 21, связей: 19
|
||||
фильмов: 12, книг: 10
|
||||
карточек: 182, связей: 193
|
||||
|
||||
Связи по типам:
|
||||
входит в: 5
|
||||
написал: 4
|
||||
входит в серию: 3
|
||||
общая вселенная: 1
|
||||
Связи:
|
||||
тема: 60 (ключевые слова фильмов)
|
||||
жанр: 49 (11 жанров)
|
||||
похож: 22 (общие жанры)
|
||||
снят в: 12 (6 эпох)
|
||||
снят студией: 12 (8 студий)
|
||||
написал: 10 (5 авторов)
|
||||
входит в: 9 (5 коллекций)
|
||||
входит в серию: 8 (4 серии)
|
||||
продолжение: 4
|
||||
экранизация: 1
|
||||
общая вселенная: 1
|
||||
```
|
||||
|
||||
Граф:
|
||||
Примеры:
|
||||
|
||||
```
|
||||
Dune Collection ← Dune (2021)
|
||||
Dune Collection ← Dune: Part Two (2024)
|
||||
The Matrix Collection ← The Matrix (1999)
|
||||
The Matrix Collection ← The Matrix Reloaded (2003)
|
||||
The Matrix Collection ← The Matrix Revolutions (2003)
|
||||
Продолжения:
|
||||
Blade Runner (1982) → Blade Runner 2049 (2017)
|
||||
Dune (2021) → Dune: Part Two (2024)
|
||||
The Matrix (1999) → The Matrix Reloaded (2003)
|
||||
The Matrix Reloaded (2003) → The Matrix Revolutions (2003)
|
||||
|
||||
Dune → Frank Herbert (написал)
|
||||
Dune Messiah → Dune (входит в серию)
|
||||
Dune ↔ Dune (2021) (экранизация)
|
||||
Dune Collection ⇄ Dune (общая вселенная)
|
||||
Экранизация: Dune ↔ Dune (2021)
|
||||
Общая вселенная: Dune Collection ↔ Dune (книжная серия)
|
||||
|
||||
Топ жанров: science fiction 21, Adventure 4, classic 4, Drama 4, Action 4
|
||||
```
|
||||
|
||||
## Куда попадает
|
||||
## Где видно
|
||||
|
||||
* ядро: карточки и связи (`GET /links` — сводка и список);
|
||||
* Медиа Хаб: блок «Связи контента»;
|
||||
* бот Медиа: команда `хаб`;
|
||||
* расписание: ежедневно 04:45.
|
||||
|
||||
## Что это даёт
|
||||
|
||||
* «есть ли книга, по которой снят фильм» — связь `экранизация`;
|
||||
* «что ещё из этой франшизы» — `входит в`;
|
||||
* «какие книги того же автора» — `написал`;
|
||||
* «вся вселенная» — коллекция фильмов ↔ книжная серия.
|
||||
* `GET /links` — сводка по типам и список связей;
|
||||
* Медиа Хаб — блок «Связи контента»;
|
||||
* бот Медиа — команда `хаб`;
|
||||
* расписание — ежедневно 04:45.
|
||||
+102
-69
@@ -1,26 +1,35 @@
|
||||
"""Граф контента: связи между фильмами, книгами, коллекциями и авторами.
|
||||
"""Граф контента v2: фильмы, книги, франшизы, жанры, студии, темы, эпохи.
|
||||
|
||||
Строит карточки и связи в ядре:
|
||||
фильм → коллекция «входит в»
|
||||
книга → серия «входит в серию»
|
||||
книга → автор «написал»
|
||||
книга ↔ фильм «экранизация»
|
||||
коллекция ↔ серия книг «общая вселенная»
|
||||
Связи:
|
||||
фильм → коллекция «входит в»
|
||||
фильм → жанр «жанр»
|
||||
фильм → студия «снят студией»
|
||||
фильм → тема (ключевые слова) «тема»
|
||||
фильм → фильм «продолжение» (внутри коллекции по годам)
|
||||
фильм ↔ фильм «похож» (≥2 общих жанра)
|
||||
фильм → эпоха «снят в»
|
||||
книга → автор «написал»
|
||||
книга → серия «входит в серию»
|
||||
книга → жанр (тег) «жанр»
|
||||
книга ↔ фильм «экранизация»
|
||||
коллекция ↔ книжная серия «общая вселенная»
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import subprocess
|
||||
import sys
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
|
||||
CORE = os.environ.get("CORE_URL", "http://127.0.0.1:9120")
|
||||
RADARR = os.environ.get("RADARR_URL", "http://192.168.1.118:7878")
|
||||
RADARR_KEY = os.environ.get("RADARR_KEY", "")
|
||||
|
||||
MAX_THEMES_PER_ITEM = 5
|
||||
MAX_SIMILAR = 40
|
||||
|
||||
def get(url, headers=None, timeout=20):
|
||||
|
||||
def get(url, headers=None, timeout=25):
|
||||
try:
|
||||
req = urllib.request.Request(url, headers=headers or {})
|
||||
with urllib.request.urlopen(req, timeout=timeout) as r:
|
||||
@@ -43,58 +52,61 @@ def post(path, payload):
|
||||
def norm(s):
|
||||
s = (s or "").lower().replace("ё", "е")
|
||||
s = re.sub(r"[:!?.,'’\"()\[\]]", " ", s)
|
||||
s = re.sub(r"\b(part|chapter|часть|том|книга)\b", " ", s)
|
||||
return " ".join(s.split())
|
||||
|
||||
|
||||
# ─────────── источники ───────────
|
||||
|
||||
def movies():
|
||||
data, err = get(f"{RADARR}/api/v3/movie", {"X-Api-Key": RADARR_KEY})
|
||||
if err:
|
||||
print(f" Radarr: ошибка {err}")
|
||||
print(f" Radarr: {err}")
|
||||
return []
|
||||
out = []
|
||||
for m in data or []:
|
||||
col = m.get("collection") or {}
|
||||
out.append({
|
||||
"title": m.get("title"), "year": m.get("year"),
|
||||
"tmdb": m.get("tmdbId"),
|
||||
"title": m.get("title"), "year": m.get("year"), "tmdb": m.get("tmdbId"),
|
||||
"collection": col.get("title"), "collection_tmdb": col.get("tmdbId"),
|
||||
"genres": m.get("genres") or [],
|
||||
"genres": m.get("genres") or [], "studio": m.get("studio"),
|
||||
"keywords": (m.get("keywords") or [])[:MAX_THEMES_PER_ITEM],
|
||||
})
|
||||
return out
|
||||
|
||||
|
||||
def books():
|
||||
script = """
|
||||
script = '''
|
||||
import json, sqlite3
|
||||
c = sqlite3.connect('/opt/books/library/metadata.db')
|
||||
q = '''select b.id, b.title, b.series_index, s.name
|
||||
from books b left join books_series_link l on l.book = b.id
|
||||
left join series s on s.id = l.series'''
|
||||
rows = []
|
||||
for bid, title, idx, series in c.execute(q):
|
||||
for bid, title in c.execute("select id, title from books"):
|
||||
authors = [r[0] for r in c.execute(
|
||||
'select a.name from authors a join books_authors_link l on l.author = a.id where l.book = ?', (bid,))]
|
||||
rows.append({"id": bid, "title": title, "series": series,
|
||||
"series_index": idx, "authors": authors})
|
||||
"select a.name from authors a join books_authors_link l on l.author=a.id where l.book=?", (bid,))]
|
||||
series = c.execute(
|
||||
"select s.name from series s join books_series_link l on l.series=s.id where l.book=?", (bid,)).fetchone()
|
||||
tags = [r[0] for r in c.execute(
|
||||
"select t.name from tags t join books_tags_link l on l.tag=t.id where l.book=?", (bid,))]
|
||||
rows.append({"id": bid, "title": title, "authors": authors,
|
||||
"series": series[0] if series else None, "tags": tags})
|
||||
print(json.dumps(rows, ensure_ascii=False))
|
||||
"""
|
||||
path = "/tmp/books.json"
|
||||
'''
|
||||
path = "/tmp/books_graph.json"
|
||||
open(path, "w", encoding="utf-8").write(script)
|
||||
subprocess.run(["pct", "push", "111", path, path, "--perms", "644"],
|
||||
capture_output=True, timeout=30)
|
||||
subprocess.run(["pct", "push", "111", path, path, "--perms", "644"], capture_output=True, timeout=30)
|
||||
out = subprocess.run(["pct", "exec", "111", "--", "python3", path],
|
||||
capture_output=True, text=True, timeout=60)
|
||||
try:
|
||||
return json.loads(out.stdout or "[]")
|
||||
except Exception:
|
||||
print(" Calibre: не прочитал", (out.stderr or "")[:80])
|
||||
print(" Calibre:", (out.stderr or "")[:80])
|
||||
return []
|
||||
|
||||
|
||||
# ─────────── граф ───────────
|
||||
def decade(year):
|
||||
try:
|
||||
y = int(year)
|
||||
except (TypeError, ValueError):
|
||||
return None
|
||||
return f"{(y // 10) * 10}-е"
|
||||
|
||||
|
||||
def main():
|
||||
mv = movies()
|
||||
@@ -102,58 +114,88 @@ def main():
|
||||
print(f"фильмов: {len(mv)}, книг: {len(bk)}")
|
||||
|
||||
ids = {}
|
||||
made_cards = 0
|
||||
made_links = 0
|
||||
cards = 0
|
||||
links = 0
|
||||
|
||||
def card(kind, key, title, status=None):
|
||||
nonlocal made_cards
|
||||
nonlocal cards
|
||||
res, err = post("/entity", {"kind": kind, "key": key, "title": title, "status": status})
|
||||
if err or not res:
|
||||
return None
|
||||
made_cards += 1
|
||||
cards += 1
|
||||
ids[key] = res.get("id")
|
||||
return res.get("id")
|
||||
|
||||
def link(a, b, relation):
|
||||
nonlocal made_links
|
||||
def link(a, b, rel):
|
||||
nonlocal links
|
||||
if not a or not b or a == b:
|
||||
return
|
||||
_, err = post("/link", {"from": a, "to": b, "relation": relation})
|
||||
_, err = post("/link", {"from": a, "to": b, "relation": rel})
|
||||
if not err:
|
||||
made_links += 1
|
||||
links += 1
|
||||
|
||||
# фильмы
|
||||
for m in mv:
|
||||
card("фильм", f"tmdb:{m['tmdb']}", f"{m['title']} ({m['year']})", "в медиатеке")
|
||||
|
||||
# коллекции
|
||||
# фильмы и их метаданные
|
||||
for m in mv:
|
||||
mid = card("фильм", f"tmdb:{m['tmdb']}", f"{m['title']} ({m['year']})", "в медиатеке")
|
||||
for g in m["genres"]:
|
||||
gid = card("жанр", f"genre:{norm(g)}", g)
|
||||
link(mid, gid, "жанр")
|
||||
if m["studio"]:
|
||||
sid = card("студия", f"studio:{norm(m['studio'])}", m["studio"])
|
||||
link(mid, sid, "снят студией")
|
||||
for kw in m["keywords"]:
|
||||
tid = card("тема", f"theme:{norm(kw)}", kw)
|
||||
link(mid, tid, "тема")
|
||||
dec = decade(m["year"])
|
||||
if dec:
|
||||
did = card("эпоха", f"decade:{dec}", dec)
|
||||
link(mid, did, "снят в")
|
||||
if m["collection"]:
|
||||
key = f"collection:{m['collection_tmdb'] or norm(m['collection'])}"
|
||||
card("коллекция", key, m["collection"], "франшиза")
|
||||
link(ids.get(f"tmdb:{m['tmdb']}"), ids.get(key), "входит в")
|
||||
cid = card("коллекция", f"collection:{m['collection_tmdb'] or norm(m['collection'])}",
|
||||
m["collection"], "франшиза")
|
||||
link(mid, cid, "входит в")
|
||||
|
||||
# книги
|
||||
for b in bk:
|
||||
card("книга", f"calibre:{b['id']}", b["title"], "в библиотеке")
|
||||
for author in b.get("authors") or []:
|
||||
key = f"author:{norm(author)}"
|
||||
card("автор", key, author)
|
||||
link(ids.get(f"calibre:{b['id']}"), ids.get(key), "написал")
|
||||
bid = card("книга", f"calibre:{b['id']}", b["title"], "в библиотеке")
|
||||
for a in b.get("authors") or []:
|
||||
aid = card("автор", f"author:{norm(a)}", a)
|
||||
link(bid, aid, "написал")
|
||||
if b.get("series"):
|
||||
key = f"series:{norm(b['series'])}"
|
||||
card("серия книг", key, b["series"], "книжная серия")
|
||||
link(ids.get(f"calibre:{b['id']}"), ids.get(key), "входит в серию")
|
||||
sid = card("серия книг", f"series:{norm(b['series'])}", b["series"], "книжная серия")
|
||||
link(bid, sid, "входит в серию")
|
||||
for t in b.get("tags") or []:
|
||||
gid = card("жанр", f"genre:{norm(t)}", t)
|
||||
link(bid, gid, "жанр")
|
||||
|
||||
# экранизации: книга ↔ фильм по названию
|
||||
# экранизации
|
||||
by_title = {}
|
||||
for m in mv:
|
||||
by_title.setdefault(norm(m["title"]), []).append(("фильм", m["tmdb"]))
|
||||
by_title.setdefault(norm(m["title"]), []).append(m["tmdb"])
|
||||
for b in bk:
|
||||
for kind, ident in by_title.get(norm(b["title"]), []):
|
||||
link(ids.get(f"calibre:{b['id']}"), ids.get(f"tmdb:{ident}"), "экранизация")
|
||||
for tmdb in by_title.get(norm(b["title"]), []):
|
||||
link(ids.get(f"calibre:{b['id']}"), ids.get(f"tmdb:{tmdb}"), "экранизация")
|
||||
|
||||
# общая вселенная: коллекция фильмов ↔ книжная серия с тем же названием
|
||||
# продолжения внутри коллекции (по году)
|
||||
by_col = {}
|
||||
for m in mv:
|
||||
if m["collection"]:
|
||||
by_col.setdefault(norm(m["collection"]), []).append(m)
|
||||
for col, items in by_col.items():
|
||||
items.sort(key=lambda x: x.get("year") or 0)
|
||||
for prev, nxt in zip(items, items[1:]):
|
||||
link(ids.get(f"tmdb:{prev['tmdb']}"), ids.get(f"tmdb:{nxt['tmdb']}"), "продолжение")
|
||||
|
||||
# похожие: ≥2 общих жанра
|
||||
made = 0
|
||||
for i, a in enumerate(mv):
|
||||
for b in mv[i + 1:]:
|
||||
common = set(a["genres"]) & set(b["genres"])
|
||||
if len(common) >= 2 and made < MAX_SIMILAR:
|
||||
link(ids.get(f"tmdb:{a['tmdb']}"), ids.get(f"tmdb:{b['tmdb']}"), "похож")
|
||||
made += 1
|
||||
|
||||
# общая вселенная: коллекция ↔ книжная серия
|
||||
for m in mv:
|
||||
if not m["collection"]:
|
||||
continue
|
||||
@@ -163,16 +205,7 @@ def main():
|
||||
if b.get("series") and norm(b["series"]) == col_norm:
|
||||
link(ids.get(col_key), ids.get(f"series:{norm(b['series'])}"), "общая вселенная")
|
||||
|
||||
print(f"карточек создано/обновлено: {made_cards}, связей: {made_links}")
|
||||
|
||||
# сводка по типам связей
|
||||
from collections import Counter
|
||||
try:
|
||||
import urllib.request as u
|
||||
with u.urlopen(f"{CORE}/entity/{list(ids.values())[0]}", timeout=20) as r:
|
||||
pass
|
||||
except Exception:
|
||||
pass
|
||||
print(f"карточек: {cards}, связей: {links}")
|
||||
return 0
|
||||
|
||||
|
||||
|
||||
Reference in new issue
Block a user