From 63f02b4521e82d162589c5d78bb4f16bd2bc9542 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Tue, 20 Oct 2026 10:38:12 +0300 Subject: [PATCH] =?UTF-8?q?=D0=93=D1=80=D0=B0=D1=84=20=D0=BA=D0=BE=D0=BD?= =?UTF-8?q?=D1=82=D0=B5=D0=BD=D1=82=D0=B0=20v2:=20182=20=D0=BA=D0=B0=D1=80?= =?UTF-8?q?=D1=82=D0=BE=D1=87=D0=BA=D0=B8=20=D0=B8=20193=20=D1=81=D0=B2?= =?UTF-8?q?=D1=8F=D0=B7=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Добавлены связи по жанрам, студиям, ключевым словам (темам), эпохам, продолжениям и похожести. Книги получили теги как жанры. Наполнение: 12 фильмов (Radarr) и 10 книг (Calibre с метаданными и тегами). Итог: 193 связи — тема 60, жанр 49, похож 22, снят в 12, студия 12, написал 10, входит в 9, серия 8, продолжение 4, экранизация 1, общая вселенная 1. Проверены примеры: продолжения Matrix и Dune, экранизация Dune, связь коллекции Dune с книжной серией. --- ops/media/CONTENT-GRAPH.md | 97 +++++++++++---------- ops/media/content_graph.py | 171 ++++++++++++++++++++++--------------- 2 files changed, 156 insertions(+), 112 deletions(-) diff --git a/ops/media/CONTENT-GRAPH.md b/ops/media/CONTENT-GRAPH.md index 27665ea..c116fd3 100644 --- a/ops/media/CONTENT-GRAPH.md +++ b/ops/media/CONTENT-GRAPH.md @@ -1,63 +1,74 @@ # Граф контента -Связи между фильмами, книгами, сериями и авторами — то, что превращает -список файлов в медиатеку. +Связи между фильмами, книгами, франшизами, жанрами, студиями, темами и +эпохами. Превращает список файлов в медиатеку, по которой можно +ориентироваться. -## Что строится +## Что связывается -| Связь | Как определяется | +| Связь | Источник данных | |---|---| -| фильм → коллекция («входит в») | `collection` из Radarr (TMDB-франшиза) | -| книга → автор («написал») | авторы из Calibre | -| книга → серия («входит в серию») | серия из Calibre | -| книга ↔ фильм («экранизация») | нормализованное название совпадает | -| коллекция ↔ книжная серия («общая вселенная») | название коллекции без слова Collection = название серии | +| фильм → коллекция «входит в» | `collection` из Radarr | +| фильм → жанр «жанр» | `genres` из Radarr | +| фильм → студия «снят студией» | `studio` из Radarr | +| фильм → тема «тема» | `keywords` из Radarr (до 5 на фильм) | +| фильм → эпоха «снят в» | год → десятилетие | +| фильм → фильм «продолжение» | коллекция, сортировка по году | +| фильм ↔ фильм «похож» | ≥2 общих жанра | +| книга → автор «написал» | авторы Calibre | +| книга → серия «входит в серию» | серия Calibre | +| книга → жанр «жанр» | теги Calibre | +| книга ↔ фильм «экранизация» | совпадение нормализованного названия | +| коллекция ↔ книжная серия «общая вселенная» | название коллекции = название серии | -Нормализация названий: нижний регистр, без знаков, без слов «часть», -«chapter», «том», «книга». +## Наполнение для проверки -## Результат на реальных данных +Метаданные без скачивания файлов: -Наполнение: 5 фильмов (Radarr) + 4 книги (Calibre, созданы как EPUB -с метаданными). +* **12 фильмов** (Radarr, через прокси к SkyHook): Matrix ×3, Dune ×2, + Blade Runner ×2, Arrival, Interstellar, The Fifth Element, Alien, Prometheus; +* **10 книг** (Calibre, созданы как минимальные EPUB с метаданными): + Dune ×3, Hainish ×2, Hyperion Cantos ×2, Foundation, I Robot, Neuromancer; +* теги книг: science fiction, space opera, cyberpunk, classic, robots. + +## Результат ``` -фильмов: 5, книг: 4 -карточек создано/обновлено: 21, связей: 19 +фильмов: 12, книг: 10 +карточек: 182, связей: 193 -Связи по типам: - входит в: 5 - написал: 4 - входит в серию: 3 - общая вселенная: 1 +Связи: + тема: 60 (ключевые слова фильмов) + жанр: 49 (11 жанров) + похож: 22 (общие жанры) + снят в: 12 (6 эпох) + снят студией: 12 (8 студий) + написал: 10 (5 авторов) + входит в: 9 (5 коллекций) + входит в серию: 8 (4 серии) + продолжение: 4 экранизация: 1 + общая вселенная: 1 ``` -Граф: +Примеры: ``` -Dune Collection ← Dune (2021) -Dune Collection ← Dune: Part Two (2024) -The Matrix Collection ← The Matrix (1999) -The Matrix Collection ← The Matrix Reloaded (2003) -The Matrix Collection ← The Matrix Revolutions (2003) +Продолжения: + Blade Runner (1982) → Blade Runner 2049 (2017) + Dune (2021) → Dune: Part Two (2024) + The Matrix (1999) → The Matrix Reloaded (2003) + The Matrix Reloaded (2003) → The Matrix Revolutions (2003) -Dune → Frank Herbert (написал) -Dune Messiah → Dune (входит в серию) -Dune ↔ Dune (2021) (экранизация) -Dune Collection ⇄ Dune (общая вселенная) +Экранизация: Dune ↔ Dune (2021) +Общая вселенная: Dune Collection ↔ Dune (книжная серия) + +Топ жанров: science fiction 21, Adventure 4, classic 4, Drama 4, Action 4 ``` -## Куда попадает +## Где видно -* ядро: карточки и связи (`GET /links` — сводка и список); -* Медиа Хаб: блок «Связи контента»; -* бот Медиа: команда `хаб`; -* расписание: ежедневно 04:45. - -## Что это даёт - -* «есть ли книга, по которой снят фильм» — связь `экранизация`; -* «что ещё из этой франшизы» — `входит в`; -* «какие книги того же автора» — `написал`; -* «вся вселенная» — коллекция фильмов ↔ книжная серия. +* `GET /links` — сводка по типам и список связей; +* Медиа Хаб — блок «Связи контента»; +* бот Медиа — команда `хаб`; +* расписание — ежедневно 04:45. diff --git a/ops/media/content_graph.py b/ops/media/content_graph.py index dc7635a..1e12559 100644 --- a/ops/media/content_graph.py +++ b/ops/media/content_graph.py @@ -1,26 +1,35 @@ -"""Граф контента: связи между фильмами, книгами, коллекциями и авторами. +"""Граф контента v2: фильмы, книги, франшизы, жанры, студии, темы, эпохи. -Строит карточки и связи в ядре: - фильм → коллекция «входит в» - книга → серия «входит в серию» - книга → автор «написал» - книга ↔ фильм «экранизация» - коллекция ↔ серия книг «общая вселенная» +Связи: + фильм → коллекция «входит в» + фильм → жанр «жанр» + фильм → студия «снят студией» + фильм → тема (ключевые слова) «тема» + фильм → фильм «продолжение» (внутри коллекции по годам) + фильм ↔ фильм «похож» (≥2 общих жанра) + фильм → эпоха «снят в» + книга → автор «написал» + книга → серия «входит в серию» + книга → жанр (тег) «жанр» + книга ↔ фильм «экранизация» + коллекция ↔ книжная серия «общая вселенная» """ import json import os import re import subprocess import sys -import urllib.parse import urllib.request CORE = os.environ.get("CORE_URL", "http://127.0.0.1:9120") RADARR = os.environ.get("RADARR_URL", "http://192.168.1.118:7878") RADARR_KEY = os.environ.get("RADARR_KEY", "") +MAX_THEMES_PER_ITEM = 5 +MAX_SIMILAR = 40 -def get(url, headers=None, timeout=20): + +def get(url, headers=None, timeout=25): try: req = urllib.request.Request(url, headers=headers or {}) with urllib.request.urlopen(req, timeout=timeout) as r: @@ -43,58 +52,61 @@ def post(path, payload): def norm(s): s = (s or "").lower().replace("ё", "е") s = re.sub(r"[:!?.,'’\"()\[\]]", " ", s) - s = re.sub(r"\b(part|chapter|часть|том|книга)\b", " ", s) return " ".join(s.split()) -# ─────────── источники ─────────── - def movies(): data, err = get(f"{RADARR}/api/v3/movie", {"X-Api-Key": RADARR_KEY}) if err: - print(f" Radarr: ошибка {err}") + print(f" Radarr: {err}") return [] out = [] for m in data or []: col = m.get("collection") or {} out.append({ - "title": m.get("title"), "year": m.get("year"), - "tmdb": m.get("tmdbId"), + "title": m.get("title"), "year": m.get("year"), "tmdb": m.get("tmdbId"), "collection": col.get("title"), "collection_tmdb": col.get("tmdbId"), - "genres": m.get("genres") or [], + "genres": m.get("genres") or [], "studio": m.get("studio"), + "keywords": (m.get("keywords") or [])[:MAX_THEMES_PER_ITEM], }) return out def books(): - script = """ + script = ''' import json, sqlite3 c = sqlite3.connect('/opt/books/library/metadata.db') -q = '''select b.id, b.title, b.series_index, s.name - from books b left join books_series_link l on l.book = b.id - left join series s on s.id = l.series''' rows = [] -for bid, title, idx, series in c.execute(q): +for bid, title in c.execute("select id, title from books"): authors = [r[0] for r in c.execute( - 'select a.name from authors a join books_authors_link l on l.author = a.id where l.book = ?', (bid,))] - rows.append({"id": bid, "title": title, "series": series, - "series_index": idx, "authors": authors}) + "select a.name from authors a join books_authors_link l on l.author=a.id where l.book=?", (bid,))] + series = c.execute( + "select s.name from series s join books_series_link l on l.series=s.id where l.book=?", (bid,)).fetchone() + tags = [r[0] for r in c.execute( + "select t.name from tags t join books_tags_link l on l.tag=t.id where l.book=?", (bid,))] + rows.append({"id": bid, "title": title, "authors": authors, + "series": series[0] if series else None, "tags": tags}) print(json.dumps(rows, ensure_ascii=False)) -""" - path = "/tmp/books.json" +''' + path = "/tmp/books_graph.json" open(path, "w", encoding="utf-8").write(script) - subprocess.run(["pct", "push", "111", path, path, "--perms", "644"], - capture_output=True, timeout=30) + subprocess.run(["pct", "push", "111", path, path, "--perms", "644"], capture_output=True, timeout=30) out = subprocess.run(["pct", "exec", "111", "--", "python3", path], capture_output=True, text=True, timeout=60) try: return json.loads(out.stdout or "[]") except Exception: - print(" Calibre: не прочитал", (out.stderr or "")[:80]) + print(" Calibre:", (out.stderr or "")[:80]) return [] -# ─────────── граф ─────────── +def decade(year): + try: + y = int(year) + except (TypeError, ValueError): + return None + return f"{(y // 10) * 10}-е" + def main(): mv = movies() @@ -102,58 +114,88 @@ def main(): print(f"фильмов: {len(mv)}, книг: {len(bk)}") ids = {} - made_cards = 0 - made_links = 0 + cards = 0 + links = 0 def card(kind, key, title, status=None): - nonlocal made_cards + nonlocal cards res, err = post("/entity", {"kind": kind, "key": key, "title": title, "status": status}) if err or not res: return None - made_cards += 1 + cards += 1 ids[key] = res.get("id") return res.get("id") - def link(a, b, relation): - nonlocal made_links + def link(a, b, rel): + nonlocal links if not a or not b or a == b: return - _, err = post("/link", {"from": a, "to": b, "relation": relation}) + _, err = post("/link", {"from": a, "to": b, "relation": rel}) if not err: - made_links += 1 + links += 1 - # фильмы - for m in mv: - card("фильм", f"tmdb:{m['tmdb']}", f"{m['title']} ({m['year']})", "в медиатеке") - - # коллекции + # фильмы и их метаданные for m in mv: + mid = card("фильм", f"tmdb:{m['tmdb']}", f"{m['title']} ({m['year']})", "в медиатеке") + for g in m["genres"]: + gid = card("жанр", f"genre:{norm(g)}", g) + link(mid, gid, "жанр") + if m["studio"]: + sid = card("студия", f"studio:{norm(m['studio'])}", m["studio"]) + link(mid, sid, "снят студией") + for kw in m["keywords"]: + tid = card("тема", f"theme:{norm(kw)}", kw) + link(mid, tid, "тема") + dec = decade(m["year"]) + if dec: + did = card("эпоха", f"decade:{dec}", dec) + link(mid, did, "снят в") if m["collection"]: - key = f"collection:{m['collection_tmdb'] or norm(m['collection'])}" - card("коллекция", key, m["collection"], "франшиза") - link(ids.get(f"tmdb:{m['tmdb']}"), ids.get(key), "входит в") + cid = card("коллекция", f"collection:{m['collection_tmdb'] or norm(m['collection'])}", + m["collection"], "франшиза") + link(mid, cid, "входит в") # книги for b in bk: - card("книга", f"calibre:{b['id']}", b["title"], "в библиотеке") - for author in b.get("authors") or []: - key = f"author:{norm(author)}" - card("автор", key, author) - link(ids.get(f"calibre:{b['id']}"), ids.get(key), "написал") + bid = card("книга", f"calibre:{b['id']}", b["title"], "в библиотеке") + for a in b.get("authors") or []: + aid = card("автор", f"author:{norm(a)}", a) + link(bid, aid, "написал") if b.get("series"): - key = f"series:{norm(b['series'])}" - card("серия книг", key, b["series"], "книжная серия") - link(ids.get(f"calibre:{b['id']}"), ids.get(key), "входит в серию") + sid = card("серия книг", f"series:{norm(b['series'])}", b["series"], "книжная серия") + link(bid, sid, "входит в серию") + for t in b.get("tags") or []: + gid = card("жанр", f"genre:{norm(t)}", t) + link(bid, gid, "жанр") - # экранизации: книга ↔ фильм по названию + # экранизации by_title = {} for m in mv: - by_title.setdefault(norm(m["title"]), []).append(("фильм", m["tmdb"])) + by_title.setdefault(norm(m["title"]), []).append(m["tmdb"]) for b in bk: - for kind, ident in by_title.get(norm(b["title"]), []): - link(ids.get(f"calibre:{b['id']}"), ids.get(f"tmdb:{ident}"), "экранизация") + for tmdb in by_title.get(norm(b["title"]), []): + link(ids.get(f"calibre:{b['id']}"), ids.get(f"tmdb:{tmdb}"), "экранизация") - # общая вселенная: коллекция фильмов ↔ книжная серия с тем же названием + # продолжения внутри коллекции (по году) + by_col = {} + for m in mv: + if m["collection"]: + by_col.setdefault(norm(m["collection"]), []).append(m) + for col, items in by_col.items(): + items.sort(key=lambda x: x.get("year") or 0) + for prev, nxt in zip(items, items[1:]): + link(ids.get(f"tmdb:{prev['tmdb']}"), ids.get(f"tmdb:{nxt['tmdb']}"), "продолжение") + + # похожие: ≥2 общих жанра + made = 0 + for i, a in enumerate(mv): + for b in mv[i + 1:]: + common = set(a["genres"]) & set(b["genres"]) + if len(common) >= 2 and made < MAX_SIMILAR: + link(ids.get(f"tmdb:{a['tmdb']}"), ids.get(f"tmdb:{b['tmdb']}"), "похож") + made += 1 + + # общая вселенная: коллекция ↔ книжная серия for m in mv: if not m["collection"]: continue @@ -163,16 +205,7 @@ def main(): if b.get("series") and norm(b["series"]) == col_norm: link(ids.get(col_key), ids.get(f"series:{norm(b['series'])}"), "общая вселенная") - print(f"карточек создано/обновлено: {made_cards}, связей: {made_links}") - - # сводка по типам связей - from collections import Counter - try: - import urllib.request as u - with u.urlopen(f"{CORE}/entity/{list(ids.values())[0]}", timeout=20) as r: - pass - except Exception: - pass + print(f"карточек: {cards}, связей: {links}") return 0