Files
buryan-infra/ops/hub-core/linker.py
buryan-agent 0384335f5d Связка карточек по названию + расписания ядра
linker.py связывает сущности с одинаковыми названиями разных видов:
нормализация (регистр, ё→е, год в скобках, знаки, служебные слова), затем
отношение «одно_название».

Проверено на тесте: «Дюна» (фильм) ↔ «Дюна (1965)» (книга) — связь создана,
тестовые карточки удалены.

Все расписания ядра на месте: коннекторы (10 мин), сверка (03:30), связка
(03:45), дайджест событий (08:30), resume (19:00). Обе службы активны.
2026-10-19 18:44:12 +03:00

71 lines
2.4 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Связка карточек: один объект в разных сервисах — одна связь.
Ищем сущности с похожими названиями в разных видах (фильм, книга, сериал,
заявка) и связываем их. Это и есть «одна карточка на объект».
"""
import os
import re
import sys
import psycopg2
DSN = os.environ.get("CORE_DSN",
"dbname=hub_core user=hub_core password=hub_core host=192.168.1.151 client_encoding=utf8")
BASE = "/opt/hub-core"
def norm(s):
"""Нормализация названия: нижний регистр, без года, знаков и лишних слов."""
s = (s or "").lower().replace("ё", "е")
s = re.sub(r"\(\d{4}\)", " ", s)
s = re.sub(r"[^a-zа-я0-9 ]+", " ", s)
for w in ("часть", "part", "фильм", "сериал", "книга"):
s = s.replace(f" {w} ", " ")
return " ".join(s.split())
KINDS_PAIR = ("фильм", "книга", "сериал", "заявка", "музыка", "фотоальбом")
def main():
con = psycopg2.connect(DSN, connect_timeout=10)
con.autocommit = True
cur = con.cursor()
cur.execute("select id, kind, title from entities where kind = any(%s)", (list(KINDS_PAIR),))
rows = cur.fetchall()
by_title = {}
for eid, kind, title in rows:
key = norm(title)
if len(key) < 3:
continue
by_title.setdefault(key, []).append((eid, kind, title))
made = 0
for key, items in by_title.items():
if len(items) < 2:
continue
kinds = {k for _, k, _ in items}
if len(kinds) < 2:
continue
items.sort()
base = items[0]
for other in items[1:]:
cur.execute("""insert into entity_links (from_id, to_id, relation)
values (%s, %s, 'одно_название')
on conflict do nothing returning id""", (base[0], other[0]))
if cur.fetchone():
made += 1
print(f" связал: {base[2]} ({base[1]}) ↔ {other[2]} ({other[1]})")
cur.execute("select count(*) from entity_links")
total = cur.fetchone()[0]
con.close()
print(f"[связка] новых связей: {made} | всего: {total}")
return 0
if __name__ == "__main__":
sys.exit(main())