linker.py связывает сущности с одинаковыми названиями разных видов: нормализация (регистр, ё→е, год в скобках, знаки, служебные слова), затем отношение «одно_название». Проверено на тесте: «Дюна» (фильм) ↔ «Дюна (1965)» (книга) — связь создана, тестовые карточки удалены. Все расписания ядра на месте: коннекторы (10 мин), сверка (03:30), связка (03:45), дайджест событий (08:30), resume (19:00). Обе службы активны.
71 lines
2.4 KiB
Python
71 lines
2.4 KiB
Python
"""Связка карточек: один объект в разных сервисах — одна связь.
|
||
|
||
Ищем сущности с похожими названиями в разных видах (фильм, книга, сериал,
|
||
заявка) и связываем их. Это и есть «одна карточка на объект».
|
||
"""
|
||
import os
|
||
import re
|
||
import sys
|
||
|
||
import psycopg2
|
||
|
||
DSN = os.environ.get("CORE_DSN",
|
||
"dbname=hub_core user=hub_core password=hub_core host=192.168.1.151 client_encoding=utf8")
|
||
BASE = "/opt/hub-core"
|
||
|
||
|
||
def norm(s):
|
||
"""Нормализация названия: нижний регистр, без года, знаков и лишних слов."""
|
||
s = (s or "").lower().replace("ё", "е")
|
||
s = re.sub(r"\(\d{4}\)", " ", s)
|
||
s = re.sub(r"[^a-zа-я0-9 ]+", " ", s)
|
||
for w in ("часть", "part", "фильм", "сериал", "книга"):
|
||
s = s.replace(f" {w} ", " ")
|
||
return " ".join(s.split())
|
||
|
||
|
||
KINDS_PAIR = ("фильм", "книга", "сериал", "заявка", "музыка", "фотоальбом")
|
||
|
||
|
||
def main():
|
||
con = psycopg2.connect(DSN, connect_timeout=10)
|
||
con.autocommit = True
|
||
cur = con.cursor()
|
||
|
||
cur.execute("select id, kind, title from entities where kind = any(%s)", (list(KINDS_PAIR),))
|
||
rows = cur.fetchall()
|
||
|
||
by_title = {}
|
||
for eid, kind, title in rows:
|
||
key = norm(title)
|
||
if len(key) < 3:
|
||
continue
|
||
by_title.setdefault(key, []).append((eid, kind, title))
|
||
|
||
made = 0
|
||
for key, items in by_title.items():
|
||
if len(items) < 2:
|
||
continue
|
||
kinds = {k for _, k, _ in items}
|
||
if len(kinds) < 2:
|
||
continue
|
||
items.sort()
|
||
base = items[0]
|
||
for other in items[1:]:
|
||
cur.execute("""insert into entity_links (from_id, to_id, relation)
|
||
values (%s, %s, 'одно_название')
|
||
on conflict do nothing returning id""", (base[0], other[0]))
|
||
if cur.fetchone():
|
||
made += 1
|
||
print(f" связал: {base[2]} ({base[1]}) ↔ {other[2]} ({other[1]})")
|
||
|
||
cur.execute("select count(*) from entity_links")
|
||
total = cur.fetchone()[0]
|
||
con.close()
|
||
print(f"[связка] новых связей: {made} | всего: {total}")
|
||
return 0
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|