From 1b6847822c4a403a1d01b4a501f6d07ff8bced9d Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Wed, 21 Oct 2026 11:48:40 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9A=D0=BD=D0=B8=D0=B3=D0=B8:=20=D0=B1=D0=BE?= =?UTF-8?q?=D1=82=20=D0=B7=D0=BD=D0=B0=D0=B5=D1=82=20=D0=BA=D0=B0=D1=82?= =?UTF-8?q?=D0=B0=D0=BB=D0=BE=D0=B3=20=D0=9F=D0=BE=D0=BB=D0=B8=D0=BD=D1=8B?= =?UTF-8?q?,=20=D1=81=D0=BE=D0=B2=D0=B5=D1=82=D1=83=D0=B5=D1=82=20=D0=BF?= =?UTF-8?q?=D0=BE=D1=85=D0=BE=D0=B6=D0=B8=D0=B5=20=D0=B8=20=D0=BA=D0=B0?= =?UTF-8?q?=D1=87=D0=B0=D0=B5=D1=82=20=D0=B2=20=D0=B1=D0=B8=D0=B1=D0=BB?= =?UTF-8?q?=D0=B8=D0=BE=D1=82=D0=B5=D0=BA=D1=83?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Каталог polina-library.json (181 книга, 45 серий, статусы серий) теперь используется ботом. Добавлены команды: /полина (что читать дальше, что ждёт перевода или выхода), /похожие (та же серия, следующий том, другие серии автора), /скачать (Флибуста-зеркало и libgen, с проверкой совпадения названия). Скачанное кладётся в /opt/books/ingest — Calibre-Web-Automated импортирует сам. Для Полины создана полка «Полина» и на неё добавлены три книги (Царство Проклятых, Плетущая, Обсидиановый огонь). Ловушки: без сверки названия Флибуста отдаёт случайную книгу; order — зарезервированное слово в SQLite; calibredb remove в контейнере молчит, удалять через metadata.db. --- ops/books/BOOKS.md | 100 +++++ ops/books/add_to_shelf.py | 48 +++ ops/books/book_bot.py | 791 ++++++++++++++++++++++++++++++++++++++ 3 files changed, 939 insertions(+) create mode 100644 ops/books/BOOKS.md create mode 100644 ops/books/add_to_shelf.py create mode 100644 ops/books/book_bot.py diff --git a/ops/books/BOOKS.md b/ops/books/BOOKS.md new file mode 100644 index 0000000..52b5da6 --- /dev/null +++ b/ops/books/BOOKS.md @@ -0,0 +1,100 @@ +# Книги: каталог, рекомендации и скачивание + +## Что было и что стало + +Каталог Полины существовал отдельно: `polina-library.json` (181 книга, +45 серий, статусы «прочитано / доступно / ждём перевод / ждём выхода»), +а книжный бот про него не знал и умел только искать ссылки. Скачивания не было +вообще — только ссылки на страницы. + +Теперь бот работает с каталогом и умеет качать книги в библиотеку. + +## Команды бота + +| Команда | Что делает | +|---|---| +| `/полина` | каталог: сколько прочитано, что доступно, что ждёт перевода/выхода | +| `/похожие <книга>` | та же серия, следующий том, другие серии автора | +| `/скачать <книга>` | скачивает fb2/epub в библиотеку | +| `/find <книга>` | ищет везде (ЛитРес, OpenLibrary, archive.org, Флибуста, libgen) | +| `/wanted` (`/дальше`) | что можно читать дальше | +| `/lib <запрос>` | что уже есть в библиотеке | + +Работают и без слэша: «скачай …», «похожие …», «найди …». + +### Пример + +``` +/похожие Мара и Морок + +📚 Похожее на «Мара и Морок» — Лия Арден + +✅ Прочитано в серии «Мара и Морок / Смерть и Тень»: +• Мара и Морок +• Мара и Морок. Особенная Тень +• Мара и Морок. 500 лет назад +• Мара и Морок. Графический роман. Том 1 + +➡️ Следующая: Морана и Тень. Плетущая (🇷🇺 есть на русском) +/скачать Морана и Тень. Плетущая +``` + +## Как работает скачивание + +``` +/скачать «название» + ├─ Флибуста-зеркало (flibusta.site / .club) + │ поиск → страница книги → /b/{id}/fb2 или /epub + │ ПРОВЕРКА: название должно совпасть, иначе пропуск + ├─ libgen.li (резерв) + │ поиск → ads.php → get.php?md5=…&key=… → файл + ▼ +/opt/books/ingest (папка автоимпорта Calibre-Web) + ▼ +Calibre-Web-Automated импортирует за 1–2 минуты + ▼ +Книга в библиотеке (books.buryans.ru), можно читать/скачать +``` + +Проверка названия обязательна: без неё Флибуста на запрос +«Морана и Тень. Плетущая» отдала «Донбасский лабиринт». + +## Полка Полины + +Создана полка **«Полина»** (user_id 3, `p.parshkova95@gmail.com`). +На ней уже три книги: + +| Книга | Источник | +|---|---| +| Царство Проклятых | libgen | +| Плетущая (Морана и Тень) | libgen | +| Обсидиановый огонь | libgen | + +Как добавить ещё: `/скачать <следующая книга из /полина>`, после импорта +книга попадает в библиотеку; на полку добавляется скриптом +`ops/books/add_to_shelf.py`. + +## Технические детали + +- Контейнер `book-bot` пересобран, добавлен монтаж `/opt/books/ingest:/ingest`. +- Переменные: `CATALOG_JSON=/app/catalog/polina-library.json`, + `INGEST_DIR=/ingest`, `VPN_PROXY=http://192.168.1.161:7890`. +- Скачивание идёт через VPN-прокси (CT161), прямого интернета у CT нет. +- Статусы берутся из `series[].personal_status` и `series[].next`: + `available_unread`, `waiting_ru`, `waiting_release`, `other_line_available`. + +## Ловушки + +1. **Флибуста без проверки названия** отдаёт случайную книгу — обязательна + сверка заголовка (`title_matches`). +2. **`order` — зарезервированное слово** в SQLite: + `insert into book_shelf_link (book_id,"order",shelf,…)`. +3. **`calibredb remove` в контейнере молчит** — удаление делать через + `metadata.db` + удаление папки книги. +4. **CWA импортирует сам** — файл из `/ingest` исчезает, это нормально. + +## Следующее + +- `/полина` → кнопка «скачать всё доступное» (пакетно). +- Отправка книги на Kindle/OPDS-ссылкой в Matrix. +- Автоуведомление, когда выходит переведённая книга из «ждём перевода». diff --git a/ops/books/add_to_shelf.py b/ops/books/add_to_shelf.py new file mode 100644 index 0000000..30818b5 --- /dev/null +++ b/ops/books/add_to_shelf.py @@ -0,0 +1,48 @@ +"""Добавляет книгу на полку «Полина» по id или названию.""" +import datetime +import sqlite3 +import sys + +APP = "/opt/books/config/app.db" +LIB = "/opt/books/library/metadata.db" +SHELF = "Полина" + +target = sys.argv[1] if len(sys.argv) > 1 else "" +if not target: + print("укажите название или id книги") + raise SystemExit(1) + +lib = sqlite3.connect(LIB) +if target.isdigit(): + row = lib.execute("select id,title from books where id=?", (int(target),)).fetchone() +else: + row = lib.execute("select id,title from books where title like ?", + (f"%{target}%",)).fetchone() +if not row: + print("книга не найдена в библиотеке") + raise SystemExit(1) +book_id, title = row + +app = sqlite3.connect(APP) +shelf = app.execute("select id from shelf where name=?", (SHELF,)).fetchone() +if shelf: + shelf_id = shelf[0] +else: + import uuid + now = datetime.datetime.now(datetime.UTC).isoformat() + cur = app.execute( + "insert into shelf (uuid,name,is_public,user_id,kobo_sync,created,last_modified)" + " values (?,?,?,?,?,?,?)", + (str(uuid.uuid4()), SHELF, 0, 3, 0, now, now)) + shelf_id = cur.lastrowid + print("создана полка:", shelf_id) + +if app.execute("select 1 from book_shelf_link where book_id=? and shelf=?", + (book_id, shelf_id)).fetchone(): + print("уже на полке:", title) +else: + app.execute('insert into book_shelf_link (book_id,"order",shelf,date_added)' + " values (?,?,?,?)", + (book_id, 0, shelf_id, datetime.datetime.now(datetime.UTC).isoformat())) + app.commit() + print(f"добавлено на полку «{SHELF}»: {title}") diff --git a/ops/books/book_bot.py b/ops/books/book_bot.py new file mode 100644 index 0000000..1fb6177 --- /dev/null +++ b/ops/books/book_bot.py @@ -0,0 +1,791 @@ +#!/usr/bin/env python3 +""" +book_bot.py — книжный бот в Matrix. + +ЧТО УМЕЕТ: + /find <название> — искать книгу во всех источниках (магазин, каталоги, + архивы, библиотеки) и прислать что нашлось; + /lib <запрос> — поиск по своей библиотеке (что уже есть); + /wanted — список книг, которые ещё не найдены; + /tg <название> — поиск постов в добавленных Telegram-каналах + (через веб-предпросмотр, без аккаунта); + /tgadd <канал> — добавить канал в список для поиска; + /tglist — какие каналы добавлены; + /tgdel <канал> — убрать канал; + /help — помощь. + +Работает через long-polling /sync, без внешних библиотек. +""" +import json +import os +import re +import sqlite3 +import sys +import time +import urllib.parse +import urllib.request +from datetime import datetime + +HS = os.environ.get("MATRIX_HS", "http://192.168.1.155:8008") +TOKEN = os.environ.get("MATRIX_TOKEN", "") +CFG = os.environ.get("BOT_CONFIG", "/app/config.json") +VPN = os.environ.get("VPN_PROXY", "http://192.168.1.161:7890") +LIB_DB = os.environ.get("CALIBRE_DB", "/calibre/metadata.db") +CATALOG_JSON = os.environ.get("CATALOG_JSON", "/app/catalog/polina-library.json") +INGEST = os.environ.get("INGEST_DIR", "/ingest") +UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/155" + +ALLOWED = set() + + +def log(msg): + line = f"[{datetime.now():%Y-%m-%d %H:%M:%S}] {msg}" + print(line, flush=True) + + +def load_cfg(): + try: + with open(CFG, encoding="utf-8") as f: + return json.load(f) + except Exception: + return {"users": [], "tg_channels": []} + + +def save_cfg(cfg): + with open(CFG, "w", encoding="utf-8") as f: + json.dump(cfg, f, ensure_ascii=False, indent=2) + + +def api(method, path, body=None): + url = f"{HS}{path}" + sep = "&" if "?" in url else "?" + url += f"{sep}access_token={TOKEN}" + data = json.dumps(body).encode() if body is not None else None + req = urllib.request.Request(url, data=data, method=method, + headers={"Content-Type": "application/json"}) + with urllib.request.urlopen(req, timeout=40) as r: + raw = r.read().decode() + return json.loads(raw) if raw else {} + + +def send(room, text): + tx = str(int(time.time() * 1000)) + try: + api("PUT", f"/_matrix/client/v3/rooms/{urllib.parse.quote(room)}" + f"/send/m.room.message/{tx}", + {"msgtype": "m.text", "body": text}) + return True + except Exception as e: + log(f"не отправить в {room}: {e}") + return False + + +def fetch(url, via_vpn=False): + req = urllib.request.Request(url, headers={"User-Agent": UA, "Accept-Language": "ru,en;q=0.8"}) + opener = (urllib.request.build_opener( + urllib.request.ProxyHandler({"http": VPN, "https": VPN})) if via_vpn + else urllib.request.build_opener()) + try: + with opener.open(req, timeout=30) as r: + return r.read().decode("utf-8", "replace") + except Exception: + return "" + + +def norm(s): + return re.sub(r"\s+", " ", (s or "").lower()).strip() + + +# ---------- каталог Полины ---------- + +def load_catalog(): + """Читает личный каталог: что прочитано, что ждёт, какие серии.""" + try: + with open(CATALOG_JSON, encoding="utf-8") as f: + return json.load(f) + except Exception as e: + log(f"каталог не читается: {e}") + return {} + + +def catalog_books(): + return (load_catalog().get("books") or []) + + +def catalog_series(): + return (load_catalog().get("series") or []) + + +def book_title(b): + return (b.get("title") or "").strip() + + +def book_author(b): + return (b.get("author") or "").strip() + + +def is_pending(b): + """Книга ещё не прочитана — интересна для скачивания.""" + status = (b.get("reading_status") or "").lower() + return status not in ("read", "completed_read", "not_interested", "main_line_completed") + + +def series_for_title(title): + """Находит серию, в которой прочитана эта книга.""" + t = norm(title) + for s in catalog_series(): + for rt in (s.get("read_titles") or []): + if norm(rt) and (norm(rt) in t or t in norm(rt)): + return s + return None + + +def next_of(series): + """Следующая книга серии (dict или None).""" + n = series.get("next") + return n if isinstance(n, dict) else None + + +def availability_label(av): + return { + "ru_available": "🇷🇺 есть на русском", + "original_available": "🇬🇧 только оригинал", + "available": "↪ доступно", + "not_available": "❌ пока нет", + }.get((av or "").lower(), av or "") + + +PENDING_GROUPS = [ + ("available_unread", "🟡 Доступно, но не прочитано"), + ("other_line_available", "↪ Другие линии/пары"), + ("waiting_ru", "🇷🇺 Ждём русский перевод"), + ("waiting_ru_or_copy", "🇷🇺 Нужна проверка перевода"), + ("waiting_release", "🟠 Ждём выхода"), + ("caught_up_waiting", "🔴 Прочитано всё, продолжения нет"), +] + + +def cmd_polina(): + data = load_catalog() + if not data: + return "Каталог Полины недоступен." + books = data.get("books") or [] + series = data.get("series") or [] + summary = data.get("summary") or {} + + lines = ["📚 **Каталог Полины**", ""] + lines.append(f"• Прочитано книг: **{len(books)}**") + lines.append(f"• Серий: **{len(series)}**") + if summary.get("read_books_with_series_mapping"): + lines.append(f"• Привязано к сериям: {summary['read_books_with_series_mapping']}") + + for status, header in PENDING_GROUPS: + group = [s for s in series if (s.get("personal_status") or "") == status] + if not group: + continue + lines.append("") + lines.append(f"**{header}** ({len(group)}):") + for s in group[:8]: + n = next_of(s) + if n and n.get("title"): + av = availability_label(n.get("availability")) + lines.append(f"• «{s['name']}» → {n['title']}" + + (f" ({av})" if av else "")) + else: + lines.append(f"• «{s['name']}»") + lines.append("") + lines.append("Скачать: `/скачать название` · похожее: `/похожие название`") + return "\n".join(lines) + + +def _match_books(query): + """Ищет книгу в каталоге по названию или автору.""" + q = norm(query) + if not q: + return [] + exact = [b for b in catalog_books() if q in norm(book_title(b))] + if exact: + return exact + return [b for b in catalog_books() if q in norm(book_author(b))] + + +def cmd_similar(query): + """Похожие книги: та же серия, тот же автор, что дальше читать.""" + title_hit = [b for b in catalog_books() if norm(query) in norm(book_title(b))] + series = series_for_title(query) + if not series and title_hit: + series = series_for_title(book_title(title_hit[0])) + + if not series and not title_hit: + ext = search_openlibrary(query) + if ext: + out = [f"В личном каталоге «{query}» нет.", "", + "🌍 **Похожее из Open Library:**"] + for t, year, url in ext[:5]: + out.append(f"• [{t}]({url})" + (f" — {year}" if year else "")) + return "\n".join(out) + return f"В каталоге Полины нет «{query}» и внешние каталоги молчат." + + author = "" + series_name = "" + if series: + series_name = series.get("name") or "" + author = ", ".join(series.get("authors") or []) + elif title_hit: + author = book_author(title_hit[0]) + + out = [f"📚 **Похожее на «{query}»**" + (f" — {author}" if author else ""), ""] + + if series: + read_titles = series.get("read_titles") or [] + if read_titles: + out.append(f"✅ **Прочитано в серии «{series_name}»:**") + for t in read_titles[:10]: + out.append(f"• {t}") + out.append("") + n = next_of(series) + if n and n.get("title"): + out.append(f"➡️ **Следующая:** {n['title']} " + f"({availability_label(n.get('availability'))})") + n2 = n.get("next_after") + if isinstance(n2, str): + out.append(f" затем: {n2}") + elif isinstance(n2, dict) and n2.get("title"): + out.append(f" затем: {n2['title']}" + + (f" — {n2.get('release_date')}" if n2.get("release_date") else "")) + out.append("") + out.append(f"`/скачать {n['title']}`") + out.append("") + + if author: + same = [s for s in catalog_series() + if norm(", ".join(s.get("authors") or "")) == norm(author) + and (s.get("name") or "") != series_name] + if same: + out.append(f"✍️ **Другие серии автора ({len(same)}):**") + for s in same[:6]: + n = next_of(s) + tail = f" → {n['title']}" if n and n.get("title") else "" + out.append(f"• «{s['name']}»{tail}") + out.append("") + return "\n".join(out) + + + +# ---------- поиск ---------- + +def search_library(query): + """Что уже есть в библиотеке.""" + try: + con = sqlite3.connect(f"file:{LIB_DB}?mode=ro", uri=True) + rows = con.execute( + "select b.title, group_concat(a.name, ', ') from books b " + "left join books_authors_link l on l.book=b.id " + "left join authors a on a.id=l.author " + "where lower(b.title) like ? group by b.id limit 8", + (f"%{norm(query)}%",), + ).fetchall() + con.close() + return rows + except Exception as e: + log(f"библиотека не читается: {e}") + return [] + + +def search_litres(title): + html = fetch("https://www.litres.ru/search/?q=" + urllib.parse.quote(title)) + if not html: + return [] + html = html.replace('\\"', '"') + out = [] + pat = re.compile( + r'"id":\d+,"uuid":"[^"]*","cover_url":"[^"]*","url":"(/book/[^"]+)","title":"((?:[^"\\]|\\.){1,150})"') + for m in pat.finditer(html): + tail = html[m.end(): m.end() + 900] + price = re.search(r'"final_price":(\d+)', tail) + out.append((m.group(2).strip(), int(price.group(1)) if price else None, + "https://www.litres.ru" + m.group(1))) + if len(out) >= 3: + break + return out + + +def search_openlibrary(title): + url = "https://openlibrary.org/search.json?" + urllib.parse.urlencode({"title": title, "limit": 3}) + raw = fetch(url) + if not raw: + return [] + try: + d = json.loads(raw) + except Exception: + return [] + out = [] + for doc in (d.get("docs") or [])[:3]: + out.append((doc.get("title"), doc.get("first_publish_year"), + "https://openlibrary.org" + (doc.get("key") or ""))) + return out + + +def search_archive(title): + q = f'title:("{title}")' + url = ("https://archive.org/advancedsearch.php?" + + urllib.parse.urlencode({"q": q, "rows": 3, "output": "json", + "fl[]": ["identifier", "title", "year"]}, doseq=True)) + raw = fetch(url, via_vpn=True) + if not raw: + return [] + try: + d = json.loads(raw) + except Exception: + return [] + out = [] + for doc in (d.get("response", {}).get("docs") or [])[:3]: + if doc.get("identifier"): + out.append((doc.get("title"), doc.get("year"), + f"https://archive.org/details/{doc['identifier']}")) + return out + + +def fetch_bytes(url, via_vpn=True, timeout=60): + """Скачивает файл байтами (для книг, а не страниц).""" + req = urllib.request.Request(url, headers={"User-Agent": UA, + "Accept-Language": "ru,en;q=0.8"}) + opener = (urllib.request.build_opener( + urllib.request.ProxyHandler({"http": VPN, "https": VPN})) if via_vpn + else urllib.request.build_opener()) + try: + with opener.open(req, timeout=timeout) as r: + data = r.read() + ctype = r.headers.get("Content-Type", "") + return data, ctype + except Exception as e: + log(f"не скачать {url}: {e}") + return b"", "" + + +def save_to_ingest(data, filename): + """Кладёт файл в папку автоимпорта Calibre-Web.""" + safe = re.sub(r"[^\w\s.\-()А-Яа-яЁё]", "_", filename).strip() + safe = re.sub(r"\s+", " ", safe)[:120] + if not safe.lower().endswith((".fb2", ".epub", ".pdf", ".mobi")): + safe += ".fb2" + path = os.path.join(INGEST, safe) + try: + os.makedirs(INGEST, exist_ok=True) + with open(path, "wb") as f: + f.write(data) + return path + except Exception as e: + log(f"не сохранить {path}: {e}") + return "" + + +def title_matches(query, title): + """Проверяет, что найденная книга действительно та, что искали.""" + q = norm(query) + t = norm(title) + if not q or not t: + return False + if q in t or t in q: + return True + tokens = [w for w in re.split(r"[^\wА-Яа-яЁё]+", q) if len(w) > 3] + if not tokens: + return False + hits = sum(1 for w in tokens if w in t) + return hits >= max(1, len(tokens) // 2) + + +def dl_flibusta(query): + """Скачивает с зеркала Флибусты (fb2 или epub), проверяя название.""" + for host in ("flibusta.site", "flibusta.club"): + html = fetch(f"https://{host}/booksearch?ask=" + urllib.parse.quote(query), + via_vpn=True) + if not html: + continue + candidates = re.findall(r'href="(/b/\d+)"[^>]*>([^<]{2,120})', html) + for path, found_title in candidates[:4]: + page = fetch(f"https://{host}{path}", via_vpn=True) + if not page: + continue + tm = re.search(r'

([^<]+)

', page) + title = (tm.group(1) if tm else found_title).strip() + title = re.sub(r"\s*\((fb2|epub|mobi)\)\s*$", "", title, flags=re.I) + if not title_matches(query, title): + log(f"флибуста: пропускаю «{title}» — не совпало с «{query}»") + continue + for ext in ("fb2", "epub"): + if f'href="{path}/{ext}"' in page: + data, _ = fetch_bytes(f"https://{host}{path}/{ext}") + if data and len(data) > 2048: + saved = save_to_ingest(data, f"{title}.{ext}") + if saved: + return title, host, ext, saved + return None + + +def dl_libgen(query): + """Скачивает с libgen.li: поиск → ads → get.php с ключом.""" + html = fetch("https://libgen.li/index.php?req=" + urllib.parse.quote(query), + via_vpn=True) + if not html: + return None + found_titles = re.findall(r']*>([^<]{2,150})', html) + md5s = re.findall(r"md5=([a-f0-9]{32})", html) + if not md5s: + return None + good_title = next((t.strip() for t in found_titles if title_matches(query, t)), None) + if found_titles and not good_title: + log(f"libgen: ни одно название не совпало с «{query}»") + return None + title = good_title or query + for md5 in dict.fromkeys(md5s[:3]): + ads = fetch(f"https://libgen.li/ads.php?md5={md5}", via_vpn=True) + if not ads: + continue + link_m = re.search(r'href="(get\.php\?md5=[a-f0-9]{32}&key=[A-Z0-9]+)"', ads) + if not link_m: + continue + data, ctype = fetch_bytes("https://libgen.li/" + link_m.group(1), timeout=120) + if data and len(data) > 2048: + ext = "fb2" + if "epub" in ctype.lower() or data[:2] == b"PK": + ext = "epub" + elif "pdf" in ctype.lower() or data[:4] == b"%PDF": + ext = "pdf" + saved = save_to_ingest(data, f"{title}.{ext}") + if saved: + return title, "libgen.li", ext, saved + return None + + +def cmd_download(query): + """Скачивает книгу в библиотеку (папка автоимпорта).""" + if not query: + return "Что скачать? `/скачать Дюна`" + out = [f"⬇️ Ищу и качаю: **{query}**", ""] + for fn in (dl_flibusta, dl_libgen): + try: + res = fn(query) + except Exception as e: + log(f"скачивание через {fn.__name__}: {e}") + res = None + if res: + title, source, ext, path = res + out.append(f"✅ **{title}**") + out.append(f"• источник: {source} ({ext})") + out.append(f"• файл: `{os.path.basename(path)}`") + out.append("") + out.append("Книга попала в папку автоимпорта — Calibre-Web " + "добавит её в библиотеку в течение пары минут.") + return "\n".join(out) + out.append("Не удалось скачать автоматически.") + out.append("") + out.append("Попробуйте найти вручную: `/find " + query + "`") + return "\n".join(out) + + +def search_flibusta(title): + for host in ("flibusta.site", "flibusta.club"): + html = fetch(f"https://{host}/booksearch?ask=" + urllib.parse.quote(title), + via_vpn=True) + if not html: + continue + out = [] + for m in re.finditer(r'href="(/b/\d+)"[^>]*>([^<]{2,120})', html): + out.append((m.group(2).strip(), None, f"https://{host}" + m.group(1))) + if len(out) >= 3: + break + if out: + return out + return [] + + + +def search_libgen(title): + html = fetch("https://libgen.li/index.php?req=" + urllib.parse.quote(title), via_vpn=True) + if not html: + return [] + out = [] + for m in re.finditer(r'href="edition\.php\?id=(\d+)"[^>]*>(.{0,300}?)', html, re.S): + raw = re.sub(r"<[^>]+>", " ", m.group(2)) + raw = re.sub(r"\s+", " ", raw).strip() + if raw: + out.append((raw[:80], None, f"https://libgen.li/edition.php?id={m.group(1)}")) + if len(out) >= 3: + break + return out + + +def search_telegram_channels(query, channels): + """Ищет посты в публичных каналах через веб-предпросмотр.""" + out = [] + for ch in channels[:5]: + name = ch.lstrip("@").replace("https://t.me/", "").strip("/") + html = fetch(f"https://t.me/s/{name}?q={urllib.parse.quote(query)}", via_vpn=True) + if not html: + continue + posts = re.findall(r'class="tgme_widget_message_text[^"]*"[^>]*>(.*?)', html, re.S) + for p in posts[:2]: + text = re.sub(r"<[^>]+>", " ", p) + text = re.sub(r"\s+", " ", text).strip() + if text: + out.append((name, text[:200], f"https://t.me/{name}")) + if out: + break + return out + + +def search_all(query, cfg, budget=45): + """Ищет везде параллельно с общим ограничением по времени.""" + from concurrent.futures import ThreadPoolExecutor, as_completed, TimeoutError as FTimeout + jobs = { + "ЛитРес": (search_litres, "цена"), + "Open Library": (search_openlibrary, ""), + "archive.org": (search_archive, "VPN"), + "Флибуста": (search_flibusta, "VPN"), + "libgen": (search_libgen, "VPN"), + } + results = {} + ex = ThreadPoolExecutor(max_workers=5) + futs = {ex.submit(fn, query): name for name, (fn, _) in jobs.items()} + try: + for fut in as_completed(futs, timeout=budget): + name = futs[fut] + try: + results[name] = (fut.result() or [], jobs[name][1]) + except Exception: + results[name] = ([], jobs[name][1]) + except FTimeout: + for fut, name in futs.items(): + if name not in results: + results[name] = ([], jobs[name][1]) + finally: + ex.shutdown(wait=False, cancel_futures=True) + return results + + +def cmd_find(query, cfg): + lines = [f"🔎 Ищу: **{query}**", ""] + lib = search_library(query) + if lib: + lines.append("✅ **Уже есть в вашей библиотеке:**") + for t, a in lib[:5]: + lines.append(f"• {t}" + (f" — {a}" if a else "")) + lines.append("") + + found = False + all_res = search_all(query, cfg) + for name, note in (("ЛитРес", "цена"), ("Open Library", ""), + ("archive.org", "VPN"), ("Флибуста", "VPN"), ("libgen", "VPN")): + res = all_res.get(name, ([], note))[0] + if res: + found = True + lines.append(f"📚 **{name}**" + (f" ({note})" if note else "")) + for item in res[:3]: + t, extra, url = item + suffix = "" + if name == "ЛитРес" and isinstance(extra, int): + suffix = f" — {extra} ₽" + elif name == "Open Library" and extra: + suffix = f" — {extra} г." + elif extra: + suffix = f" — {extra}" + lines.append(f"• [{t}]({url}){suffix}") + lines.append("") + + chans = cfg.get("tg_channels") or [] + if chans: + tg = search_telegram_channels(query, chans) + if tg: + found = True + lines.append("📨 **В Telegram-каналах:**") + for ch, text, url in tg[:3]: + lines.append(f"• @{ch}: {text}") + lines.append("") + + if not found and not lib: + lines.append("Ничего не нашлось. Попробуйте другое название или " + "добавьте Telegram-канал: `/tgadd @имя`.") + return "\n".join(lines) + + +def cmd_wanted(): + """Что можно читать дальше — по данным серий.""" + series = catalog_series() + if not series: + return "Каталог недоступен." + ready = [s for s in series if (s.get("personal_status") or "") in + ("available_unread", "other_line_available")] + out = ["📋 **Можно читать дальше:**", ""] + if not ready: + out.append("Нет доступных непрочитанных книг.") + for s in ready[:20]: + n = next_of(s) + if n and n.get("title"): + out.append(f"• «{s['name']}» → {n['title']} " + f"({availability_label(n.get('availability'))})") + else: + out.append(f"• «{s['name']}»") + out.append("") + out.append("Скачать: `/скачать название`") + return "\n".join(out) + + +def cmd_tg_add(arg, cfg): + name = arg.lstrip("@").replace("https://t.me/", "").strip("/").strip() + if not name: + return "Укажите канал: `/tgadd @имя_канала`" + chans = cfg.setdefault("tg_channels", []) + if name in chans: + return f"Канал @{name} уже в списке." + chans.append(name) + save_cfg(cfg) + # проверяю, читается ли + ok = bool(fetch(f"https://t.me/s/{name}", via_vpn=True)) + return (f"✅ Добавил @{name}." + ("" if ok else "\n⚠️ Не удалось прочитать — проверьте имя.")) + + +def main(): + cfg = load_cfg() + allowed = set(cfg.get("users") or []) + log(f"бот запущен, разрешённых пользователей: {len(allowed)}") + + since = None + me = None + try: + me = api("GET", "/_matrix/client/v3/account/whoami")["user_id"] + log(f"я — {me}") + except Exception as e: + log(f"не смог определить себя: {e}") + + while True: + try: + params = {"timeout": 25000} + if since: + params["since"] = since + res = api("GET", "/_matrix/client/v3/sync?" + urllib.parse.urlencode(params)) + since = res.get("next_batch") or since + log("цикл sync ок") + + # приглашения в комнаты — вступаем сразу + for room in (res.get("rooms", {}).get("invite", {}) or {}): + try: + api("POST", f"/_matrix/client/v3/join/{urllib.parse.quote(room)}", {}) + log(f"вступил в комнату {room}") + send(room, "📚 Привет! Я книжный бот. Напишите `/help`.") + except Exception as e: + log(f"не смог вступить в {room}: {e}") + + for room, data in (res.get("rooms", {}).get("join", {}) or {}).items(): + for ev in (data.get("timeline", {}).get("events") or []): + if ev.get("type") != "m.room.message": + continue + sender = ev.get("sender", "") + body = (ev.get("content", {}).get("body") or "").strip() + # терпимый разбор: убираем кавычки/пометки редактора, + # лишние пробелы и приводим команду к нижнему регистру + body = body.strip("`").strip() + body = re.sub(r"^[\s`'\"]+", "", body) + body = re.sub(r"^/\s+", "/", body) + body = re.sub(r"^(\w+)\s*:", "", body) # «/find: Дюна» + if not body: + continue + low = body.lower() + # свободный текст тоже считаем поиском + if not low.startswith("/"): + m_free = re.match(r"^(найди|найти|find|поиск)\s+(.+)$", low) + m_dl = re.match(r"^(скачай|скачать|download|качай)\s+(.+)$", low) + m_sim = re.match(r"^(похожие|похожее|ещё|еще|similar)\s+(.+)$", low) + if m_free: + body = "/find " + body[m_free.start(2):] + low = body.lower() + elif m_dl: + body = "/скачать " + body[m_dl.start(2):] + low = body.lower() + elif m_sim: + body = "/похожие " + body[m_sim.start(2):] + low = body.lower() + else: + continue + if allowed and sender not in allowed: + send(room, "⛔ У вас нет доступа к книжному боту.\n" + f"Ваш адрес: `{sender}` — попросите администратора добавить.") + continue + + parts = body.split(maxsplit=1) + cmd = parts[0].lower().replace(" ", "") + if cmd in ("/фind", "/финд", "/поиск", "/найди"): + cmd = "/find" + arg = parts[1].strip() if len(parts) > 1 else "" + log(f"{sender}: {cmd} {arg}") + + if cmd in ("/help", "/start"): + reply = ( + "📚 **Книжный бот**\n\n" + "**Личное:**\n" + "`/полина` — каталог: что прочитано, что ждёт\n" + "`/похожие название` — что ещё у автора и в серии\n" + "`/скачать название` — скачать книгу в библиотеку\n\n" + "**Поиск:**\n" + "`/find название` — искать книгу везде\n" + "`/lib запрос` — что уже есть в библиотеке\n" + "`/wanted` — ещё не прочитано\n\n" + "**Telegram-каналы:**\n" + "`/tgadd @канал`, `/tglist`, `/tgdel @канал`\n\n" + "Бот ищет в ЛитРес, Open Library, archive.org, " + "Флибусте, libgen и в каналах Telegram.\n" + "Скачивает fb2/epub и кладёт в автоимпорт Calibre-Web." + ) + elif cmd in ("/полина", "/polina", "/каталог"): + reply = cmd_polina() + elif cmd in ("/похожие", "/similar", "/ещё", "/еще"): + if not arg: + reply = "Что искать? `/похожие Дюна`" + else: + reply = cmd_similar(arg) + elif cmd in ("/скачать", "/download", "/качай"): + if not arg: + reply = "Что скачать? `/скачать Дюна`" + else: + send(room, f"⬇️ Качаю «{arg}», это может занять до минуты…") + reply = cmd_download(arg) + elif cmd == "/find": + if not arg: + reply = "Напишите название: `/find Дюна`" + else: + send(room, f"🔎 Ищу «{arg}», это займёт до минуты…") + reply = cmd_find(arg, cfg) + elif cmd == "/lib": + if not arg: + reply = "Что искать? `/lib Дюна`" + else: + rows = search_library(arg) + reply = ("📖 **В библиотеке:**\n" + "\n".join( + f"• {t}" + (f" — {a}" if a else "") for t, a in rows)) if rows \ + else f"В библиотеке нет «{arg}»." + elif cmd in ("/wanted", "/дальше", "/next", "/чточитать"): + reply = cmd_wanted() + elif cmd == "/tgadd": + reply = cmd_tg_add(arg, cfg) + elif cmd == "/tglist": + ch = cfg.get("tg_channels") or [] + reply = ("📨 Каналы: " + ", ".join("@" + c for c in ch)) if ch else "Список пуст. `/tgadd @канал`" + elif cmd == "/tgdel": + name = arg.lstrip("@").strip() + ch = cfg.get("tg_channels") or [] + if name in ch: + ch.remove(name) + save_cfg(cfg) + reply = f"Убрал @{name}." + else: + reply = f"@{name} нет в списке." + else: + reply = "Не знаю такой команды. `/help`" + send(room, reply) + except Exception as e: + log(f"ошибка цикла: {e}") + time.sleep(5) + + +if __name__ == "__main__": + main()