diff --git a/ops/books/BOOKS.md b/ops/books/BOOKS.md new file mode 100644 index 0000000..52b5da6 --- /dev/null +++ b/ops/books/BOOKS.md @@ -0,0 +1,100 @@ +# Книги: каталог, рекомендации и скачивание + +## Что было и что стало + +Каталог Полины существовал отдельно: `polina-library.json` (181 книга, +45 серий, статусы «прочитано / доступно / ждём перевод / ждём выхода»), +а книжный бот про него не знал и умел только искать ссылки. Скачивания не было +вообще — только ссылки на страницы. + +Теперь бот работает с каталогом и умеет качать книги в библиотеку. + +## Команды бота + +| Команда | Что делает | +|---|---| +| `/полина` | каталог: сколько прочитано, что доступно, что ждёт перевода/выхода | +| `/похожие <книга>` | та же серия, следующий том, другие серии автора | +| `/скачать <книга>` | скачивает fb2/epub в библиотеку | +| `/find <книга>` | ищет везде (ЛитРес, OpenLibrary, archive.org, Флибуста, libgen) | +| `/wanted` (`/дальше`) | что можно читать дальше | +| `/lib <запрос>` | что уже есть в библиотеке | + +Работают и без слэша: «скачай …», «похожие …», «найди …». + +### Пример + +``` +/похожие Мара и Морок + +📚 Похожее на «Мара и Морок» — Лия Арден + +✅ Прочитано в серии «Мара и Морок / Смерть и Тень»: +• Мара и Морок +• Мара и Морок. Особенная Тень +• Мара и Морок. 500 лет назад +• Мара и Морок. Графический роман. Том 1 + +➡️ Следующая: Морана и Тень. Плетущая (🇷🇺 есть на русском) +/скачать Морана и Тень. Плетущая +``` + +## Как работает скачивание + +``` +/скачать «название» + ├─ Флибуста-зеркало (flibusta.site / .club) + │ поиск → страница книги → /b/{id}/fb2 или /epub + │ ПРОВЕРКА: название должно совпасть, иначе пропуск + ├─ libgen.li (резерв) + │ поиск → ads.php → get.php?md5=…&key=… → файл + ▼ +/opt/books/ingest (папка автоимпорта Calibre-Web) + ▼ +Calibre-Web-Automated импортирует за 1–2 минуты + ▼ +Книга в библиотеке (books.buryans.ru), можно читать/скачать +``` + +Проверка названия обязательна: без неё Флибуста на запрос +«Морана и Тень. Плетущая» отдала «Донбасский лабиринт». + +## Полка Полины + +Создана полка **«Полина»** (user_id 3, `p.parshkova95@gmail.com`). +На ней уже три книги: + +| Книга | Источник | +|---|---| +| Царство Проклятых | libgen | +| Плетущая (Морана и Тень) | libgen | +| Обсидиановый огонь | libgen | + +Как добавить ещё: `/скачать <следующая книга из /полина>`, после импорта +книга попадает в библиотеку; на полку добавляется скриптом +`ops/books/add_to_shelf.py`. + +## Технические детали + +- Контейнер `book-bot` пересобран, добавлен монтаж `/opt/books/ingest:/ingest`. +- Переменные: `CATALOG_JSON=/app/catalog/polina-library.json`, + `INGEST_DIR=/ingest`, `VPN_PROXY=http://192.168.1.161:7890`. +- Скачивание идёт через VPN-прокси (CT161), прямого интернета у CT нет. +- Статусы берутся из `series[].personal_status` и `series[].next`: + `available_unread`, `waiting_ru`, `waiting_release`, `other_line_available`. + +## Ловушки + +1. **Флибуста без проверки названия** отдаёт случайную книгу — обязательна + сверка заголовка (`title_matches`). +2. **`order` — зарезервированное слово** в SQLite: + `insert into book_shelf_link (book_id,"order",shelf,…)`. +3. **`calibredb remove` в контейнере молчит** — удаление делать через + `metadata.db` + удаление папки книги. +4. **CWA импортирует сам** — файл из `/ingest` исчезает, это нормально. + +## Следующее + +- `/полина` → кнопка «скачать всё доступное» (пакетно). +- Отправка книги на Kindle/OPDS-ссылкой в Matrix. +- Автоуведомление, когда выходит переведённая книга из «ждём перевода». diff --git a/ops/books/add_to_shelf.py b/ops/books/add_to_shelf.py new file mode 100644 index 0000000..30818b5 --- /dev/null +++ b/ops/books/add_to_shelf.py @@ -0,0 +1,48 @@ +"""Добавляет книгу на полку «Полина» по id или названию.""" +import datetime +import sqlite3 +import sys + +APP = "/opt/books/config/app.db" +LIB = "/opt/books/library/metadata.db" +SHELF = "Полина" + +target = sys.argv[1] if len(sys.argv) > 1 else "" +if not target: + print("укажите название или id книги") + raise SystemExit(1) + +lib = sqlite3.connect(LIB) +if target.isdigit(): + row = lib.execute("select id,title from books where id=?", (int(target),)).fetchone() +else: + row = lib.execute("select id,title from books where title like ?", + (f"%{target}%",)).fetchone() +if not row: + print("книга не найдена в библиотеке") + raise SystemExit(1) +book_id, title = row + +app = sqlite3.connect(APP) +shelf = app.execute("select id from shelf where name=?", (SHELF,)).fetchone() +if shelf: + shelf_id = shelf[0] +else: + import uuid + now = datetime.datetime.now(datetime.UTC).isoformat() + cur = app.execute( + "insert into shelf (uuid,name,is_public,user_id,kobo_sync,created,last_modified)" + " values (?,?,?,?,?,?,?)", + (str(uuid.uuid4()), SHELF, 0, 3, 0, now, now)) + shelf_id = cur.lastrowid + print("создана полка:", shelf_id) + +if app.execute("select 1 from book_shelf_link where book_id=? and shelf=?", + (book_id, shelf_id)).fetchone(): + print("уже на полке:", title) +else: + app.execute('insert into book_shelf_link (book_id,"order",shelf,date_added)' + " values (?,?,?,?)", + (book_id, 0, shelf_id, datetime.datetime.now(datetime.UTC).isoformat())) + app.commit() + print(f"добавлено на полку «{SHELF}»: {title}") diff --git a/ops/books/book_bot.py b/ops/books/book_bot.py new file mode 100644 index 0000000..1fb6177 --- /dev/null +++ b/ops/books/book_bot.py @@ -0,0 +1,791 @@ +#!/usr/bin/env python3 +""" +book_bot.py — книжный бот в Matrix. + +ЧТО УМЕЕТ: + /find <название> — искать книгу во всех источниках (магазин, каталоги, + архивы, библиотеки) и прислать что нашлось; + /lib <запрос> — поиск по своей библиотеке (что уже есть); + /wanted — список книг, которые ещё не найдены; + /tg <название> — поиск постов в добавленных Telegram-каналах + (через веб-предпросмотр, без аккаунта); + /tgadd <канал> — добавить канал в список для поиска; + /tglist — какие каналы добавлены; + /tgdel <канал> — убрать канал; + /help — помощь. + +Работает через long-polling /sync, без внешних библиотек. +""" +import json +import os +import re +import sqlite3 +import sys +import time +import urllib.parse +import urllib.request +from datetime import datetime + +HS = os.environ.get("MATRIX_HS", "http://192.168.1.155:8008") +TOKEN = os.environ.get("MATRIX_TOKEN", "") +CFG = os.environ.get("BOT_CONFIG", "/app/config.json") +VPN = os.environ.get("VPN_PROXY", "http://192.168.1.161:7890") +LIB_DB = os.environ.get("CALIBRE_DB", "/calibre/metadata.db") +CATALOG_JSON = os.environ.get("CATALOG_JSON", "/app/catalog/polina-library.json") +INGEST = os.environ.get("INGEST_DIR", "/ingest") +UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/155" + +ALLOWED = set() + + +def log(msg): + line = f"[{datetime.now():%Y-%m-%d %H:%M:%S}] {msg}" + print(line, flush=True) + + +def load_cfg(): + try: + with open(CFG, encoding="utf-8") as f: + return json.load(f) + except Exception: + return {"users": [], "tg_channels": []} + + +def save_cfg(cfg): + with open(CFG, "w", encoding="utf-8") as f: + json.dump(cfg, f, ensure_ascii=False, indent=2) + + +def api(method, path, body=None): + url = f"{HS}{path}" + sep = "&" if "?" in url else "?" + url += f"{sep}access_token={TOKEN}" + data = json.dumps(body).encode() if body is not None else None + req = urllib.request.Request(url, data=data, method=method, + headers={"Content-Type": "application/json"}) + with urllib.request.urlopen(req, timeout=40) as r: + raw = r.read().decode() + return json.loads(raw) if raw else {} + + +def send(room, text): + tx = str(int(time.time() * 1000)) + try: + api("PUT", f"/_matrix/client/v3/rooms/{urllib.parse.quote(room)}" + f"/send/m.room.message/{tx}", + {"msgtype": "m.text", "body": text}) + return True + except Exception as e: + log(f"не отправить в {room}: {e}") + return False + + +def fetch(url, via_vpn=False): + req = urllib.request.Request(url, headers={"User-Agent": UA, "Accept-Language": "ru,en;q=0.8"}) + opener = (urllib.request.build_opener( + urllib.request.ProxyHandler({"http": VPN, "https": VPN})) if via_vpn + else urllib.request.build_opener()) + try: + with opener.open(req, timeout=30) as r: + return r.read().decode("utf-8", "replace") + except Exception: + return "" + + +def norm(s): + return re.sub(r"\s+", " ", (s or "").lower()).strip() + + +# ---------- каталог Полины ---------- + +def load_catalog(): + """Читает личный каталог: что прочитано, что ждёт, какие серии.""" + try: + with open(CATALOG_JSON, encoding="utf-8") as f: + return json.load(f) + except Exception as e: + log(f"каталог не читается: {e}") + return {} + + +def catalog_books(): + return (load_catalog().get("books") or []) + + +def catalog_series(): + return (load_catalog().get("series") or []) + + +def book_title(b): + return (b.get("title") or "").strip() + + +def book_author(b): + return (b.get("author") or "").strip() + + +def is_pending(b): + """Книга ещё не прочитана — интересна для скачивания.""" + status = (b.get("reading_status") or "").lower() + return status not in ("read", "completed_read", "not_interested", "main_line_completed") + + +def series_for_title(title): + """Находит серию, в которой прочитана эта книга.""" + t = norm(title) + for s in catalog_series(): + for rt in (s.get("read_titles") or []): + if norm(rt) and (norm(rt) in t or t in norm(rt)): + return s + return None + + +def next_of(series): + """Следующая книга серии (dict или None).""" + n = series.get("next") + return n if isinstance(n, dict) else None + + +def availability_label(av): + return { + "ru_available": "🇷🇺 есть на русском", + "original_available": "🇬🇧 только оригинал", + "available": "↪ доступно", + "not_available": "❌ пока нет", + }.get((av or "").lower(), av or "") + + +PENDING_GROUPS = [ + ("available_unread", "🟡 Доступно, но не прочитано"), + ("other_line_available", "↪ Другие линии/пары"), + ("waiting_ru", "🇷🇺 Ждём русский перевод"), + ("waiting_ru_or_copy", "🇷🇺 Нужна проверка перевода"), + ("waiting_release", "🟠 Ждём выхода"), + ("caught_up_waiting", "🔴 Прочитано всё, продолжения нет"), +] + + +def cmd_polina(): + data = load_catalog() + if not data: + return "Каталог Полины недоступен." + books = data.get("books") or [] + series = data.get("series") or [] + summary = data.get("summary") or {} + + lines = ["📚 **Каталог Полины**", ""] + lines.append(f"• Прочитано книг: **{len(books)}**") + lines.append(f"• Серий: **{len(series)}**") + if summary.get("read_books_with_series_mapping"): + lines.append(f"• Привязано к сериям: {summary['read_books_with_series_mapping']}") + + for status, header in PENDING_GROUPS: + group = [s for s in series if (s.get("personal_status") or "") == status] + if not group: + continue + lines.append("") + lines.append(f"**{header}** ({len(group)}):") + for s in group[:8]: + n = next_of(s) + if n and n.get("title"): + av = availability_label(n.get("availability")) + lines.append(f"• «{s['name']}» → {n['title']}" + + (f" ({av})" if av else "")) + else: + lines.append(f"• «{s['name']}»") + lines.append("") + lines.append("Скачать: `/скачать название` · похожее: `/похожие название`") + return "\n".join(lines) + + +def _match_books(query): + """Ищет книгу в каталоге по названию или автору.""" + q = norm(query) + if not q: + return [] + exact = [b for b in catalog_books() if q in norm(book_title(b))] + if exact: + return exact + return [b for b in catalog_books() if q in norm(book_author(b))] + + +def cmd_similar(query): + """Похожие книги: та же серия, тот же автор, что дальше читать.""" + title_hit = [b for b in catalog_books() if norm(query) in norm(book_title(b))] + series = series_for_title(query) + if not series and title_hit: + series = series_for_title(book_title(title_hit[0])) + + if not series and not title_hit: + ext = search_openlibrary(query) + if ext: + out = [f"В личном каталоге «{query}» нет.", "", + "🌍 **Похожее из Open Library:**"] + for t, year, url in ext[:5]: + out.append(f"• [{t}]({url})" + (f" — {year}" if year else "")) + return "\n".join(out) + return f"В каталоге Полины нет «{query}» и внешние каталоги молчат." + + author = "" + series_name = "" + if series: + series_name = series.get("name") or "" + author = ", ".join(series.get("authors") or []) + elif title_hit: + author = book_author(title_hit[0]) + + out = [f"📚 **Похожее на «{query}»**" + (f" — {author}" if author else ""), ""] + + if series: + read_titles = series.get("read_titles") or [] + if read_titles: + out.append(f"✅ **Прочитано в серии «{series_name}»:**") + for t in read_titles[:10]: + out.append(f"• {t}") + out.append("") + n = next_of(series) + if n and n.get("title"): + out.append(f"➡️ **Следующая:** {n['title']} " + f"({availability_label(n.get('availability'))})") + n2 = n.get("next_after") + if isinstance(n2, str): + out.append(f" затем: {n2}") + elif isinstance(n2, dict) and n2.get("title"): + out.append(f" затем: {n2['title']}" + + (f" — {n2.get('release_date')}" if n2.get("release_date") else "")) + out.append("") + out.append(f"`/скачать {n['title']}`") + out.append("") + + if author: + same = [s for s in catalog_series() + if norm(", ".join(s.get("authors") or "")) == norm(author) + and (s.get("name") or "") != series_name] + if same: + out.append(f"✍️ **Другие серии автора ({len(same)}):**") + for s in same[:6]: + n = next_of(s) + tail = f" → {n['title']}" if n and n.get("title") else "" + out.append(f"• «{s['name']}»{tail}") + out.append("") + return "\n".join(out) + + + +# ---------- поиск ---------- + +def search_library(query): + """Что уже есть в библиотеке.""" + try: + con = sqlite3.connect(f"file:{LIB_DB}?mode=ro", uri=True) + rows = con.execute( + "select b.title, group_concat(a.name, ', ') from books b " + "left join books_authors_link l on l.book=b.id " + "left join authors a on a.id=l.author " + "where lower(b.title) like ? group by b.id limit 8", + (f"%{norm(query)}%",), + ).fetchall() + con.close() + return rows + except Exception as e: + log(f"библиотека не читается: {e}") + return [] + + +def search_litres(title): + html = fetch("https://www.litres.ru/search/?q=" + urllib.parse.quote(title)) + if not html: + return [] + html = html.replace('\\"', '"') + out = [] + pat = re.compile( + r'"id":\d+,"uuid":"[^"]*","cover_url":"[^"]*","url":"(/book/[^"]+)","title":"((?:[^"\\]|\\.){1,150})"') + for m in pat.finditer(html): + tail = html[m.end(): m.end() + 900] + price = re.search(r'"final_price":(\d+)', tail) + out.append((m.group(2).strip(), int(price.group(1)) if price else None, + "https://www.litres.ru" + m.group(1))) + if len(out) >= 3: + break + return out + + +def search_openlibrary(title): + url = "https://openlibrary.org/search.json?" + urllib.parse.urlencode({"title": title, "limit": 3}) + raw = fetch(url) + if not raw: + return [] + try: + d = json.loads(raw) + except Exception: + return [] + out = [] + for doc in (d.get("docs") or [])[:3]: + out.append((doc.get("title"), doc.get("first_publish_year"), + "https://openlibrary.org" + (doc.get("key") or ""))) + return out + + +def search_archive(title): + q = f'title:("{title}")' + url = ("https://archive.org/advancedsearch.php?" + + urllib.parse.urlencode({"q": q, "rows": 3, "output": "json", + "fl[]": ["identifier", "title", "year"]}, doseq=True)) + raw = fetch(url, via_vpn=True) + if not raw: + return [] + try: + d = json.loads(raw) + except Exception: + return [] + out = [] + for doc in (d.get("response", {}).get("docs") or [])[:3]: + if doc.get("identifier"): + out.append((doc.get("title"), doc.get("year"), + f"https://archive.org/details/{doc['identifier']}")) + return out + + +def fetch_bytes(url, via_vpn=True, timeout=60): + """Скачивает файл байтами (для книг, а не страниц).""" + req = urllib.request.Request(url, headers={"User-Agent": UA, + "Accept-Language": "ru,en;q=0.8"}) + opener = (urllib.request.build_opener( + urllib.request.ProxyHandler({"http": VPN, "https": VPN})) if via_vpn + else urllib.request.build_opener()) + try: + with opener.open(req, timeout=timeout) as r: + data = r.read() + ctype = r.headers.get("Content-Type", "") + return data, ctype + except Exception as e: + log(f"не скачать {url}: {e}") + return b"", "" + + +def save_to_ingest(data, filename): + """Кладёт файл в папку автоимпорта Calibre-Web.""" + safe = re.sub(r"[^\w\s.\-()А-Яа-яЁё]", "_", filename).strip() + safe = re.sub(r"\s+", " ", safe)[:120] + if not safe.lower().endswith((".fb2", ".epub", ".pdf", ".mobi")): + safe += ".fb2" + path = os.path.join(INGEST, safe) + try: + os.makedirs(INGEST, exist_ok=True) + with open(path, "wb") as f: + f.write(data) + return path + except Exception as e: + log(f"не сохранить {path}: {e}") + return "" + + +def title_matches(query, title): + """Проверяет, что найденная книга действительно та, что искали.""" + q = norm(query) + t = norm(title) + if not q or not t: + return False + if q in t or t in q: + return True + tokens = [w for w in re.split(r"[^\wА-Яа-яЁё]+", q) if len(w) > 3] + if not tokens: + return False + hits = sum(1 for w in tokens if w in t) + return hits >= max(1, len(tokens) // 2) + + +def dl_flibusta(query): + """Скачивает с зеркала Флибусты (fb2 или epub), проверяя название.""" + for host in ("flibusta.site", "flibusta.club"): + html = fetch(f"https://{host}/booksearch?ask=" + urllib.parse.quote(query), + via_vpn=True) + if not html: + continue + candidates = re.findall(r'href="(/b/\d+)"[^>]*>([^<]{2,120})', html) + for path, found_title in candidates[:4]: + page = fetch(f"https://{host}{path}", via_vpn=True) + if not page: + continue + tm = re.search(r'