diff --git a/docs/BOOKS-TELEGRAM.md b/docs/BOOKS-TELEGRAM.md new file mode 100644 index 0000000..dac9c94 --- /dev/null +++ b/docs/BOOKS-TELEGRAM.md @@ -0,0 +1,65 @@ +# Загрузка книг из Telegram (18.10.2026) + +## Ответ на вопрос: да, это возможно — но не ботом + +Обычный **бот не может читать историю каналов**: Telegram не даёт ботам +доступ к прошлым сообщениям, а в закрытые каналы бота ещё и надо +добавить. Поэтому нужен **юзербот** — программа, работающая под вашим +аккаунтом (как ещё одно устройство в списке сеансов). + +## Насколько это безопасно + +Честно, с рисками: + +| Риск | Насколько серьёзен | Что делаем | +|---|---|---| +| Telegram может ограничить аккаунт за автоматизацию | **умеренный** при аккуратной работе; высокий при массовой выкачке | пауза 3 с между файлами, лимит размера, никакой отправки | +| Файл сессии = полный доступ к аккаунту | **высокий**, если утечёт | права 600, лежит только на сервере, не в облачных копиях | +| Ваш аккаунт виден в списке сеансов | безвредно | можно завершить сеанс в любой момент | + +**Главная рекомендация: заведите отдельный аккаунт** (второй номер или +виртуальный) и подпишите его только на книжные каналы. Тогда основной +аккаунт вообще не участвует, и любые ограничения Telegram не заденут +вашу переписку. + +## Что уже сделано + +Собран контейнер `telegram-books`: + +* читает **только** указанные каналы, ничего не отправляет; +* скачивает `.epub .fb2 .pdf .mobi .azw3 .djvu .zip`; +* помнит, что уже скачано (база `state.db`) — не качает дважды; +* при ограничении Telegram (`FloodWait`) ждёт и продолжает; +* складывает файлы в папку приёма библиотеки — **книги появляются в + каталоге автоматически**; +* проверяет каналы по расписанию (по умолчанию раз в час). + +## Что нужно от владельца + +1. **api_id и api_hash** — https://my.telegram.org → API development + tools (вход по номеру, создание приложения бесплатно). +2. **Список каналов** — `@имя` или числовой id. +3. **Один раз ввести код** из Telegram. + +После этого: + +``` +# 1. вписать api_id, api_hash и каналы +pct exec 111 -- nano /opt/telegram-books/config.yaml + +# 2. войти (один раз, интерактивно) +pct exec 111 -- docker run --rm -it \ + -v /opt/telegram-books/config.yaml:/app/config.yaml \ + -v /opt/telegram-books/session:/app/session \ + buryan/telegram-books:latest python3 /app/login.py + +# 3. запустить +pct exec 111 -- docker start telegram-books +``` + +## Юридическая оговорка + +Скачивание книг из каналов, где выкладывают пиратские копии, нарушает +авторские права. Технически механизм нейтрален (он умеет забирать любые +файлы из каналов, на которые вы подписаны), но ответственность за +содержимое — на том, кто им пользуется. diff --git a/docs/TASKS.md b/docs/TASKS.md index 3574519..204f79b 100644 --- a/docs/TASKS.md +++ b/docs/TASKS.md @@ -36,10 +36,10 @@ | ЗВОНКИ И МЕДИА | 8 | 4 | 1 | **3** | | СКВОЗНАЯ СВЯЗНОСТЬ | 14 | 6 | 2 | **6** | | УЛУЧШЕНИЕ СЛУЖБ | 13 | 9 | 0 | **4** | -| КНИЖНАЯ БИБЛИОТЕКА | 5 | 1 | 0 | **4** | +| КНИЖНАЯ БИБЛИОТЕКА | 5 | 1 | 1 | **3** | | VPN (этапы 1–4) | 29 | 21 | 3 | **5** | | РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** | -| **ИТОГО** | **107** | **73** | **7** | **27** | +| **ИТОГО** | **107** | **73** | **8** | **26** | --- @@ -76,6 +76,7 @@ + ## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ @@ -168,7 +169,7 @@ | К-1 | Calibre-Web Automated вместо старого | ✅ загрузка, выгрузка, автоприём из папки | | К-2 | Сервис каталога и статистики чтения | ⬜ импорт JSON Полины (181 книга, 45 серий) | | К-3 | Профили читателей | ⬜ у каждого свой каталог | -| К-4 | Загрузчик из Telegram-каналов | ⬜ юзербот, нужен вход по коду | +| К-4 | Загрузчик из Telegram-каналов | 🔶 контейнер собран, нужны api_id/api_hash и вход | | К-5 | Интеграция: Dashy, наблюдение, реестр | ⬜ | ## 6. VPN diff --git a/ops/books/telegram/config.example.yaml b/ops/books/telegram/config.example.yaml new file mode 100644 index 0000000..e923298 --- /dev/null +++ b/ops/books/telegram/config.example.yaml @@ -0,0 +1,27 @@ +# Настройки загрузчика книг из Telegram +# ------------------------------------- +# api_id и api_hash: https://my.telegram.org -> API development tools +# (вход по вашему номеру, создаётся приложение — это бесплатно) + +api_id: 0 +api_hash: "" + +# Куда складывать книги. Это папка приёма библиотеки: +# Calibre-Web Automated сам подхватит и добавит их в каталог. +destination: /books-ingest + +# Каналы, из которых качать. Можно указывать: +# * @username публичного канала +# * id канала (число, например -1001234567890) +# * ссылку вида https://t.me/канал +channels: + # - "@example_books" + # - -1001234567890 + +# Предохранители +max_file_mb: 150 # не качать файлы больше этого размера +pause_seconds: 3 # пауза между скачиваниями (чтобы не злить Telegram) +first_run_messages: 300 # сколько сообщений смотреть при первом запуске канала + +# Расписание: как часто проверять каналы (минуты) +interval_minutes: 60 diff --git a/ops/books/telegram/fetcher.py b/ops/books/telegram/fetcher.py new file mode 100644 index 0000000..75ae600 --- /dev/null +++ b/ops/books/telegram/fetcher.py @@ -0,0 +1,215 @@ +#!/usr/bin/env python3 +""" +fetcher.py — загрузка книг из Telegram-каналов в библиотеку. + +СХЕМА РАБОТЫ: + * вход под вашим аккаунтом (сессия Telethon), права те же, что у вас; + * читает ТОЛЬКО указанные каналы, ничего не отправляет и не пишет; + * скачивает документы нужных форматов в папку приёма библиотеки; + * ведёт учёт: что уже скачано, чтобы не качать дважды; + * при ограничении Telegram (FloodWait) ждёт и продолжает. + +БЕЗОПАСНОСТЬ: + * файл сессии даёт полный доступ к аккаунту — он лежит с правами 600 + и не должен попадать в облачные копии; + * лучше использовать ОТДЕЛЬНЫЙ аккаунт (второй номер), а не основной; + * ограничение скорости — чтобы не выглядеть как массовая выкачка. +""" +import asyncio +import hashlib +import json +import os +import re +import sqlite3 +import sys +import time +from datetime import datetime, timezone +from pathlib import Path + +import yaml +from telethon import TelegramClient +from telethon.errors import FloodWaitError, RPCError +from telethon.tl.types import DocumentAttributeFilename + +BASE = Path("/app") +CONFIG = BASE / "config.yaml" +STATE = BASE / "state.db" +SESSION = BASE / "session" / "books" + +ALLOWED = {".epub", ".fb2", ".pdf", ".mobi", ".azw3", ".djvu", ".zip", ".fb2.zip"} + + +def log(msg: str) -> None: + ts = datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S") + line = f"[{ts}] {msg}" + print(line, flush=True) + try: + with open(BASE / "fetcher.log", "a", encoding="utf-8") as f: + f.write(line + "\n") + except OSError: + pass + + +def load_config() -> dict: + with open(CONFIG, encoding="utf-8") as f: + return yaml.safe_load(f) + + +def init_state() -> sqlite3.Connection: + con = sqlite3.connect(STATE) + con.execute( + """create table if not exists downloaded ( + key text primary key, + channel text, + message_id integer, + filename text, + size integer, + added text + )""" + ) + con.execute( + """create table if not exists channel_state ( + channel text primary key, + last_message_id integer, + updated text + )""" + ) + con.commit() + return con + + +def already(con: sqlite3.Connection, key: str) -> bool: + return con.execute("select 1 from downloaded where key=?", (key,)).fetchone() is not None + + +def mark(con: sqlite3.Connection, key: str, channel: str, mid: int, name: str, size: int) -> None: + con.execute( + "insert or replace into downloaded(key,channel,message_id,filename,size,added) values(?,?,?,?,?,?)", + (key, channel, mid, name, size, datetime.now(timezone.utc).isoformat()), + ) + con.commit() + + +def safe_name(name: str) -> str: + name = re.sub(r"[\\/:*?\"<>|]+", "_", name).strip() + name = re.sub(r"\s+", " ", name) + return name[:180] or "book" + + +def file_name_of(message) -> str: + if message.document: + for attr in message.document.attributes: + if isinstance(attr, DocumentAttributeFilename): + return attr.file_name or "" + return "" + + +def pick_document(message): + if not message.document: + return None + name = file_name_of(message).lower() + if not name: + return None + if any(name.endswith(ext) for ext in ALLOWED): + return message.document + return None + + +async def process_channel(client: TelegramClient, con: sqlite3.Connection, cfg: dict, channel: str) -> int: + dest = Path(cfg["destination"]) + dest.mkdir(parents=True, exist_ok=True) + limit = int(cfg.get("max_file_mb", 150)) * 1024 * 1024 + pause = float(cfg.get("pause_seconds", 3)) + first_run_limit = int(cfg.get("first_run_messages", 300)) + + row = con.execute("select last_message_id from channel_state where channel=?", (channel,)).fetchone() + last_id = row[0] if row else 0 + got = 0 + + try: + entity = await client.get_entity(channel) + except RPCError as e: + log(f"не удалось открыть канал {channel}: {e}") + return 0 + + messages = [] + async for msg in client.iter_messages(entity, limit=first_run_limit if last_id == 0 else None, + min_id=last_id, reverse=True): + messages.append(msg) + + log(f"{channel}: сообщений к обработке {len(messages)}") + + for msg in messages: + doc = pick_document(msg) + if doc is None: + continue + size = doc.size or 0 + if size > limit: + log(f"пропуск (большой файл {size // 1024 // 1024} МБ): {file_name_of(msg)}") + continue + + name = safe_name(file_name_of(msg)) + key = hashlib.sha1(f"{channel}:{msg.id}:{name}".encode()).hexdigest() + if already(con, key): + continue + + target = dest / name + if target.exists(): + mark(con, key, channel, msg.id, name, size) + continue + + try: + await client.download_media(msg, file=str(target)) + mark(con, key, channel, msg.id, name, size) + got += 1 + log(f"скачано: {name} ({size // 1024} КБ)") + except FloodWaitError as e: + wait = int(getattr(e, "seconds", 60)) + 5 + log(f"ограничение Telegram, ждём {wait} с") + await asyncio.sleep(wait) + except Exception as e: + log(f"ошибка при скачивании {name}: {e}") + + con.execute( + "insert or replace into channel_state(channel,last_message_id,updated) values(?,?,?)", + (channel, msg.id, datetime.now(timezone.utc).isoformat()), + ) + con.commit() + await asyncio.sleep(pause) + + if messages: + con.execute( + "insert or replace into channel_state(channel,last_message_id,updated) values(?,?,?)", + (channel, messages[-1].id, datetime.now(timezone.utc).isoformat()), + ) + con.commit() + return got + + +async def main() -> None: + cfg = load_config() + con = init_state() + + client = TelegramClient(str(SESSION), int(cfg["api_id"]), cfg["api_hash"]) + await client.start() + me = await client.get_me() + log(f"вход выполнен: {me.first_name or ''} @{me.username or me.id}") + + channels = cfg.get("channels") or [] + if not channels: + log("в настройках нет каналов — нечего делать") + await client.disconnect() + return + + total = 0 + for ch in channels: + try: + total += await process_channel(client, con, cfg, ch) + except Exception as e: + log(f"канал {ch}: ошибка {e}") + log(f"итого скачано: {total}") + await client.disconnect() + + +if __name__ == "__main__": + asyncio.run(main()) diff --git a/ops/books/telegram/login.py b/ops/books/telegram/login.py new file mode 100644 index 0000000..41ae718 --- /dev/null +++ b/ops/books/telegram/login.py @@ -0,0 +1,43 @@ +#!/usr/bin/env python3 +""" +login.py — однократный вход в Telegram для загрузчика книг. + +Запускается ОДИН раз интерактивно: вводите номер телефона, код из Telegram +и пароль двухфакторной защиты (если включён). После этого создаётся файл +сессии, и загрузчик работает без вашего участия. +""" +import asyncio +import sys +from pathlib import Path + +import yaml +from telethon import TelegramClient + +BASE = Path("/app") +SESSION = BASE / "session" / "books" + + +async def main() -> None: + with open(BASE / "config.yaml", encoding="utf-8") as f: + cfg = yaml.safe_load(f) + + if not cfg.get("api_id") or not cfg.get("api_hash"): + print("Сначала заполните api_id и api_hash в config.yaml") + print("Получить: https://my.telegram.org -> API development tools") + sys.exit(1) + + SESSION.parent.mkdir(parents=True, exist_ok=True) + client = TelegramClient(str(SESSION), int(cfg["api_id"]), cfg["api_hash"]) + await client.start() + me = await client.get_me() + print() + print("ВХОД ВЫПОЛНЕН") + print(f" аккаунт: {me.first_name or ''} @{me.username or me.id}") + print(f" сессия: {SESSION}.session") + print() + print("Файл сессии = полный доступ к аккаунту. Храните его как пароль.") + await client.disconnect() + + +if __name__ == "__main__": + asyncio.run(main()) diff --git a/ops/books/telegram/run_loop.py b/ops/books/telegram/run_loop.py new file mode 100644 index 0000000..728c09c --- /dev/null +++ b/ops/books/telegram/run_loop.py @@ -0,0 +1,37 @@ +#!/usr/bin/env python3 +"""run_loop.py — запускает загрузчик по расписанию из config.yaml.""" +import subprocess +import sys +import time +from datetime import datetime, timezone +from pathlib import Path + +import yaml + +BASE = Path("/app") + + +def log(msg): + print(f"[{datetime.now(timezone.utc):%Y-%m-%d %H:%M:%S}] {msg}", flush=True) + + +while True: + try: + with open(BASE / "config.yaml", encoding="utf-8") as f: + cfg = yaml.safe_load(f) or {} + except Exception as e: + log(f"не прочитать config.yaml: {e}") + cfg = {} + + if not cfg.get("api_id") or not cfg.get("api_hash"): + log("api_id/api_hash не заполнены — жду настройки (проверяю каждые 5 минут)") + time.sleep(300) + continue + + log("запуск проверки каналов") + r = subprocess.run([sys.executable, "/app/fetcher.py"], cwd="/app") + log(f"проверка завершена, код {r.returncode}") + + minutes = int(cfg.get("interval_minutes") or 60) + log(f"следующая проверка через {minutes} мин") + time.sleep(max(300, minutes * 60))