Книги из Telegram: собран загрузчик (юзербот), нужны данные владельца

ОТВЕТ НА ВОПРОС: да, из закрытых каналов доставать можно, но НЕ ботом.
Обычный бот не читает историю каналов и его нельзя добавить в закрытый
канал. Нужен юзербот — программа под вашим аккаунтом.

БЕЗОПАСНОСТЬ, честно:
  * Telegram может ограничить аккаунт за автоматизацию — риск умеренный
    при аккуратной работе (пауза 3 с, лимит размера, никакой отправки);
  * файл сессии = полный доступ к аккаунту — права 600, только на
    сервере, не в облачных копиях;
  * ГЛАВНАЯ РЕКОМЕНДАЦИЯ: отдельный аккаунт под книги, тогда основной
    не участвует.

СОБРАНО: контейнер telegram-books с Telethon. Читает только указанные
каналы, ничего не отправляет, качает epub/fb2/pdf/mobi/azw3/djvu/zip,
помнит скачанное (не дублирует), пережидает FloodWait, складывает файлы
в папку приёма библиотеки (книги появляются в каталоге сами), проверяет
каналы по расписанию.

НУЖНО ОТ ВЛАДЕЛЬЦА: api_id и api_hash с my.telegram.org, список каналов,
однократный ввод кода из Telegram.

Добавлена оговорка про авторские права: механизм нейтрален, но
ответственность за содержимое на пользователе.
This commit is contained in:
root committed 2026-10-18 19:22:30 +03:00
1 parent a28ea95c46
commit 5c040ec142
6 files changed
+391 -3

No files matched your search

+65
View File
@@ -0,0 +1,65 @@
# Загрузка книг из Telegram (18.10.2026)
## Ответ на вопрос: да, это возможно — но не ботом
Обычный **бот не может читать историю каналов**: Telegram не даёт ботам
доступ к прошлым сообщениям, а в закрытые каналы бота ещё и надо
добавить. Поэтому нужен **юзербот** — программа, работающая под вашим
аккаунтом (как ещё одно устройство в списке сеансов).
## Насколько это безопасно
Честно, с рисками:
| Риск | Насколько серьёзен | Что делаем |
|---|---|---|
| Telegram может ограничить аккаунт за автоматизацию | **умеренный** при аккуратной работе; высокий при массовой выкачке | пауза 3 с между файлами, лимит размера, никакой отправки |
| Файл сессии = полный доступ к аккаунту | **высокий**, если утечёт | права 600, лежит только на сервере, не в облачных копиях |
| Ваш аккаунт виден в списке сеансов | безвредно | можно завершить сеанс в любой момент |
**Главная рекомендация: заведите отдельный аккаунт** (второй номер или
виртуальный) и подпишите его только на книжные каналы. Тогда основной
аккаунт вообще не участвует, и любые ограничения Telegram не заденут
вашу переписку.
## Что уже сделано
Собран контейнер `telegram-books`:
* читает **только** указанные каналы, ничего не отправляет;
* скачивает `.epub .fb2 .pdf .mobi .azw3 .djvu .zip`;
* помнит, что уже скачано (база `state.db`) — не качает дважды;
* при ограничении Telegram (`FloodWait`) ждёт и продолжает;
* складывает файлы в папку приёма библиотеки — **книги появляются в
каталоге автоматически**;
* проверяет каналы по расписанию (по умолчанию раз в час).
## Что нужно от владельца
1. **api_id и api_hash** — https://my.telegram.org → API development
tools (вход по номеру, создание приложения бесплатно).
2. **Список каналов** — `@имя` или числовой id.
3. **Один раз ввести код** из Telegram.
После этого:
```
# 1. вписать api_id, api_hash и каналы
pct exec 111 -- nano /opt/telegram-books/config.yaml
# 2. войти (один раз, интерактивно)
pct exec 111 -- docker run --rm -it \
-v /opt/telegram-books/config.yaml:/app/config.yaml \
-v /opt/telegram-books/session:/app/session \
buryan/telegram-books:latest python3 /app/login.py
# 3. запустить
pct exec 111 -- docker start telegram-books
```
## Юридическая оговорка
Скачивание книг из каналов, где выкладывают пиратские копии, нарушает
авторские права. Технически механизм нейтрален (он умеет забирать любые
файлы из каналов, на которые вы подписаны), но ответственность за
содержимое — на том, кто им пользуется.
+4 -3
View File
@@ -36,10 +36,10 @@
| ЗВОНКИ И МЕДИА | 8 | 4 | 1 | **3** |
| СКВОЗНАЯ СВЯЗНОСТЬ | 14 | 6 | 2 | **6** |
| УЛУЧШЕНИЕ СЛУЖБ | 13 | 9 | 0 | **4** |
| КНИЖНАЯ БИБЛИОТЕКА | 5 | 1 | 0 | **4** |
| КНИЖНАЯ БИБЛИОТЕКА | 5 | 1 | 1 | **3** |
| VPN (этапы 1–4) | 29 | 21 | 3 | **5** |
| РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** |
| **ИТОГО** | **107** | **73** | **7** | **27** |
| **ИТОГО** | **107** | **73** | **8** | **26** |
---
@@ -76,6 +76,7 @@
## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ
@@ -168,7 +169,7 @@
| К-1 | Calibre-Web Automated вместо старого | ✅ загрузка, выгрузка, автоприём из папки |
| К-2 | Сервис каталога и статистики чтения | ⬜ импорт JSON Полины (181 книга, 45 серий) |
| К-3 | Профили читателей | ⬜ у каждого свой каталог |
| К-4 | Загрузчик из Telegram-каналов | ⬜ юзербот, нужен вход по коду |
| К-4 | Загрузчик из Telegram-каналов | 🔶 контейнер собран, нужны api_id/api_hash и вход |
| К-5 | Интеграция: Dashy, наблюдение, реестр | ⬜ |
## 6. VPN
+27
View File
@@ -0,0 +1,27 @@
# Настройки загрузчика книг из Telegram
# -------------------------------------
# api_id и api_hash: https://my.telegram.org -> API development tools
# (вход по вашему номеру, создаётся приложение — это бесплатно)
api_id: 0
api_hash: ""
# Куда складывать книги. Это папка приёма библиотеки:
# Calibre-Web Automated сам подхватит и добавит их в каталог.
destination: /books-ingest
# Каналы, из которых качать. Можно указывать:
# * @username публичного канала
# * id канала (число, например -1001234567890)
# * ссылку вида https://t.me/канал
channels:
# - "@example_books"
# - -1001234567890
# Предохранители
max_file_mb: 150 # не качать файлы больше этого размера
pause_seconds: 3 # пауза между скачиваниями (чтобы не злить Telegram)
first_run_messages: 300 # сколько сообщений смотреть при первом запуске канала
# Расписание: как часто проверять каналы (минуты)
interval_minutes: 60
+215
View File
@@ -0,0 +1,215 @@
#!/usr/bin/env python3
"""
fetcher.py — загрузка книг из Telegram-каналов в библиотеку.
СХЕМА РАБОТЫ:
* вход под вашим аккаунтом (сессия Telethon), права те же, что у вас;
* читает ТОЛЬКО указанные каналы, ничего не отправляет и не пишет;
* скачивает документы нужных форматов в папку приёма библиотеки;
* ведёт учёт: что уже скачано, чтобы не качать дважды;
* при ограничении Telegram (FloodWait) ждёт и продолжает.
БЕЗОПАСНОСТЬ:
* файл сессии даёт полный доступ к аккаунту — он лежит с правами 600
и не должен попадать в облачные копии;
* лучше использовать ОТДЕЛЬНЫЙ аккаунт (второй номер), а не основной;
* ограничение скорости — чтобы не выглядеть как массовая выкачка.
"""
import asyncio
import hashlib
import json
import os
import re
import sqlite3
import sys
import time
from datetime import datetime, timezone
from pathlib import Path
import yaml
from telethon import TelegramClient
from telethon.errors import FloodWaitError, RPCError
from telethon.tl.types import DocumentAttributeFilename
BASE = Path("/app")
CONFIG = BASE / "config.yaml"
STATE = BASE / "state.db"
SESSION = BASE / "session" / "books"
ALLOWED = {".epub", ".fb2", ".pdf", ".mobi", ".azw3", ".djvu", ".zip", ".fb2.zip"}
def log(msg: str) -> None:
ts = datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S")
line = f"[{ts}] {msg}"
print(line, flush=True)
try:
with open(BASE / "fetcher.log", "a", encoding="utf-8") as f:
f.write(line + "\n")
except OSError:
pass
def load_config() -> dict:
with open(CONFIG, encoding="utf-8") as f:
return yaml.safe_load(f)
def init_state() -> sqlite3.Connection:
con = sqlite3.connect(STATE)
con.execute(
"""create table if not exists downloaded (
key text primary key,
channel text,
message_id integer,
filename text,
size integer,
added text
)"""
)
con.execute(
"""create table if not exists channel_state (
channel text primary key,
last_message_id integer,
updated text
)"""
)
con.commit()
return con
def already(con: sqlite3.Connection, key: str) -> bool:
return con.execute("select 1 from downloaded where key=?", (key,)).fetchone() is not None
def mark(con: sqlite3.Connection, key: str, channel: str, mid: int, name: str, size: int) -> None:
con.execute(
"insert or replace into downloaded(key,channel,message_id,filename,size,added) values(?,?,?,?,?,?)",
(key, channel, mid, name, size, datetime.now(timezone.utc).isoformat()),
)
con.commit()
def safe_name(name: str) -> str:
name = re.sub(r"[\\/:*?\"<>|]+", "_", name).strip()
name = re.sub(r"\s+", " ", name)
return name[:180] or "book"
def file_name_of(message) -> str:
if message.document:
for attr in message.document.attributes:
if isinstance(attr, DocumentAttributeFilename):
return attr.file_name or ""
return ""
def pick_document(message):
if not message.document:
return None
name = file_name_of(message).lower()
if not name:
return None
if any(name.endswith(ext) for ext in ALLOWED):
return message.document
return None
async def process_channel(client: TelegramClient, con: sqlite3.Connection, cfg: dict, channel: str) -> int:
dest = Path(cfg["destination"])
dest.mkdir(parents=True, exist_ok=True)
limit = int(cfg.get("max_file_mb", 150)) * 1024 * 1024
pause = float(cfg.get("pause_seconds", 3))
first_run_limit = int(cfg.get("first_run_messages", 300))
row = con.execute("select last_message_id from channel_state where channel=?", (channel,)).fetchone()
last_id = row[0] if row else 0
got = 0
try:
entity = await client.get_entity(channel)
except RPCError as e:
log(f"не удалось открыть канал {channel}: {e}")
return 0
messages = []
async for msg in client.iter_messages(entity, limit=first_run_limit if last_id == 0 else None,
min_id=last_id, reverse=True):
messages.append(msg)
log(f"{channel}: сообщений к обработке {len(messages)}")
for msg in messages:
doc = pick_document(msg)
if doc is None:
continue
size = doc.size or 0
if size > limit:
log(f"пропуск (большой файл {size // 1024 // 1024} МБ): {file_name_of(msg)}")
continue
name = safe_name(file_name_of(msg))
key = hashlib.sha1(f"{channel}:{msg.id}:{name}".encode()).hexdigest()
if already(con, key):
continue
target = dest / name
if target.exists():
mark(con, key, channel, msg.id, name, size)
continue
try:
await client.download_media(msg, file=str(target))
mark(con, key, channel, msg.id, name, size)
got += 1
log(f"скачано: {name} ({size // 1024} КБ)")
except FloodWaitError as e:
wait = int(getattr(e, "seconds", 60)) + 5
log(f"ограничение Telegram, ждём {wait} с")
await asyncio.sleep(wait)
except Exception as e:
log(f"ошибка при скачивании {name}: {e}")
con.execute(
"insert or replace into channel_state(channel,last_message_id,updated) values(?,?,?)",
(channel, msg.id, datetime.now(timezone.utc).isoformat()),
)
con.commit()
await asyncio.sleep(pause)
if messages:
con.execute(
"insert or replace into channel_state(channel,last_message_id,updated) values(?,?,?)",
(channel, messages[-1].id, datetime.now(timezone.utc).isoformat()),
)
con.commit()
return got
async def main() -> None:
cfg = load_config()
con = init_state()
client = TelegramClient(str(SESSION), int(cfg["api_id"]), cfg["api_hash"])
await client.start()
me = await client.get_me()
log(f"вход выполнен: {me.first_name or ''} @{me.username or me.id}")
channels = cfg.get("channels") or []
if not channels:
log("в настройках нет каналов — нечего делать")
await client.disconnect()
return
total = 0
for ch in channels:
try:
total += await process_channel(client, con, cfg, ch)
except Exception as e:
log(f"канал {ch}: ошибка {e}")
log(f"итого скачано: {total}")
await client.disconnect()
if __name__ == "__main__":
asyncio.run(main())
+43
View File
@@ -0,0 +1,43 @@
#!/usr/bin/env python3
"""
login.py — однократный вход в Telegram для загрузчика книг.
Запускается ОДИН раз интерактивно: вводите номер телефона, код из Telegram
и пароль двухфакторной защиты (если включён). После этого создаётся файл
сессии, и загрузчик работает без вашего участия.
"""
import asyncio
import sys
from pathlib import Path
import yaml
from telethon import TelegramClient
BASE = Path("/app")
SESSION = BASE / "session" / "books"
async def main() -> None:
with open(BASE / "config.yaml", encoding="utf-8") as f:
cfg = yaml.safe_load(f)
if not cfg.get("api_id") or not cfg.get("api_hash"):
print("Сначала заполните api_id и api_hash в config.yaml")
print("Получить: https://my.telegram.org -> API development tools")
sys.exit(1)
SESSION.parent.mkdir(parents=True, exist_ok=True)
client = TelegramClient(str(SESSION), int(cfg["api_id"]), cfg["api_hash"])
await client.start()
me = await client.get_me()
print()
print("ВХОД ВЫПОЛНЕН")
print(f" аккаунт: {me.first_name or ''} @{me.username or me.id}")
print(f" сессия: {SESSION}.session")
print()
print("Файл сессии = полный доступ к аккаунту. Храните его как пароль.")
await client.disconnect()
if __name__ == "__main__":
asyncio.run(main())
+37
View File
@@ -0,0 +1,37 @@
#!/usr/bin/env python3
"""run_loop.py — запускает загрузчик по расписанию из config.yaml."""
import subprocess
import sys
import time
from datetime import datetime, timezone
from pathlib import Path
import yaml
BASE = Path("/app")
def log(msg):
print(f"[{datetime.now(timezone.utc):%Y-%m-%d %H:%M:%S}] {msg}", flush=True)
while True:
try:
with open(BASE / "config.yaml", encoding="utf-8") as f:
cfg = yaml.safe_load(f) or {}
except Exception as e:
log(f"не прочитать config.yaml: {e}")
cfg = {}
if not cfg.get("api_id") or not cfg.get("api_hash"):
log("api_id/api_hash не заполнены — жду настройки (проверяю каждые 5 минут)")
time.sleep(300)
continue
log("запуск проверки каналов")
r = subprocess.run([sys.executable, "/app/fetcher.py"], cwd="/app")
log(f"проверка завершена, код {r.returncode}")
minutes = int(cfg.get("interval_minutes") or 60)
log(f"следующая проверка через {minutes} мин")
time.sleep(max(300, minutes * 60))