Книги из Telegram: собран загрузчик (юзербот), нужны данные владельца
ОТВЕТ НА ВОПРОС: да, из закрытых каналов доставать можно, но НЕ ботом.
Обычный бот не читает историю каналов и его нельзя добавить в закрытый
канал. Нужен юзербот — программа под вашим аккаунтом.
БЕЗОПАСНОСТЬ, честно:
* Telegram может ограничить аккаунт за автоматизацию — риск умеренный
при аккуратной работе (пауза 3 с, лимит размера, никакой отправки);
* файл сессии = полный доступ к аккаунту — права 600, только на
сервере, не в облачных копиях;
* ГЛАВНАЯ РЕКОМЕНДАЦИЯ: отдельный аккаунт под книги, тогда основной
не участвует.
СОБРАНО: контейнер telegram-books с Telethon. Читает только указанные
каналы, ничего не отправляет, качает epub/fb2/pdf/mobi/azw3/djvu/zip,
помнит скачанное (не дублирует), пережидает FloodWait, складывает файлы
в папку приёма библиотеки (книги появляются в каталоге сами), проверяет
каналы по расписанию.
НУЖНО ОТ ВЛАДЕЛЬЦА: api_id и api_hash с my.telegram.org, список каналов,
однократный ввод кода из Telegram.
Добавлена оговорка про авторские права: механизм нейтрален, но
ответственность за содержимое на пользователе.
This commit is contained in:
1 parent
a28ea95c46
commit
5c040ec142
6 files changed
+391
-3
No files matched your search
@@ -0,0 +1,65 @@
|
||||
# Загрузка книг из Telegram (18.10.2026)
|
||||
|
||||
## Ответ на вопрос: да, это возможно — но не ботом
|
||||
|
||||
Обычный **бот не может читать историю каналов**: Telegram не даёт ботам
|
||||
доступ к прошлым сообщениям, а в закрытые каналы бота ещё и надо
|
||||
добавить. Поэтому нужен **юзербот** — программа, работающая под вашим
|
||||
аккаунтом (как ещё одно устройство в списке сеансов).
|
||||
|
||||
## Насколько это безопасно
|
||||
|
||||
Честно, с рисками:
|
||||
|
||||
| Риск | Насколько серьёзен | Что делаем |
|
||||
|---|---|---|
|
||||
| Telegram может ограничить аккаунт за автоматизацию | **умеренный** при аккуратной работе; высокий при массовой выкачке | пауза 3 с между файлами, лимит размера, никакой отправки |
|
||||
| Файл сессии = полный доступ к аккаунту | **высокий**, если утечёт | права 600, лежит только на сервере, не в облачных копиях |
|
||||
| Ваш аккаунт виден в списке сеансов | безвредно | можно завершить сеанс в любой момент |
|
||||
|
||||
**Главная рекомендация: заведите отдельный аккаунт** (второй номер или
|
||||
виртуальный) и подпишите его только на книжные каналы. Тогда основной
|
||||
аккаунт вообще не участвует, и любые ограничения Telegram не заденут
|
||||
вашу переписку.
|
||||
|
||||
## Что уже сделано
|
||||
|
||||
Собран контейнер `telegram-books`:
|
||||
|
||||
* читает **только** указанные каналы, ничего не отправляет;
|
||||
* скачивает `.epub .fb2 .pdf .mobi .azw3 .djvu .zip`;
|
||||
* помнит, что уже скачано (база `state.db`) — не качает дважды;
|
||||
* при ограничении Telegram (`FloodWait`) ждёт и продолжает;
|
||||
* складывает файлы в папку приёма библиотеки — **книги появляются в
|
||||
каталоге автоматически**;
|
||||
* проверяет каналы по расписанию (по умолчанию раз в час).
|
||||
|
||||
## Что нужно от владельца
|
||||
|
||||
1. **api_id и api_hash** — https://my.telegram.org → API development
|
||||
tools (вход по номеру, создание приложения бесплатно).
|
||||
2. **Список каналов** — `@имя` или числовой id.
|
||||
3. **Один раз ввести код** из Telegram.
|
||||
|
||||
После этого:
|
||||
|
||||
```
|
||||
# 1. вписать api_id, api_hash и каналы
|
||||
pct exec 111 -- nano /opt/telegram-books/config.yaml
|
||||
|
||||
# 2. войти (один раз, интерактивно)
|
||||
pct exec 111 -- docker run --rm -it \
|
||||
-v /opt/telegram-books/config.yaml:/app/config.yaml \
|
||||
-v /opt/telegram-books/session:/app/session \
|
||||
buryan/telegram-books:latest python3 /app/login.py
|
||||
|
||||
# 3. запустить
|
||||
pct exec 111 -- docker start telegram-books
|
||||
```
|
||||
|
||||
## Юридическая оговорка
|
||||
|
||||
Скачивание книг из каналов, где выкладывают пиратские копии, нарушает
|
||||
авторские права. Технически механизм нейтрален (он умеет забирать любые
|
||||
файлы из каналов, на которые вы подписаны), но ответственность за
|
||||
содержимое — на том, кто им пользуется.
|
||||
+4
-3
@@ -36,10 +36,10 @@
|
||||
| ЗВОНКИ И МЕДИА | 8 | 4 | 1 | **3** |
|
||||
| СКВОЗНАЯ СВЯЗНОСТЬ | 14 | 6 | 2 | **6** |
|
||||
| УЛУЧШЕНИЕ СЛУЖБ | 13 | 9 | 0 | **4** |
|
||||
| КНИЖНАЯ БИБЛИОТЕКА | 5 | 1 | 0 | **4** |
|
||||
| КНИЖНАЯ БИБЛИОТЕКА | 5 | 1 | 1 | **3** |
|
||||
| VPN (этапы 1–4) | 29 | 21 | 3 | **5** |
|
||||
| РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** |
|
||||
| **ИТОГО** | **107** | **73** | **7** | **27** |
|
||||
| **ИТОГО** | **107** | **73** | **8** | **26** |
|
||||
|
||||
---
|
||||
|
||||
@@ -76,6 +76,7 @@
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ
|
||||
@@ -168,7 +169,7 @@
|
||||
| К-1 | Calibre-Web Automated вместо старого | ✅ загрузка, выгрузка, автоприём из папки |
|
||||
| К-2 | Сервис каталога и статистики чтения | ⬜ импорт JSON Полины (181 книга, 45 серий) |
|
||||
| К-3 | Профили читателей | ⬜ у каждого свой каталог |
|
||||
| К-4 | Загрузчик из Telegram-каналов | ⬜ юзербот, нужен вход по коду |
|
||||
| К-4 | Загрузчик из Telegram-каналов | 🔶 контейнер собран, нужны api_id/api_hash и вход |
|
||||
| К-5 | Интеграция: Dashy, наблюдение, реестр | ⬜ |
|
||||
|
||||
## 6. VPN
|
||||
|
||||
@@ -0,0 +1,27 @@
|
||||
# Настройки загрузчика книг из Telegram
|
||||
# -------------------------------------
|
||||
# api_id и api_hash: https://my.telegram.org -> API development tools
|
||||
# (вход по вашему номеру, создаётся приложение — это бесплатно)
|
||||
|
||||
api_id: 0
|
||||
api_hash: ""
|
||||
|
||||
# Куда складывать книги. Это папка приёма библиотеки:
|
||||
# Calibre-Web Automated сам подхватит и добавит их в каталог.
|
||||
destination: /books-ingest
|
||||
|
||||
# Каналы, из которых качать. Можно указывать:
|
||||
# * @username публичного канала
|
||||
# * id канала (число, например -1001234567890)
|
||||
# * ссылку вида https://t.me/канал
|
||||
channels:
|
||||
# - "@example_books"
|
||||
# - -1001234567890
|
||||
|
||||
# Предохранители
|
||||
max_file_mb: 150 # не качать файлы больше этого размера
|
||||
pause_seconds: 3 # пауза между скачиваниями (чтобы не злить Telegram)
|
||||
first_run_messages: 300 # сколько сообщений смотреть при первом запуске канала
|
||||
|
||||
# Расписание: как часто проверять каналы (минуты)
|
||||
interval_minutes: 60
|
||||
@@ -0,0 +1,215 @@
|
||||
#!/usr/bin/env python3
|
||||
"""
|
||||
fetcher.py — загрузка книг из Telegram-каналов в библиотеку.
|
||||
|
||||
СХЕМА РАБОТЫ:
|
||||
* вход под вашим аккаунтом (сессия Telethon), права те же, что у вас;
|
||||
* читает ТОЛЬКО указанные каналы, ничего не отправляет и не пишет;
|
||||
* скачивает документы нужных форматов в папку приёма библиотеки;
|
||||
* ведёт учёт: что уже скачано, чтобы не качать дважды;
|
||||
* при ограничении Telegram (FloodWait) ждёт и продолжает.
|
||||
|
||||
БЕЗОПАСНОСТЬ:
|
||||
* файл сессии даёт полный доступ к аккаунту — он лежит с правами 600
|
||||
и не должен попадать в облачные копии;
|
||||
* лучше использовать ОТДЕЛЬНЫЙ аккаунт (второй номер), а не основной;
|
||||
* ограничение скорости — чтобы не выглядеть как массовая выкачка.
|
||||
"""
|
||||
import asyncio
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sqlite3
|
||||
import sys
|
||||
import time
|
||||
from datetime import datetime, timezone
|
||||
from pathlib import Path
|
||||
|
||||
import yaml
|
||||
from telethon import TelegramClient
|
||||
from telethon.errors import FloodWaitError, RPCError
|
||||
from telethon.tl.types import DocumentAttributeFilename
|
||||
|
||||
BASE = Path("/app")
|
||||
CONFIG = BASE / "config.yaml"
|
||||
STATE = BASE / "state.db"
|
||||
SESSION = BASE / "session" / "books"
|
||||
|
||||
ALLOWED = {".epub", ".fb2", ".pdf", ".mobi", ".azw3", ".djvu", ".zip", ".fb2.zip"}
|
||||
|
||||
|
||||
def log(msg: str) -> None:
|
||||
ts = datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S")
|
||||
line = f"[{ts}] {msg}"
|
||||
print(line, flush=True)
|
||||
try:
|
||||
with open(BASE / "fetcher.log", "a", encoding="utf-8") as f:
|
||||
f.write(line + "\n")
|
||||
except OSError:
|
||||
pass
|
||||
|
||||
|
||||
def load_config() -> dict:
|
||||
with open(CONFIG, encoding="utf-8") as f:
|
||||
return yaml.safe_load(f)
|
||||
|
||||
|
||||
def init_state() -> sqlite3.Connection:
|
||||
con = sqlite3.connect(STATE)
|
||||
con.execute(
|
||||
"""create table if not exists downloaded (
|
||||
key text primary key,
|
||||
channel text,
|
||||
message_id integer,
|
||||
filename text,
|
||||
size integer,
|
||||
added text
|
||||
)"""
|
||||
)
|
||||
con.execute(
|
||||
"""create table if not exists channel_state (
|
||||
channel text primary key,
|
||||
last_message_id integer,
|
||||
updated text
|
||||
)"""
|
||||
)
|
||||
con.commit()
|
||||
return con
|
||||
|
||||
|
||||
def already(con: sqlite3.Connection, key: str) -> bool:
|
||||
return con.execute("select 1 from downloaded where key=?", (key,)).fetchone() is not None
|
||||
|
||||
|
||||
def mark(con: sqlite3.Connection, key: str, channel: str, mid: int, name: str, size: int) -> None:
|
||||
con.execute(
|
||||
"insert or replace into downloaded(key,channel,message_id,filename,size,added) values(?,?,?,?,?,?)",
|
||||
(key, channel, mid, name, size, datetime.now(timezone.utc).isoformat()),
|
||||
)
|
||||
con.commit()
|
||||
|
||||
|
||||
def safe_name(name: str) -> str:
|
||||
name = re.sub(r"[\\/:*?\"<>|]+", "_", name).strip()
|
||||
name = re.sub(r"\s+", " ", name)
|
||||
return name[:180] or "book"
|
||||
|
||||
|
||||
def file_name_of(message) -> str:
|
||||
if message.document:
|
||||
for attr in message.document.attributes:
|
||||
if isinstance(attr, DocumentAttributeFilename):
|
||||
return attr.file_name or ""
|
||||
return ""
|
||||
|
||||
|
||||
def pick_document(message):
|
||||
if not message.document:
|
||||
return None
|
||||
name = file_name_of(message).lower()
|
||||
if not name:
|
||||
return None
|
||||
if any(name.endswith(ext) for ext in ALLOWED):
|
||||
return message.document
|
||||
return None
|
||||
|
||||
|
||||
async def process_channel(client: TelegramClient, con: sqlite3.Connection, cfg: dict, channel: str) -> int:
|
||||
dest = Path(cfg["destination"])
|
||||
dest.mkdir(parents=True, exist_ok=True)
|
||||
limit = int(cfg.get("max_file_mb", 150)) * 1024 * 1024
|
||||
pause = float(cfg.get("pause_seconds", 3))
|
||||
first_run_limit = int(cfg.get("first_run_messages", 300))
|
||||
|
||||
row = con.execute("select last_message_id from channel_state where channel=?", (channel,)).fetchone()
|
||||
last_id = row[0] if row else 0
|
||||
got = 0
|
||||
|
||||
try:
|
||||
entity = await client.get_entity(channel)
|
||||
except RPCError as e:
|
||||
log(f"не удалось открыть канал {channel}: {e}")
|
||||
return 0
|
||||
|
||||
messages = []
|
||||
async for msg in client.iter_messages(entity, limit=first_run_limit if last_id == 0 else None,
|
||||
min_id=last_id, reverse=True):
|
||||
messages.append(msg)
|
||||
|
||||
log(f"{channel}: сообщений к обработке {len(messages)}")
|
||||
|
||||
for msg in messages:
|
||||
doc = pick_document(msg)
|
||||
if doc is None:
|
||||
continue
|
||||
size = doc.size or 0
|
||||
if size > limit:
|
||||
log(f"пропуск (большой файл {size // 1024 // 1024} МБ): {file_name_of(msg)}")
|
||||
continue
|
||||
|
||||
name = safe_name(file_name_of(msg))
|
||||
key = hashlib.sha1(f"{channel}:{msg.id}:{name}".encode()).hexdigest()
|
||||
if already(con, key):
|
||||
continue
|
||||
|
||||
target = dest / name
|
||||
if target.exists():
|
||||
mark(con, key, channel, msg.id, name, size)
|
||||
continue
|
||||
|
||||
try:
|
||||
await client.download_media(msg, file=str(target))
|
||||
mark(con, key, channel, msg.id, name, size)
|
||||
got += 1
|
||||
log(f"скачано: {name} ({size // 1024} КБ)")
|
||||
except FloodWaitError as e:
|
||||
wait = int(getattr(e, "seconds", 60)) + 5
|
||||
log(f"ограничение Telegram, ждём {wait} с")
|
||||
await asyncio.sleep(wait)
|
||||
except Exception as e:
|
||||
log(f"ошибка при скачивании {name}: {e}")
|
||||
|
||||
con.execute(
|
||||
"insert or replace into channel_state(channel,last_message_id,updated) values(?,?,?)",
|
||||
(channel, msg.id, datetime.now(timezone.utc).isoformat()),
|
||||
)
|
||||
con.commit()
|
||||
await asyncio.sleep(pause)
|
||||
|
||||
if messages:
|
||||
con.execute(
|
||||
"insert or replace into channel_state(channel,last_message_id,updated) values(?,?,?)",
|
||||
(channel, messages[-1].id, datetime.now(timezone.utc).isoformat()),
|
||||
)
|
||||
con.commit()
|
||||
return got
|
||||
|
||||
|
||||
async def main() -> None:
|
||||
cfg = load_config()
|
||||
con = init_state()
|
||||
|
||||
client = TelegramClient(str(SESSION), int(cfg["api_id"]), cfg["api_hash"])
|
||||
await client.start()
|
||||
me = await client.get_me()
|
||||
log(f"вход выполнен: {me.first_name or ''} @{me.username or me.id}")
|
||||
|
||||
channels = cfg.get("channels") or []
|
||||
if not channels:
|
||||
log("в настройках нет каналов — нечего делать")
|
||||
await client.disconnect()
|
||||
return
|
||||
|
||||
total = 0
|
||||
for ch in channels:
|
||||
try:
|
||||
total += await process_channel(client, con, cfg, ch)
|
||||
except Exception as e:
|
||||
log(f"канал {ch}: ошибка {e}")
|
||||
log(f"итого скачано: {total}")
|
||||
await client.disconnect()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
asyncio.run(main())
|
||||
@@ -0,0 +1,43 @@
|
||||
#!/usr/bin/env python3
|
||||
"""
|
||||
login.py — однократный вход в Telegram для загрузчика книг.
|
||||
|
||||
Запускается ОДИН раз интерактивно: вводите номер телефона, код из Telegram
|
||||
и пароль двухфакторной защиты (если включён). После этого создаётся файл
|
||||
сессии, и загрузчик работает без вашего участия.
|
||||
"""
|
||||
import asyncio
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
import yaml
|
||||
from telethon import TelegramClient
|
||||
|
||||
BASE = Path("/app")
|
||||
SESSION = BASE / "session" / "books"
|
||||
|
||||
|
||||
async def main() -> None:
|
||||
with open(BASE / "config.yaml", encoding="utf-8") as f:
|
||||
cfg = yaml.safe_load(f)
|
||||
|
||||
if not cfg.get("api_id") or not cfg.get("api_hash"):
|
||||
print("Сначала заполните api_id и api_hash в config.yaml")
|
||||
print("Получить: https://my.telegram.org -> API development tools")
|
||||
sys.exit(1)
|
||||
|
||||
SESSION.parent.mkdir(parents=True, exist_ok=True)
|
||||
client = TelegramClient(str(SESSION), int(cfg["api_id"]), cfg["api_hash"])
|
||||
await client.start()
|
||||
me = await client.get_me()
|
||||
print()
|
||||
print("ВХОД ВЫПОЛНЕН")
|
||||
print(f" аккаунт: {me.first_name or ''} @{me.username or me.id}")
|
||||
print(f" сессия: {SESSION}.session")
|
||||
print()
|
||||
print("Файл сессии = полный доступ к аккаунту. Храните его как пароль.")
|
||||
await client.disconnect()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
asyncio.run(main())
|
||||
@@ -0,0 +1,37 @@
|
||||
#!/usr/bin/env python3
|
||||
"""run_loop.py — запускает загрузчик по расписанию из config.yaml."""
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
from datetime import datetime, timezone
|
||||
from pathlib import Path
|
||||
|
||||
import yaml
|
||||
|
||||
BASE = Path("/app")
|
||||
|
||||
|
||||
def log(msg):
|
||||
print(f"[{datetime.now(timezone.utc):%Y-%m-%d %H:%M:%S}] {msg}", flush=True)
|
||||
|
||||
|
||||
while True:
|
||||
try:
|
||||
with open(BASE / "config.yaml", encoding="utf-8") as f:
|
||||
cfg = yaml.safe_load(f) or {}
|
||||
except Exception as e:
|
||||
log(f"не прочитать config.yaml: {e}")
|
||||
cfg = {}
|
||||
|
||||
if not cfg.get("api_id") or not cfg.get("api_hash"):
|
||||
log("api_id/api_hash не заполнены — жду настройки (проверяю каждые 5 минут)")
|
||||
time.sleep(300)
|
||||
continue
|
||||
|
||||
log("запуск проверки каналов")
|
||||
r = subprocess.run([sys.executable, "/app/fetcher.py"], cwd="/app")
|
||||
log(f"проверка завершена, код {r.returncode}")
|
||||
|
||||
minutes = int(cfg.get("interval_minutes") or 60)
|
||||
log(f"следующая проверка через {minutes} мин")
|
||||
time.sleep(max(300, minutes * 60))
|
||||
Reference in new issue
Block a user