Telegram userbot на втором номере: сервис, CLI и связка с книжным ботом

Второй аккаунт (+79105469668, id 6922233999) авторизован через Telethon
по api_id от mautrix. Работает через прокси CT161 (прямого интернета нет).

Что есть: CLI (whoami/dialogs/find/join/files/save) и HTTP-сервис на 9122
(/health, /files, /save), который скачивает файлы в /opt/books/ingest —
дальше Calibre-Web импортирует сам. В книжном боте появились /tg <запрос>
и /tg скачать N.

Выяснилось: публичные книжные каналы — витрины со ссылками на ботов, файлов
там нет. Нужны каналы, где книги выкладывают файлами, или книжный бот,
которому userbot будет писать запрос.

Ловушка: PowerShell добавляет BOM в файлы — Python падает на U+FEFF.
This commit is contained in:
buryan-agent committed 2026-10-21 11:53:56 +03:00
1 parent 1b6847822c
commit 3af6737511
4 files changed
+672 -162

No files matched your search

+236 -162
View File
@@ -1,20 +1,20 @@
#!/usr/bin/env python3
"""
book_bot.py — книжный бот в Matrix.
book_bot.py — книжный бот в Matrix.
ЧТО УМЕЕТ:
/find <название> — искать книгу во всех источниках (магазин, каталоги,
архивы, библиотеки) и прислать что нашлось;
/lib <запрос> — поиск по своей библиотеке (что уже есть);
/wanted — список книг, которые ещё не найдены;
/tg <название> — поиск постов в добавленных Telegram-каналах
(через веб-предпросмотр, без аккаунта);
/tgadd <канал> — добавить канал в список для поиска;
/tglist — какие каналы добавлены;
/tgdel <канал> — убрать канал;
/help — помощь.
ЧТО УМЕЕТ:
/find <название> — искать книгу во всех источниках (магазин, каталоги,
архивы, библиотеки) и прислать что нашлось;
/lib <запрос> — поиск по своей библиотеке (что уже есть);
/wanted — список книг, которые ещё не найдены;
/tg <название> — поиск постов в добавленных Telegram-каналах
(через веб-предпросмотр, без аккаунта);
/tgadd <канал> — добавить канал в список для поиска;
/tglist — какие каналы добавлены;
/tgdel <канал> — убрать канал;
/help — помощь.
Работает через long-polling /sync, без внешних библиотек.
Работает через long-polling /sync, без внешних библиотек.
"""
import json
import os
@@ -76,7 +76,7 @@ def send(room, text):
{"msgtype": "m.text", "body": text})
return True
except Exception as e:
log(f"не отправить в {room}: {e}")
log(f"не отправить в {room}: {e}")
return False
@@ -96,15 +96,15 @@ def norm(s):
return re.sub(r"\s+", " ", (s or "").lower()).strip()
# ---------- каталог Полины ----------
# ---------- каталог Полины ----------
def load_catalog():
"""Читает личный каталог: что прочитано, что ждёт, какие серии."""
"""Читает личный каталог: что прочитано, что ждёт, какие серии."""
try:
with open(CATALOG_JSON, encoding="utf-8") as f:
return json.load(f)
except Exception as e:
log(f"каталог не читается: {e}")
log(f"каталог не читается: {e}")
return {}
@@ -125,13 +125,13 @@ def book_author(b):
def is_pending(b):
"""Книга ещё не прочитана — интересна для скачивания."""
"""Книга ещё не прочитана — интересна для скачивания."""
status = (b.get("reading_status") or "").lower()
return status not in ("read", "completed_read", "not_interested", "main_line_completed")
def series_for_title(title):
"""Находит серию, в которой прочитана эта книга."""
"""Находит серию, в которой прочитана эта книга."""
t = norm(title)
for s in catalog_series():
for rt in (s.get("read_titles") or []):
@@ -141,43 +141,43 @@ def series_for_title(title):
def next_of(series):
"""Следующая книга серии (dict или None)."""
"""Следующая книга серии (dict или None)."""
n = series.get("next")
return n if isinstance(n, dict) else None
def availability_label(av):
return {
"ru_available": "🇷🇺 есть на русском",
"original_available": "🇬🇧 только оригинал",
"available": "↪ доступно",
"not_available": "❌ пока нет",
"ru_available": "🇷🇺 есть на русском",
"original_available": "🇬🇧 только оригинал",
"available": "↪ доступно",
"not_available": "❌ пока нет",
}.get((av or "").lower(), av or "")
PENDING_GROUPS = [
("available_unread", "🟡 Доступно, но не прочитано"),
("other_line_available", "↪ Другие линии/пары"),
("waiting_ru", "🇷🇺 Ждём русский перевод"),
("waiting_ru_or_copy", "🇷🇺 Нужна проверка перевода"),
("waiting_release", "🟠 Ждём выхода"),
("caught_up_waiting", "🔴 Прочитано всё, продолжения нет"),
("available_unread", "🟡 Доступно, но не прочитано"),
("other_line_available", "↪ Другие линии/пары"),
("waiting_ru", "🇷🇺 Ждём русский перевод"),
("waiting_ru_or_copy", "🇷🇺 Нужна проверка перевода"),
("waiting_release", "🟠 Ждём выхода"),
("caught_up_waiting", "🔴 Прочитано всё, продолжения нет"),
]
def cmd_polina():
data = load_catalog()
if not data:
return "Каталог Полины недоступен."
return "Каталог Полины недоступен."
books = data.get("books") or []
series = data.get("series") or []
summary = data.get("summary") or {}
lines = ["📚 **Каталог Полины**", ""]
lines.append(f"• Прочитано книг: **{len(books)}**")
lines.append(f"• Серий: **{len(series)}**")
lines = ["📚 **Каталог Полины**", ""]
lines.append(f"• Прочитано книг: **{len(books)}**")
lines.append(f"• Серий: **{len(series)}**")
if summary.get("read_books_with_series_mapping"):
lines.append(f"• Привязано к сериям: {summary['read_books_with_series_mapping']}")
lines.append(f"• Привязано к сериям: {summary['read_books_with_series_mapping']}")
for status, header in PENDING_GROUPS:
group = [s for s in series if (s.get("personal_status") or "") == status]
@@ -189,17 +189,17 @@ def cmd_polina():
n = next_of(s)
if n and n.get("title"):
av = availability_label(n.get("availability"))
lines.append(f"• «{s['name']}» → {n['title']}"
lines.append(f"• «{s['name']}» → {n['title']}"
+ (f" ({av})" if av else ""))
else:
lines.append(f"• «{s['name']}»")
lines.append(f"• «{s['name']}»")
lines.append("")
lines.append("Скачать: `/скачать название` · похожее: `/похожие название`")
lines.append("Скачать: `/скачать название` · похожее: `/похожие название`")
return "\n".join(lines)
def _match_books(query):
"""Ищет книгу в каталоге по названию или автору."""
"""Ищет книгу в каталоге по названию или автору."""
q = norm(query)
if not q:
return []
@@ -210,7 +210,7 @@ def _match_books(query):
def cmd_similar(query):
"""Похожие книги: та же серия, тот же автор, что дальше читать."""
"""Похожие книги: та же серия, тот же автор, что дальше читать."""
title_hit = [b for b in catalog_books() if norm(query) in norm(book_title(b))]
series = series_for_title(query)
if not series and title_hit:
@@ -219,12 +219,12 @@ def cmd_similar(query):
if not series and not title_hit:
ext = search_openlibrary(query)
if ext:
out = [f"В личном каталоге «{query}» нет.", "",
"🌍 **Похожее из Open Library:**"]
out = [f"В личном каталоге «{query}» нет.", "",
"🌍 **Похожее из Open Library:**"]
for t, year, url in ext[:5]:
out.append(f"• [{t}]({url})" + (f" — {year}" if year else ""))
out.append(f"• [{t}]({url})" + (f" — {year}" if year else ""))
return "\n".join(out)
return f"В каталоге Полины нет «{query}» и внешние каталоги молчат."
return f"В каталоге Полины нет «{query}» и внешние каталоги молчат."
author = ""
series_name = ""
@@ -234,27 +234,27 @@ def cmd_similar(query):
elif title_hit:
author = book_author(title_hit[0])
out = [f"📚 **Похожее на «{query}»**" + (f" — {author}" if author else ""), ""]
out = [f"📚 **Похожее на «{query}»**" + (f" — {author}" if author else ""), ""]
if series:
read_titles = series.get("read_titles") or []
if read_titles:
out.append(f"✅ **Прочитано в серии «{series_name}»:**")
out.append(f"✅ **Прочитано в серии «{series_name}»:**")
for t in read_titles[:10]:
out.append(f"• {t}")
out.append(f"• {t}")
out.append("")
n = next_of(series)
if n and n.get("title"):
out.append(f"➡️ **Следующая:** {n['title']} "
out.append(f"➡️ **Следующая:** {n['title']} "
f"({availability_label(n.get('availability'))})")
n2 = n.get("next_after")
if isinstance(n2, str):
out.append(f" затем: {n2}")
out.append(f" затем: {n2}")
elif isinstance(n2, dict) and n2.get("title"):
out.append(f" затем: {n2['title']}"
+ (f" — {n2.get('release_date')}" if n2.get("release_date") else ""))
out.append(f" затем: {n2['title']}"
+ (f" — {n2.get('release_date')}" if n2.get("release_date") else ""))
out.append("")
out.append(f"`/скачать {n['title']}`")
out.append(f"`/скачать {n['title']}`")
out.append("")
if author:
@@ -262,20 +262,20 @@ def cmd_similar(query):
if norm(", ".join(s.get("authors") or "")) == norm(author)
and (s.get("name") or "") != series_name]
if same:
out.append(f"✍️ **Другие серии автора ({len(same)}):**")
out.append(f"✍️ **Другие серии автора ({len(same)}):**")
for s in same[:6]:
n = next_of(s)
tail = f" → {n['title']}" if n and n.get("title") else ""
out.append(f"• «{s['name']}»{tail}")
tail = f" в†’ {n['title']}" if n and n.get("title") else ""
out.append(f"• «{s['name']}»{tail}")
out.append("")
return "\n".join(out)
# ---------- поиск ----------
# ---------- РїРѕРёСЃРє ----------
def search_library(query):
"""Что уже есть в библиотеке."""
"""Что уже есть в библиотеке."""
try:
con = sqlite3.connect(f"file:{LIB_DB}?mode=ro", uri=True)
rows = con.execute(
@@ -288,7 +288,7 @@ def search_library(query):
con.close()
return rows
except Exception as e:
log(f"библиотека не читается: {e}")
log(f"библиотека не читается: {e}")
return []
@@ -347,7 +347,7 @@ def search_archive(title):
def fetch_bytes(url, via_vpn=True, timeout=60):
"""Скачивает файл байтами (для книг, а не страниц)."""
"""Скачивает файл байтами (для книг, а не страниц)."""
req = urllib.request.Request(url, headers={"User-Agent": UA,
"Accept-Language": "ru,en;q=0.8"})
opener = (urllib.request.build_opener(
@@ -359,13 +359,13 @@ def fetch_bytes(url, via_vpn=True, timeout=60):
ctype = r.headers.get("Content-Type", "")
return data, ctype
except Exception as e:
log(f"не скачать {url}: {e}")
log(f"не скачать {url}: {e}")
return b"", ""
def save_to_ingest(data, filename):
"""Кладёт файл в папку автоимпорта Calibre-Web."""
safe = re.sub(r"[^\w\s.\-()А-Яа-яЁё]", "_", filename).strip()
"""Кладёт файл в папку автоимпорта Calibre-Web."""
safe = re.sub(r"[^\w\s.\-()Рђ-РЇР°-СЏРЃС‘]", "_", filename).strip()
safe = re.sub(r"\s+", " ", safe)[:120]
if not safe.lower().endswith((".fb2", ".epub", ".pdf", ".mobi")):
safe += ".fb2"
@@ -376,19 +376,19 @@ def save_to_ingest(data, filename):
f.write(data)
return path
except Exception as e:
log(f"не сохранить {path}: {e}")
log(f"не сохранить {path}: {e}")
return ""
def title_matches(query, title):
"""Проверяет, что найденная книга действительно та, что искали."""
"""Проверяет, что найденная книга действительно та, что искали."""
q = norm(query)
t = norm(title)
if not q or not t:
return False
if q in t or t in q:
return True
tokens = [w for w in re.split(r"[^\wА-Яа-яЁё]+", q) if len(w) > 3]
tokens = [w for w in re.split(r"[^\wРђ-РЇР°-СЏРЃС‘]+", q) if len(w) > 3]
if not tokens:
return False
hits = sum(1 for w in tokens if w in t)
@@ -396,7 +396,7 @@ def title_matches(query, title):
def dl_flibusta(query):
"""Скачивает с зеркала Флибусты (fb2 или epub), проверяя название."""
"""Скачивает с зеркала Флибусты (fb2 или epub), проверяя название."""
for host in ("flibusta.site", "flibusta.club"):
html = fetch(f"https://{host}/booksearch?ask=" + urllib.parse.quote(query),
via_vpn=True)
@@ -411,7 +411,7 @@ def dl_flibusta(query):
title = (tm.group(1) if tm else found_title).strip()
title = re.sub(r"\s*\((fb2|epub|mobi)\)\s*$", "", title, flags=re.I)
if not title_matches(query, title):
log(f"флибуста: пропускаю «{title}» — не совпало с «{query}»")
log(f"флибуста: пропускаю «{title}» — не совпало с «{query}»")
continue
for ext in ("fb2", "epub"):
if f'href="{path}/{ext}"' in page:
@@ -424,7 +424,7 @@ def dl_flibusta(query):
def dl_libgen(query):
"""Скачивает с libgen.li: поиск → ads → get.php с ключом."""
"""Скачивает с libgen.li: поиск → ads → get.php с ключом."""
html = fetch("https://libgen.li/index.php?req=" + urllib.parse.quote(query),
via_vpn=True)
if not html:
@@ -435,7 +435,7 @@ def dl_libgen(query):
return None
good_title = next((t.strip() for t in found_titles if title_matches(query, t)), None)
if found_titles and not good_title:
log(f"libgen: ни одно название не совпало с «{query}»")
log(f"libgen: ни одно название не совпало с «{query}»")
return None
title = good_title or query
for md5 in dict.fromkeys(md5s[:3]):
@@ -459,28 +459,28 @@ def dl_libgen(query):
def cmd_download(query):
"""Скачивает книгу в библиотеку (папка автоимпорта)."""
"""Скачивает книгу в библиотеку (папка автоимпорта)."""
if not query:
return "Что скачать? `/скачать Дюна`"
out = [f"⬇️ Ищу и качаю: **{query}**", ""]
return "Что скачать? `/скачать Дюна`"
out = [f"⬇️ Ищу и качаю: **{query}**", ""]
for fn in (dl_flibusta, dl_libgen):
try:
res = fn(query)
except Exception as e:
log(f"скачивание через {fn.__name__}: {e}")
log(f"скачивание через {fn.__name__}: {e}")
res = None
if res:
title, source, ext, path = res
out.append(f"✅ **{title}**")
out.append(f"• источник: {source} ({ext})")
out.append(f"• файл: `{os.path.basename(path)}`")
out.append(f"вњ… **{title}**")
out.append(f"• источник: {source} ({ext})")
out.append(f"• файл: `{os.path.basename(path)}`")
out.append("")
out.append("Книга попала в папку автоимпорта — Calibre-Web "
"добавит её в библиотеку в течение пары минут.")
out.append("Книга попала в папку автоимпорта — Calibre-Web "
"добавит её в библиотеку в течение пары минут.")
return "\n".join(out)
out.append("Не удалось скачать автоматически.")
out.append("Не удалось скачать автоматически.")
out.append("")
out.append("Попробуйте найти вручную: `/find " + query + "`")
out.append("Попробуйте найти вручную: `/find " + query + "`")
return "\n".join(out)
@@ -517,7 +517,7 @@ def search_libgen(title):
def search_telegram_channels(query, channels):
"""Ищет посты в публичных каналах через веб-предпросмотр."""
"""Ищет посты в публичных каналах через веб-предпросмотр."""
out = []
for ch in channels[:5]:
name = ch.lstrip("@").replace("https://t.me/", "").strip("/")
@@ -536,13 +536,13 @@ def search_telegram_channels(query, channels):
def search_all(query, cfg, budget=45):
"""Ищет везде параллельно с общим ограничением по времени."""
"""Ищет везде параллельно с общим ограничением по времени."""
from concurrent.futures import ThreadPoolExecutor, as_completed, TimeoutError as FTimeout
jobs = {
"ЛитРес": (search_litres, "цена"),
"ЛитРес": (search_litres, "цена"),
"Open Library": (search_openlibrary, ""),
"archive.org": (search_archive, "VPN"),
"Флибуста": (search_flibusta, "VPN"),
"Флибуста": (search_flibusta, "VPN"),
"libgen": (search_libgen, "VPN"),
}
results = {}
@@ -565,32 +565,32 @@ def search_all(query, cfg, budget=45):
def cmd_find(query, cfg):
lines = [f"🔎 Ищу: **{query}**", ""]
lines = [f"🔎 Ищу: **{query}**", ""]
lib = search_library(query)
if lib:
lines.append("✅ **Уже есть в вашей библиотеке:**")
lines.append("✅ **Уже есть в вашей библиотеке:**")
for t, a in lib[:5]:
lines.append(f"• {t}" + (f" — {a}" if a else ""))
lines.append(f"• {t}" + (f" — {a}" if a else ""))
lines.append("")
found = False
all_res = search_all(query, cfg)
for name, note in (("ЛитРес", "цена"), ("Open Library", ""),
("archive.org", "VPN"), ("Флибуста", "VPN"), ("libgen", "VPN")):
for name, note in (("ЛитРес", "цена"), ("Open Library", ""),
("archive.org", "VPN"), ("Флибуста", "VPN"), ("libgen", "VPN")):
res = all_res.get(name, ([], note))[0]
if res:
found = True
lines.append(f"📚 **{name}**" + (f" ({note})" if note else ""))
lines.append(f"рџ“љ **{name}**" + (f" ({note})" if note else ""))
for item in res[:3]:
t, extra, url = item
suffix = ""
if name == "ЛитРес" and isinstance(extra, int):
suffix = f" — {extra} ₽"
if name == "ЛитРес" and isinstance(extra, int):
suffix = f" — {extra} ₽"
elif name == "Open Library" and extra:
suffix = f" — {extra} г."
suffix = f" — {extra} г."
elif extra:
suffix = f" — {extra}"
lines.append(f"• [{t}]({url}){suffix}")
suffix = f" — {extra}"
lines.append(f"• [{t}]({url}){suffix}")
lines.append("")
chans = cfg.get("tg_channels") or []
@@ -598,65 +598,129 @@ def cmd_find(query, cfg):
tg = search_telegram_channels(query, chans)
if tg:
found = True
lines.append("📨 **В Telegram-каналах:**")
lines.append("📨 **В Telegram-каналах:**")
for ch, text, url in tg[:3]:
lines.append(f"• @{ch}: {text}")
lines.append(f"• @{ch}: {text}")
lines.append("")
if not found and not lib:
lines.append("Ничего не нашлось. Попробуйте другое название или "
"добавьте Telegram-канал: `/tgadd @имя`.")
lines.append("Ничего не нашлось. Попробуйте другое название или "
"добавьте Telegram-канал: `/tgadd @имя`.")
return "\n".join(lines)
def cmd_wanted():
"""Что можно читать дальше — по данным серий."""
"""Что можно читать дальше — по данным серий."""
series = catalog_series()
if not series:
return "Каталог недоступен."
return "Каталог недоступен."
ready = [s for s in series if (s.get("personal_status") or "") in
("available_unread", "other_line_available")]
out = ["📋 **Можно читать дальше:**", ""]
out = ["📋 **Можно читать дальше:**", ""]
if not ready:
out.append("Нет доступных непрочитанных книг.")
out.append("Нет доступных непрочитанных книг.")
for s in ready[:20]:
n = next_of(s)
if n and n.get("title"):
out.append(f"• «{s['name']}» → {n['title']} "
out.append(f"• «{s['name']}» → {n['title']} "
f"({availability_label(n.get('availability'))})")
else:
out.append(f"• «{s['name']}»")
out.append(f"• «{s['name']}»")
out.append("")
out.append("Скачать: `/скачать название`")
out.append("Скачать: `/скачать название`")
return "\n".join(out)
def cmd_tg_add(arg, cfg):
name = arg.lstrip("@").replace("https://t.me/", "").strip("/").strip()
if not name:
return "Укажите канал: `/tgadd @имя_канала`"
return "Укажите канал: `/tgadd @имя_канала`"
chans = cfg.setdefault("tg_channels", [])
if name in chans:
return f"Канал @{name} уже в списке."
return f"Канал @{name} уже в списке."
chans.append(name)
save_cfg(cfg)
# проверяю, читается ли
# проверяю, читается ли
ok = bool(fetch(f"https://t.me/s/{name}", via_vpn=True))
return (f"✅ Добавил @{name}." + ("" if ok else "\n⚠️ Не удалось прочитать — проверьте имя."))
return (f"✅ Добавил @{name}." + ("" if ok else "\n⚠️ Не удалось прочитать — проверьте имя."))
# ---------- Telegram через userbot ----------
USERBOT = os.environ.get("USERBOT_URL", "http://192.168.1.10:9122")
TG_LAST = "/tmp/bookbot_tg_last.json"
def tg_files(query):
"""Поиск файлов в Telegram через userbot-сервис."""
raw = fetch(f"{USERBOT}/files?q=" + urllib.parse.quote(query))
if not raw:
return []
try:
d = json.loads(raw)
except Exception:
return []
files = d.get("files") or []
json.dump(files, open(TG_LAST, "w"), ensure_ascii=False)
return files
def cmd_tg_search(query):
if not query:
return "Что искать в Telegram? `/tg название`"
files = tg_files(query)
if not files:
return ("В Telegram ничего не нашлось.\n"
"Добавьте каналы с книгами: `/tgadd` работает только для публичных, "
"а файлы ищутся в чатах, где состоит аккаунт userbot.")
out = [f"📨 **Telegram: {query}**", ""]
for i, f in enumerate(files[:10], start=1):
size = f.get("size") or 0
mb = f"{size / 1024 / 1024:.1f} МБ" if size else ""
out.append(f"{i}. {f['name']} — {f.get('chat_name') or f.get('chat')} {mb}")
out.append("")
out.append("Скачать: `/tg скачать 1`")
return "\n".join(out)
def cmd_tg_save(arg):
try:
n = int((arg or "").strip()) - 1
except ValueError:
return "Укажите номер: `/tg скачать 1`"
try:
files = json.load(open(TG_LAST, encoding="utf-8"))
except Exception:
return "Сначала найдите файл: `/tg название`"
if n < 0 or n >= len(files):
return "Нет такого номера."
f = files[n]
body = json.dumps({"chat": f["chat"], "msg": f["msg"]}).encode()
req = urllib.request.Request(USERBOT + "/save", data=body, method="POST",
headers={"Content-Type": "application/json"})
try:
with urllib.request.urlopen(req, timeout=180) as r:
d = json.loads(r.read() or b"{}")
except Exception as e:
return f"Не удалось скачать: {str(e)[:120]}"
if d.get("saved"):
return (f"✅ Скачано: **{d['saved']}**\n\n"
"Файл в автоимпорте Calibre-Web — появится в библиотеке через пару минут.")
return f"Не удалось: {d.get('error', 'неизвестно')}"
def main():
cfg = load_cfg()
allowed = set(cfg.get("users") or [])
log(f"бот запущен, разрешённых пользователей: {len(allowed)}")
log(f"бот запущен, разрешённых пользователей: {len(allowed)}")
since = None
me = None
try:
me = api("GET", "/_matrix/client/v3/account/whoami")["user_id"]
log(f"я — {me}")
log(f"я — {me}")
except Exception as e:
log(f"не смог определить себя: {e}")
log(f"не смог определить себя: {e}")
while True:
try:
@@ -665,16 +729,16 @@ def main():
params["since"] = since
res = api("GET", "/_matrix/client/v3/sync?" + urllib.parse.urlencode(params))
since = res.get("next_batch") or since
log("цикл sync ок")
log("цикл sync ок")
# приглашения в комнаты — вступаем сразу
# приглашения в комнаты — вступаем сразу
for room in (res.get("rooms", {}).get("invite", {}) or {}):
try:
api("POST", f"/_matrix/client/v3/join/{urllib.parse.quote(room)}", {})
log(f"вступил в комнату {room}")
send(room, "📚 Привет! Я книжный бот. Напишите `/help`.")
log(f"вступил в комнату {room}")
send(room, "📚 Привет! Я книжный бот. Напишите `/help`.")
except Exception as e:
log(f"не смог вступить в {room}: {e}")
log(f"не смог вступить в {room}: {e}")
for room, data in (res.get("rooms", {}).get("join", {}) or {}).items():
for ev in (data.get("timeline", {}).get("events") or []):
@@ -682,110 +746,120 @@ def main():
continue
sender = ev.get("sender", "")
body = (ev.get("content", {}).get("body") or "").strip()
# терпимый разбор: убираем кавычки/пометки редактора,
# лишние пробелы и приводим команду к нижнему регистру
# терпимый разбор: убираем кавычки/пометки редактора,
# лишние пробелы и приводим команду к нижнему регистру
body = body.strip("`").strip()
body = re.sub(r"^[\s`'\"]+", "", body)
body = re.sub(r"^/\s+", "/", body)
body = re.sub(r"^(\w+)\s*:", "", body) # «/find: Дюна»
body = re.sub(r"^(\w+)\s*:", "", body) # «/find: Дюна»
if not body:
continue
low = body.lower()
# свободный текст тоже считаем поиском
# свободный текст тоже считаем поиском
if not low.startswith("/"):
m_free = re.match(r"^(найди|найти|find|поиск)\s+(.+)$", low)
m_dl = re.match(r"^(скачай|скачать|download|качай)\s+(.+)$", low)
m_sim = re.match(r"^(похожие|похожее|ещё|еще|similar)\s+(.+)$", low)
m_free = re.match(r"^(найди|найти|find|поиск)\s+(.+)$", low)
m_dl = re.match(r"^(скачай|скачать|download|качай)\s+(.+)$", low)
m_sim = re.match(r"^(похожие|похожее|ещё|еще|similar)\s+(.+)$", low)
if m_free:
body = "/find " + body[m_free.start(2):]
low = body.lower()
elif m_dl:
body = "/скачать " + body[m_dl.start(2):]
body = "/скачать " + body[m_dl.start(2):]
low = body.lower()
elif m_sim:
body = "/похожие " + body[m_sim.start(2):]
body = "/РїРѕС…РѕР¶РёРµ " + body[m_sim.start(2):]
low = body.lower()
else:
continue
if allowed and sender not in allowed:
send(room, "⛔ У вас нет доступа к книжному боту.\n"
f"Ваш адрес: `{sender}` — попросите администратора добавить.")
send(room, "⛔ У вас нет доступа к книжному боту.\n"
f"Ваш адрес: `{sender}` — попросите администратора добавить.")
continue
parts = body.split(maxsplit=1)
cmd = parts[0].lower().replace(" ", "")
if cmd in ("/фind", "/финд", "/поиск", "/найди"):
if cmd in ("/фind", "/финд", "/поиск", "/найди"):
cmd = "/find"
arg = parts[1].strip() if len(parts) > 1 else ""
log(f"{sender}: {cmd} {arg}")
if cmd in ("/help", "/start"):
reply = (
"📚 **Книжный бот**\n\n"
"**Личное:**\n"
"`/полина` — каталог: что прочитано, что ждёт\n"
"`/похожие название` — что ещё у автора и в серии\n"
"`/скачать название` — скачать книгу в библиотеку\n\n"
"**Поиск:**\n"
"`/find название` — искать книгу везде\n"
"`/lib запрос` — что уже есть в библиотеке\n"
"`/wanted` — ещё не прочитано\n\n"
"**Telegram-каналы:**\n"
"`/tgadd @канал`, `/tglist`, `/tgdel @канал`\n\n"
"Бот ищет в ЛитРес, Open Library, archive.org, "
"Флибусте, libgen и в каналах Telegram.\n"
"Скачивает fb2/epub и кладёт в автоимпорт Calibre-Web."
"📚 **Книжный бот**\n\n"
"**Личное:**\n"
"`/полина` — каталог: что прочитано, что ждёт\n"
"`/похожие название` — что ещё у автора и в серии\n"
"`/скачать название` — скачать книгу в библиотеку\n\n"
"**РџРѕРёСЃРє:**\n"
"`/find название` — искать книгу везде\n"
"`/lib запрос` — что уже есть в библиотеке\n"
"`/wanted` — ещё не прочитано\n\n"
"**Telegram-каналы:**\n"
"`/tgadd @канал`, `/tglist`, `/tgdel @канал`\n\n"
"Бот ищет в ЛитРес, Open Library, archive.org, "
"Флибусте, libgen и в каналах Telegram.\n"
"Скачивает fb2/epub и кладёт в автоимпорт Calibre-Web."
)
elif cmd in ("/полина", "/polina", "/каталог"):
elif cmd in ("/полина", "/polina", "/каталог"):
reply = cmd_polina()
elif cmd in ("/похожие", "/similar", "/ещё", "/еще"):
elif cmd in ("/похожие", "/similar", "/ещё", "/еще"):
if not arg:
reply = "Что искать? `/похожие Дюна`"
reply = "Что искать? `/похожие Дюна`"
else:
reply = cmd_similar(arg)
elif cmd in ("/скачать", "/download", "/качай"):
elif cmd in ("/скачать", "/download", "/качай"):
if not arg:
reply = "Что скачать? `/скачать Дюна`"
reply = "Что скачать? `/скачать Дюна`"
else:
send(room, f"⬇️ Качаю «{arg}», это может занять до минуты…")
send(room, f"⬇️ Качаю «{arg}», это может занять до минуты…")
reply = cmd_download(arg)
elif cmd == "/tg":
arg_low = arg.lower()
if arg_low.startswith("скачать"):
reply = cmd_tg_save(arg[len("скачать"):].strip())
else:
reply = cmd_tg_search(arg)
elif cmd in ("/tgsave", "/tgскачать"):
reply = cmd_tg_save(arg)
elif cmd == "/find":
if not arg:
reply = "Напишите название: `/find Дюна`"
reply = "Напишите название: `/find Дюна`"
else:
send(room, f"🔎 Ищу «{arg}», это займёт до минуты…")
send(room, f"🔎 Ищу «{arg}», это займёт до минуты…")
reply = cmd_find(arg, cfg)
elif cmd == "/lib":
if not arg:
reply = "Что искать? `/lib Дюна`"
reply = "Что искать? `/lib Дюна`"
else:
rows = search_library(arg)
reply = ("📖 **В библиотеке:**\n" + "\n".join(
f"• {t}" + (f" — {a}" if a else "") for t, a in rows)) if rows \
else f"В библиотеке нет «{arg}»."
elif cmd in ("/wanted", "/дальше", "/next", "/чточитать"):
reply = ("📖 **В библиотеке:**\n" + "\n".join(
f"• {t}" + (f" — {a}" if a else "") for t, a in rows)) if rows \
else f"В библиотеке нет «{arg}»."
elif cmd in ("/wanted", "/дальше", "/next", "/чточитать"):
reply = cmd_wanted()
elif cmd == "/tgadd":
reply = cmd_tg_add(arg, cfg)
elif cmd == "/tglist":
ch = cfg.get("tg_channels") or []
reply = ("📨 Каналы: " + ", ".join("@" + c for c in ch)) if ch else "Список пуст. `/tgadd @канал`"
reply = ("📨 Каналы: " + ", ".join("@" + c for c in ch)) if ch else "Список пуст. `/tgadd @канал`"
elif cmd == "/tgdel":
name = arg.lstrip("@").strip()
ch = cfg.get("tg_channels") or []
if name in ch:
ch.remove(name)
save_cfg(cfg)
reply = f"Убрал @{name}."
reply = f"Убрал @{name}."
else:
reply = f"@{name} нет в списке."
reply = f"@{name} нет в списке."
else:
reply = "Не знаю такой команды. `/help`"
reply = "Не знаю такой команды. `/help`"
send(room, reply)
except Exception as e:
log(f"ошибка цикла: {e}")
log(f"ошибка цикла: {e}")
time.sleep(5)
if __name__ == "__main__":
main()
+72
View File
@@ -0,0 +1,72 @@
# Telegram userbot (второй аккаунт)
## Что подключено
| Параметр | Значение |
|---|---|
| Аккаунт | Роман, `+7 910 546-96-68`, id `6922233999` |
| Библиотека | Telethon 1.45 |
| Сессия | `/root/.telegram-userbot/second.session` (права 600) |
| API | `api_id 39725134` (от mautrix-telegram) |
| Прокси | `http://192.168.1.161:7890` (прямого интернета у CT нет) |
| Сервис | `telegram-userbot.service`, порт **9122** |
## Возможности
CLI `/opt/hub-core/userbot.py`:
```
whoami — кто вошёл
dialogs [фильтр] — список чатов
find <запрос> — поиск публичных каналов
join <@канал> — подписаться
files <запрос> — поиск файлов в чатах, где состоит аккаунт
save <ссылка|id> [папка] — скачать файл
```
HTTP-сервис (для других ботов):
```
GET /health
GET /files?q=<запрос> → список файлов
POST /save {"chat":…,"msg":…} → скачать в /ingest (автоимпорт Calibre-Web)
```
## В книжном боте
```
/tg <название> — поиск файлов в Telegram
/tg скачать 1 — скачать первый найденный
```
Скачанное попадает в `/opt/books/ingest` → Calibre-Web импортирует сам.
## Что выяснилось про каналы
Публичные «книжные» каналы (`@flibustabooks`, `@flibustast`, `@knigyuy`
и подобные) — **витрины**: в них фото и ссылки на ботов, файлов нет.
Поэтому `/tg` пока пуст: искать негде.
Чтобы заработало, нужен один из вариантов:
1. **Дать ссылки на каналы/чаты**, где книги реально выкладывают файлами —
бот подпишется и будет искать там.
2. **Указать книжного бота** (например, которым вы качаете вручную) —
userbot будет писать ему запрос и забирать файл автоматически.
## Ловушки
1. **BOM в файлах.** PowerShell `Set-Content -Encoding UTF8` добавляет BOM,
Python падает с `invalid non-printable character U+FEFF`. Убирать:
`sed -i '1s/^\xEF\xBB\xBF//' file`.
2. **Прямого интернета нет** — Telethon обязательно через прокси CT161.
3. **Сессия = полный доступ к аккаунту.** Хранить только на сервере,
права 600, не коммитить.
4. **Публичные книжные каналы — реклама.** Не подписываться на всё подряд:
аккаунт начнёт получать спам.
## Дальше
- Список каналов в конфиге userbot + периодический поиск новинок.
- Автопоиск продолжений серий Полины по её каталогу.
- Уведомление в Matrix, когда нашлась нужная книга.
+246
View File
@@ -0,0 +1,246 @@
#!/usr/bin/env python3
"""Userbot на втором номере Telegram (Telethon).
Шаги:
python3 userbot.py login-start +7XXXXXXXXXX — отправить код
python3 userbot.py login-code 12345 [пароль] — ввести код (и облачный пароль)
python3 userbot.py whoami — проверить, кто вошёл
python3 userbot.py dialogs [фильтр] — список чатов
python3 userbot.py search <запрос> — поиск по каналам
python3 userbot.py save <ссылка|id> [папка] — скачать файл из чата
"""
import asyncio
import json
import os
import sys
from telethon import TelegramClient
from telethon.errors import SessionPasswordNeededError
API_ID = 39725134
API_HASH = "65542daa8cb9a8aa1ad54cf1860ad414"
PROXY_HOST = os.environ.get("VPN_PROXY_HOST", "192.168.1.161")
PROXY_PORT = int(os.environ.get("VPN_PROXY_PORT", "7890"))
SESSION = os.environ.get("USERBOT_SESSION", "/root/.telegram-userbot/second")
STATE = "/root/.telegram-userbot/state.json"
INGEST = os.environ.get("INGEST_DIR", "/ingest")
NOTIFY = os.environ.get("NOTIFY_URL", "http://127.0.0.1:9120/notify")
def client() -> TelegramClient:
proxy = ("http", PROXY_HOST, PROXY_PORT)
return TelegramClient(SESSION, API_ID, API_HASH, proxy=proxy,
device_model="Buryans Hub", system_version="Linux",
app_version="1.0")
def save_state(**kw):
os.makedirs(os.path.dirname(STATE), exist_ok=True)
try:
st = json.load(open(STATE))
except Exception:
st = {}
st.update(kw)
json.dump(st, open(STATE, "w"))
def notify(title, message):
import urllib.request
body = json.dumps({"title": title, "message": message}).encode()
req = urllib.request.Request(NOTIFY, data=body, method="POST",
headers={"Content-Type": "application/json"})
try:
urllib.request.urlopen(req, timeout=10).read()
except Exception as e:
print("notify:", e)
async def login_start(phone):
c = client()
await c.connect()
if await c.is_user_authorized():
me = await c.get_me()
print(f"уже авторизован: @{me.username or me.id}")
await c.disconnect()
return
sent = await c.send_code_request(phone)
save_state(phone=phone, phone_code_hash=sent.phone_code_hash)
print("код отправлен. Введите: python3 userbot.py login-code <код> [пароль]")
await c.disconnect()
async def login_code(code, password=None):
st = json.load(open(STATE))
c = client()
await c.connect()
try:
await c.sign_in(phone=st["phone"], code=code,
phone_code_hash=st.get("phone_code_hash"))
except SessionPasswordNeededError:
if not password:
print("НУЖЕН_ПАРОЛЬ")
await c.disconnect()
return
await c.sign_in(password=password)
me = await c.get_me()
save_state(authed=True, user_id=me.id, username=me.username)
print(f"вошли как {me.first_name} (@{me.username or me.id})")
notify("Telegram userbot подключён",
f"Аккаунт @{me.username or me.id} авторизован на сервере.")
await c.disconnect()
async def whoami():
c = client()
await c.connect()
if not await c.is_user_authorized():
print("не авторизован")
await c.disconnect()
return
me = await c.get_me()
print(f"id={me.id} username=@{me.username} name={me.first_name} phone={me.phone}")
await c.disconnect()
async def dialogs(flt=""):
c = client()
await c.connect()
async for d in c.iter_dialogs(limit=200):
name = d.name or ""
if flt and flt.lower() not in name.lower():
continue
kind = "канал" if d.is_channel else ("группа" if d.is_group else "личный")
print(f"{d.id}\t{kind}\t{name}")
await c.disconnect()
async def search(query, limit=20):
c = client()
await c.connect()
found = 0
async for d in c.iter_dialogs(limit=200):
if not (d.is_channel or d.is_group):
continue
try:
async for msg in c.iter_messages(d, search=query, limit=5):
text = (msg.message or "").replace("\n", " ")[:150]
fname = ""
if msg.document:
fname = next((a.file_name for a in msg.document.attributes
if hasattr(a, "file_name")), "") or ""
print(f"{d.id}\t{d.name}\t{msg.id}\t{fname}\t{text}")
found += 1
except Exception:
continue
if not found:
print("ничего не найдено")
await c.disconnect()
async def find_channels(query, limit=15):
"""Ищет публичные каналы/группы по названию (глобальный поиск)."""
from telethon.tl.functions.contacts import SearchRequest
c = client()
await c.connect()
res = await c(SearchRequest(q=query, limit=limit))
for chat in res.chats:
username = getattr(chat, "username", None)
title = getattr(chat, "title", None)
kind = "канал" if getattr(chat, "broadcast", False) else "группа"
members = getattr(chat, "participants_count", None)
print(f"{chat.id}\t{kind}\t{title}\t@{username or '—'}\t{members or '?'}")
await c.disconnect()
async def join(target):
from telethon.tl.functions.channels import JoinChannelRequest
c = client()
await c.connect()
try:
ent = await c.get_entity(target)
await c(JoinChannelRequest(ent))
print(f"подписался: {getattr(ent, 'title', target)}")
except Exception as e:
print("не удалось:", str(e)[:160])
await c.disconnect()
async def files(query, limit=30):
"""Ищет файлы (книги) в каналах, где аккаунт уже состоит."""
c = client()
await c.connect()
found = 0
async for d in c.iter_dialogs(limit=200):
if not (d.is_channel or d.is_group):
continue
try:
async for msg in c.iter_messages(d, search=query, limit=8):
if not msg.document:
continue
name = next((a.file_name for a in msg.document.attributes
if hasattr(a, "file_name")), "") or ""
if not name:
continue
size = msg.document.size or 0
print(f"{d.id}\t{d.name}\t{msg.id}\t{name}\t{size}")
found += 1
except Exception:
continue
if not found:
print("файлов не найдено")
await c.disconnect()
async def save(link, folder=None):
c = client()
await c.connect()
target = link
msg_id = None
if "/" in link and not link.lstrip("-").isdigit():
parts = link.rstrip("/").split("/")
target, msg_id = parts[-2], int(parts[-1])
msg = await c.get_messages(target, ids=msg_id) if msg_id else None
if not msg or not msg.document:
print("в сообщении нет файла")
await c.disconnect()
return
dest = folder or INGEST
os.makedirs(dest, exist_ok=True)
path = await c.download_media(msg, file=dest)
print("сохранено:", path)
notify("Книга из Telegram", f"Скачано: {os.path.basename(path)}")
await c.disconnect()
def main():
if len(sys.argv) < 2:
print(__doc__)
return
cmd = sys.argv[1]
args = sys.argv[2:]
loop = asyncio.new_event_loop()
asyncio.set_event_loop(loop)
if cmd == "login-start":
loop.run_until_complete(login_start(args[0]))
elif cmd == "login-code":
loop.run_until_complete(login_code(args[0], args[1] if len(args) > 1 else None))
elif cmd == "whoami":
loop.run_until_complete(whoami())
elif cmd == "dialogs":
loop.run_until_complete(dialogs(args[0] if args else ""))
elif cmd == "search":
loop.run_until_complete(search(args[0]))
elif cmd == "find":
loop.run_until_complete(find_channels(args[0]))
elif cmd == "join":
loop.run_until_complete(join(args[0]))
elif cmd == "files":
loop.run_until_complete(files(args[0]))
elif cmd == "save":
loop.run_until_complete(save(args[0], args[1] if len(args) > 1 else None))
else:
print(__doc__)
if __name__ == "__main__":
main()
+118
View File
@@ -0,0 +1,118 @@
#!/usr/bin/env python3
"""HTTP-сервис userbot: поиск файлов и скачивание для книжного бота."""
import asyncio
import json
import os
import urllib.parse
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from telethon import TelegramClient
API_ID = 39725134
API_HASH = "65542daa8cb9a8aa1ad54cf1860ad414"
SESSION = "/root/.telegram-userbot/second"
INGEST = "/ingest"
PORT = 9122
LAST = "/tmp/userbot_last.json"
def make_client():
return TelegramClient(SESSION, API_ID, API_HASH,
proxy=("http", "192.168.1.161", 7890))
async def collect_files(query, limit_per_chat=5):
c = make_client()
await c.connect()
out = []
async for d in c.iter_dialogs(limit=200):
if not (d.is_channel or d.is_group):
continue
try:
async for m in c.iter_messages(d, search=query, limit=limit_per_chat):
if not m.document:
continue
name = next((a.file_name for a in m.document.attributes
if hasattr(a, "file_name")), "") or ""
if not name:
continue
out.append({"chat": d.id, "chat_name": d.name,
"msg": m.id, "name": name,
"size": m.document.size or 0})
if len(out) >= 20:
break
except Exception:
continue
if len(out) >= 20:
break
await c.disconnect()
return out
async def download(chat, msg_id, dest=INGEST):
c = make_client()
await c.connect()
try:
msg = await c.get_messages(chat, ids=int(msg_id))
if not msg or not msg.document:
return None
os.makedirs(dest, exist_ok=True)
path = await c.download_media(msg, file=dest)
return path
finally:
await c.disconnect()
class Handler(BaseHTTPRequestHandler):
def _json(self, code, obj):
body = json.dumps(obj, ensure_ascii=False).encode()
self.send_response(code)
self.send_header("Content-Type", "application/json; charset=utf-8")
self.send_header("Content-Length", str(len(body)))
self.end_headers()
self.wfile.write(body)
def do_GET(self):
u = urllib.parse.urlparse(self.path)
qs = urllib.parse.parse_qs(u.query)
if u.path == "/health":
return self._json(200, {"ok": True})
if u.path == "/files":
q = (qs.get("q") or [""])[0]
if not q:
return self._json(400, {"error": "нужен q"})
try:
files = asyncio.run(collect_files(q))
except Exception as e:
return self._json(500, {"error": str(e)[:200]})
json.dump(files, open(LAST, "w"), ensure_ascii=False)
return self._json(200, {"query": q, "count": len(files), "files": files})
self._json(404, {"error": "нет пути"})
def do_POST(self):
u = urllib.parse.urlparse(self.path)
if u.path != "/save":
return self._json(404, {"error": "нет пути"})
try:
ln = int(self.headers.get("Content-Length") or 0)
data = json.loads(self.rfile.read(ln) or b"{}")
except Exception:
return self._json(400, {"error": "плохой json"})
chat, msg = data.get("chat"), data.get("msg")
if not chat or not msg:
return self._json(400, {"error": "РЅСѓР¶РЅС‹ chat Рё msg"})
try:
path = asyncio.run(download(chat, msg))
except Exception as e:
return self._json(500, {"error": str(e)[:200]})
if not path:
return self._json(404, {"error": "файл не найден"})
return self._json(200, {"saved": os.path.basename(path), "path": path})
def log_message(self, fmt, *args):
print("%s - %s" % (self.address_string(), fmt % args), flush=True)
if __name__ == "__main__":
ThreadingHTTPServer(("0.0.0.0", PORT), Handler).serve_forever()