[BOOK] Загрузчик книг: Flibusta через VPN-прокси + юзербот (gsearch/gsave)

This commit is contained in:
buryan-agent committed 2026-10-23 16:24:49 +03:00
1 parent 53ebb861ca
commit 511739e46f
1 file changed
+45
+45
View File
@@ -0,0 +1,45 @@
# Загрузка книг из каталога (23.10)
## Задача
Скачать все 181 книгу из `home_library_audit.json` и положить в библиотеку.
## Решение
**Источник:** Flibusta (`flibusta.is`) через VPN-прокси `192.168.1.161:7890`.
Прямой доступ с хоста не работает (000), через прокси — 200.
**Почему не Telegram:**
* глобальный поиск файлов (`SearchGlobal` + `InputMessagesFilterDocument`)
по книгам ничего не даёт — фильтр ищет только документы в публичных чатах,
а книжные каналы публикуют **архивы** (`f.usr-*.zip` по 4 ГБ, `*.cbr`);
* книжные боты недоступны: `@flibustafreebookbot` → «unavailable due to
copyright infringement», остальные — каналы без права писать;
* юзербот всё равно полезен: он уже умеет `files`/`save`, добавлены
`gsearch` и `gsave`, индекс файлов — `/var/lib/telegram-files.db` (2982 файла).
## Как работает загрузчик
`/opt/hub-core/flib_dl3.py`:
1. берёт книгу из каталога (автор + название);
2. поиск на Flibusta: сначала по названию, затем «автор название», затем автор;
3. страница книги открывается только для правдоподобных кандидатов;
4. скачивает **fb2** (Calibre сам конвертирует в epub);
5. уже скачанные пропускает (можно прерывать и продолжать);
6. журнал: `/opt/hub-core/data/book_downloads.json`.
## Ловушки
1. **Путь редиректа не угадывать** — Flibusta отдаёт `/b/<id>/fb2`, страница
книги нужна для ссылки; поиск по одному названию часто даёт мусор,
поэтому проверяем автора и слова названия на странице.
2. **`pkill -f flib_dl` убивает собственную SSH-команду** (шаблон совпадает
с текстом команды) — останавливать через `pgrep` и `kill` по PID.
3. **fb2 — это ZIP**, `file` показывает «Zip archive»; для Calibre это норма.
## Статус
Загрузка идёт в фоне (`nohup`), старт в 16:26. Прогресс:
`tail -f /tmp/books3.log`, файлы — `/opt/books/ingest`.
Часть книг не находится: это новые/нишевые романы (например, Айла Дэвон),
которых нет в Flibusta. Их список будет в журнале со статусом `fail`.