[BOOK] Загрузчик книг: Flibusta через VPN-прокси + юзербот (gsearch/gsave)
This commit is contained in:
1 parent
53ebb861ca
commit
511739e46f
1 file changed
+45
@@ -0,0 +1,45 @@
|
|||||||
|
# Загрузка книг из каталога (23.10)
|
||||||
|
|
||||||
|
## Задача
|
||||||
|
Скачать все 181 книгу из `home_library_audit.json` и положить в библиотеку.
|
||||||
|
|
||||||
|
## Решение
|
||||||
|
|
||||||
|
**Источник:** Flibusta (`flibusta.is`) через VPN-прокси `192.168.1.161:7890`.
|
||||||
|
Прямой доступ с хоста не работает (000), через прокси — 200.
|
||||||
|
|
||||||
|
**Почему не Telegram:**
|
||||||
|
* глобальный поиск файлов (`SearchGlobal` + `InputMessagesFilterDocument`)
|
||||||
|
по книгам ничего не даёт — фильтр ищет только документы в публичных чатах,
|
||||||
|
а книжные каналы публикуют **архивы** (`f.usr-*.zip` по 4 ГБ, `*.cbr`);
|
||||||
|
* книжные боты недоступны: `@flibustafreebookbot` → «unavailable due to
|
||||||
|
copyright infringement», остальные — каналы без права писать;
|
||||||
|
* юзербот всё равно полезен: он уже умеет `files`/`save`, добавлены
|
||||||
|
`gsearch` и `gsave`, индекс файлов — `/var/lib/telegram-files.db` (2982 файла).
|
||||||
|
|
||||||
|
## Как работает загрузчик
|
||||||
|
|
||||||
|
`/opt/hub-core/flib_dl3.py`:
|
||||||
|
1. берёт книгу из каталога (автор + название);
|
||||||
|
2. поиск на Flibusta: сначала по названию, затем «автор название», затем автор;
|
||||||
|
3. страница книги открывается только для правдоподобных кандидатов;
|
||||||
|
4. скачивает **fb2** (Calibre сам конвертирует в epub);
|
||||||
|
5. уже скачанные пропускает (можно прерывать и продолжать);
|
||||||
|
6. журнал: `/opt/hub-core/data/book_downloads.json`.
|
||||||
|
|
||||||
|
## Ловушки
|
||||||
|
|
||||||
|
1. **Путь редиректа не угадывать** — Flibusta отдаёт `/b/<id>/fb2`, страница
|
||||||
|
книги нужна для ссылки; поиск по одному названию часто даёт мусор,
|
||||||
|
поэтому проверяем автора и слова названия на странице.
|
||||||
|
2. **`pkill -f flib_dl` убивает собственную SSH-команду** (шаблон совпадает
|
||||||
|
с текстом команды) — останавливать через `pgrep` и `kill` по PID.
|
||||||
|
3. **fb2 — это ZIP**, `file` показывает «Zip archive»; для Calibre это норма.
|
||||||
|
|
||||||
|
## Статус
|
||||||
|
|
||||||
|
Загрузка идёт в фоне (`nohup`), старт в 16:26. Прогресс:
|
||||||
|
`tail -f /tmp/books3.log`, файлы — `/opt/books/ingest`.
|
||||||
|
|
||||||
|
Часть книг не находится: это новые/нишевые романы (например, Айла Дэвон),
|
||||||
|
которых нет в Flibusta. Их список будет в журнале со статусом `fail`.
|
||||||
Reference in new issue
Block a user