[BOOK] Загрузчик книг: Flibusta через VPN-прокси + юзербот (gsearch/gsave)
This commit is contained in:
1 parent
53ebb861ca
commit
511739e46f
1 file changed
+45
@@ -0,0 +1,45 @@
|
||||
# Загрузка книг из каталога (23.10)
|
||||
|
||||
## Задача
|
||||
Скачать все 181 книгу из `home_library_audit.json` и положить в библиотеку.
|
||||
|
||||
## Решение
|
||||
|
||||
**Источник:** Flibusta (`flibusta.is`) через VPN-прокси `192.168.1.161:7890`.
|
||||
Прямой доступ с хоста не работает (000), через прокси — 200.
|
||||
|
||||
**Почему не Telegram:**
|
||||
* глобальный поиск файлов (`SearchGlobal` + `InputMessagesFilterDocument`)
|
||||
по книгам ничего не даёт — фильтр ищет только документы в публичных чатах,
|
||||
а книжные каналы публикуют **архивы** (`f.usr-*.zip` по 4 ГБ, `*.cbr`);
|
||||
* книжные боты недоступны: `@flibustafreebookbot` → «unavailable due to
|
||||
copyright infringement», остальные — каналы без права писать;
|
||||
* юзербот всё равно полезен: он уже умеет `files`/`save`, добавлены
|
||||
`gsearch` и `gsave`, индекс файлов — `/var/lib/telegram-files.db` (2982 файла).
|
||||
|
||||
## Как работает загрузчик
|
||||
|
||||
`/opt/hub-core/flib_dl3.py`:
|
||||
1. берёт книгу из каталога (автор + название);
|
||||
2. поиск на Flibusta: сначала по названию, затем «автор название», затем автор;
|
||||
3. страница книги открывается только для правдоподобных кандидатов;
|
||||
4. скачивает **fb2** (Calibre сам конвертирует в epub);
|
||||
5. уже скачанные пропускает (можно прерывать и продолжать);
|
||||
6. журнал: `/opt/hub-core/data/book_downloads.json`.
|
||||
|
||||
## Ловушки
|
||||
|
||||
1. **Путь редиректа не угадывать** — Flibusta отдаёт `/b/<id>/fb2`, страница
|
||||
книги нужна для ссылки; поиск по одному названию часто даёт мусор,
|
||||
поэтому проверяем автора и слова названия на странице.
|
||||
2. **`pkill -f flib_dl` убивает собственную SSH-команду** (шаблон совпадает
|
||||
с текстом команды) — останавливать через `pgrep` и `kill` по PID.
|
||||
3. **fb2 — это ZIP**, `file` показывает «Zip archive»; для Calibre это норма.
|
||||
|
||||
## Статус
|
||||
|
||||
Загрузка идёт в фоне (`nohup`), старт в 16:26. Прогресс:
|
||||
`tail -f /tmp/books3.log`, файлы — `/opt/books/ingest`.
|
||||
|
||||
Часть книг не находится: это новые/нишевые романы (например, Айла Дэвон),
|
||||
которых нет в Flibusta. Их список будет в журнале со статусом `fail`.
|
||||
Reference in new issue
Block a user