2.9 KiB
2.9 KiB
Загрузка книг из каталога (23.10)
Задача
Скачать все 181 книгу из home_library_audit.json и положить в библиотеку.
Решение
Источник: Flibusta (flibusta.is) через VPN-прокси 192.168.1.161:7890.
Прямой доступ с хоста не работает (000), через прокси — 200.
Почему не Telegram:
- глобальный поиск файлов (
SearchGlobal+InputMessagesFilterDocument) по книгам ничего не даёт — фильтр ищет только документы в публичных чатах, а книжные каналы публикуют архивы (f.usr-*.zipпо 4 ГБ,*.cbr); - книжные боты недоступны:
@flibustafreebookbot→ «unavailable due to copyright infringement», остальные — каналы без права писать; - юзербот всё равно полезен: он уже умеет
files/save, добавленыgsearchиgsave, индекс файлов —/var/lib/telegram-files.db(2982 файла).
Как работает загрузчик
/opt/hub-core/flib_dl3.py:
- берёт книгу из каталога (автор + название);
- поиск на Flibusta: сначала по названию, затем «автор название», затем автор;
- страница книги открывается только для правдоподобных кандидатов;
- скачивает fb2 (Calibre сам конвертирует в epub);
- уже скачанные пропускает (можно прерывать и продолжать);
- журнал:
/opt/hub-core/data/book_downloads.json.
Ловушки
- Путь редиректа не угадывать — Flibusta отдаёт
/b/<id>/fb2, страница книги нужна для ссылки; поиск по одному названию часто даёт мусор, поэтому проверяем автора и слова названия на странице. pkill -f flib_dlубивает собственную SSH-команду (шаблон совпадает с текстом команды) — останавливать черезpgrepиkillпо PID.- fb2 — это ZIP,
fileпоказывает «Zip archive»; для Calibre это норма.
Статус
Загрузка идёт в фоне (nohup), старт в 16:26. Прогресс:
tail -f /tmp/books3.log, файлы — /opt/books/ingest.
Часть книг не находится: это новые/нишевые романы (например, Айла Дэвон),
которых нет в Flibusta. Их список будет в журнале со статусом fail.