Files
buryan-infra/ops/books/DOWNLOAD.md
T

2.9 KiB

Загрузка книг из каталога (23.10)

Задача

Скачать все 181 книгу из home_library_audit.json и положить в библиотеку.

Решение

Источник: Flibusta (flibusta.is) через VPN-прокси 192.168.1.161:7890. Прямой доступ с хоста не работает (000), через прокси — 200.

Почему не Telegram:

  • глобальный поиск файлов (SearchGlobal + InputMessagesFilterDocument) по книгам ничего не даёт — фильтр ищет только документы в публичных чатах, а книжные каналы публикуют архивы (f.usr-*.zip по 4 ГБ, *.cbr);
  • книжные боты недоступны: @flibustafreebookbot → «unavailable due to copyright infringement», остальные — каналы без права писать;
  • юзербот всё равно полезен: он уже умеет files/save, добавлены gsearch и gsave, индекс файлов — /var/lib/telegram-files.db (2982 файла).

Как работает загрузчик

/opt/hub-core/flib_dl3.py:

  1. берёт книгу из каталога (автор + название);
  2. поиск на Flibusta: сначала по названию, затем «автор название», затем автор;
  3. страница книги открывается только для правдоподобных кандидатов;
  4. скачивает fb2 (Calibre сам конвертирует в epub);
  5. уже скачанные пропускает (можно прерывать и продолжать);
  6. журнал: /opt/hub-core/data/book_downloads.json.

Ловушки

  1. Путь редиректа не угадывать — Flibusta отдаёт /b/<id>/fb2, страница книги нужна для ссылки; поиск по одному названию часто даёт мусор, поэтому проверяем автора и слова названия на странице.
  2. pkill -f flib_dl убивает собственную SSH-команду (шаблон совпадает с текстом команды) — останавливать через pgrep и kill по PID.
  3. fb2 — это ZIP, file показывает «Zip archive»; для Calibre это норма.

Статус

Загрузка идёт в фоне (nohup), старт в 16:26. Прогресс: tail -f /tmp/books3.log, файлы — /opt/books/ingest.

Часть книг не находится: это новые/нишевые романы (например, Айла Дэвон), которых нет в Flibusta. Их список будет в журнале со статусом fail.