diff --git a/ops/books/DOWNLOAD.md b/ops/books/DOWNLOAD.md new file mode 100644 index 0000000..40dffd4 --- /dev/null +++ b/ops/books/DOWNLOAD.md @@ -0,0 +1,45 @@ +# Загрузка книг из каталога (23.10) + +## Задача +Скачать все 181 книгу из `home_library_audit.json` и положить в библиотеку. + +## Решение + +**Источник:** Flibusta (`flibusta.is`) через VPN-прокси `192.168.1.161:7890`. +Прямой доступ с хоста не работает (000), через прокси — 200. + +**Почему не Telegram:** +* глобальный поиск файлов (`SearchGlobal` + `InputMessagesFilterDocument`) + по книгам ничего не даёт — фильтр ищет только документы в публичных чатах, + а книжные каналы публикуют **архивы** (`f.usr-*.zip` по 4 ГБ, `*.cbr`); +* книжные боты недоступны: `@flibustafreebookbot` → «unavailable due to + copyright infringement», остальные — каналы без права писать; +* юзербот всё равно полезен: он уже умеет `files`/`save`, добавлены + `gsearch` и `gsave`, индекс файлов — `/var/lib/telegram-files.db` (2982 файла). + +## Как работает загрузчик + +`/opt/hub-core/flib_dl3.py`: +1. берёт книгу из каталога (автор + название); +2. поиск на Flibusta: сначала по названию, затем «автор название», затем автор; +3. страница книги открывается только для правдоподобных кандидатов; +4. скачивает **fb2** (Calibre сам конвертирует в epub); +5. уже скачанные пропускает (можно прерывать и продолжать); +6. журнал: `/opt/hub-core/data/book_downloads.json`. + +## Ловушки + +1. **Путь редиректа не угадывать** — Flibusta отдаёт `/b//fb2`, страница + книги нужна для ссылки; поиск по одному названию часто даёт мусор, + поэтому проверяем автора и слова названия на странице. +2. **`pkill -f flib_dl` убивает собственную SSH-команду** (шаблон совпадает + с текстом команды) — останавливать через `pgrep` и `kill` по PID. +3. **fb2 — это ZIP**, `file` показывает «Zip archive»; для Calibre это норма. + +## Статус + +Загрузка идёт в фоне (`nohup`), старт в 16:26. Прогресс: +`tail -f /tmp/books3.log`, файлы — `/opt/books/ingest`. + +Часть книг не находится: это новые/нишевые романы (например, Айла Дэвон), +которых нет в Flibusta. Их список будет в журнале со статусом `fail`.