From 0b36ac201223ee9bec3be292ff11b7d617a4e483 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Wed, 21 Oct 2026 19:09:25 +0300 Subject: [PATCH] =?UTF-8?q?[S-13]=20Paperless=20=E2=86=92=20Firefly=20?= =?UTF-8?q?=D1=80=D0=B0=D0=B1=D0=BE=D1=82=D0=B0=D0=B5=D1=82:=20=D1=81?= =?UTF-8?q?=D1=83=D0=BC=D0=BC=D0=B0=20=D0=B8=D0=B7=20=D1=87=D0=B5=D0=BA?= =?UTF-8?q?=D0=B0=20=E2=86=92=20CSV;=20=D0=BE=D1=88=D0=B8=D0=B1=D0=BE?= =?UTF-8?q?=D1=87=D0=BD=D1=8B=D0=B9=20=D0=B2=D1=8B=D0=B2=D0=BE=D0=B4=20?= =?UTF-8?q?=D0=BF=D1=80=D0=BE=20=D0=B1=D0=B0=D0=B3=20=D0=B8=D1=81=D0=BF?= =?UTF-8?q?=D1=80=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/STATUS.md | 2 +- ops/money/PAPERLESS-BUG.md | 53 ---------------------------------- ops/money/PAPERLESS-FINANCE.md | 53 ++++++++++++++++++++++++++++++++++ 3 files changed, 54 insertions(+), 54 deletions(-) delete mode 100644 ops/money/PAPERLESS-BUG.md create mode 100644 ops/money/PAPERLESS-FINANCE.md diff --git a/ops/STATUS.md b/ops/STATUS.md index 449793b..ea60452 100644 --- a/ops/STATUS.md +++ b/ops/STATUS.md @@ -56,7 +56,7 @@ | S-10 | Настроить 2FA заново (TOTP или код в Matrix) | ⏳ | следующий спринт; сейчас отключена (`ops/auth/2FA-TEMP-OFF.md`) | | S-11 | Vikunja: задачи и дела | ✅ | https://vikunja.buryans.ru, OIDC, бэкап | | S-12 | Mealie → Grocy: рецепт в покупки | ✅ | `!рецепт`, `ops/home/MEALIE-GROCY.md` | -| S-13 | Paperless → Firefly | ⛔ | найдена причина: Paperless не хранит документы (NUL в OCR) — `ops/money/PAPERLESS-BUG.md` | +| S-13 | Paperless → Firefly | ✅ | `finance_receipts.py` 09:15: сумма из чека → CSV (`455.40` проверено); импорт в Firefly — кнопкой | | S-14 | Homebox: инвентарь вещей | ✅ | CT110:9287, OIDC, бэкап; ждёт DNS | | S-15 | Политики доступа восстановлены | ✅ | группа `family` (6), политика `family-access` на 40 приложений | | S-17 | SMTP Authentik → Matrix | ✅ | код из письма приходит в Matrix (проверено: 482913) | diff --git a/ops/money/PAPERLESS-BUG.md b/ops/money/PAPERLESS-BUG.md deleted file mode 100644 index baf0e3f..0000000 --- a/ops/money/PAPERLESS-BUG.md +++ /dev/null @@ -1,53 +0,0 @@ -# Paperless не хранит документы: причина найдена - -## Симптом - -API отдаёт `count: 0`, хотя загрузка возвращает task id и «успех». -Любой документ (PDF, текст) не появляется в базе. - -## Ошибка в логах - -``` -django.db.utils.DataError: unsupported Unicode escape sequence -documents.consumer.ConsumerError: receipt.pdf: The following error occurred -while storing document receipt.pdf after parsing: unsupported Unicode escape sequence -``` - -## Причина - -Текст, извлечённый из PDF (OCR), содержит символ `\u0000` (NUL). -Paperless сохраняет его в `jsonb`-поле PostgreSQL, а PostgreSQL такие -последовательности не принимает. Документ отбрасывается на этапе -сохранения — после успешного разбора. - -Это известная проблема старых версий Paperless с «грязным» OCR-текстом. - -## Что делать - -1. **Обновить образ** `ghcr.io/paperless-ngx/paperless-ngx` до свежего — - в новых версиях NUL-символы вычищаются перед сохранением. -2. Если обновление не помогает — добавить в `docker-compose.yml`: - ```yaml - environment: - PAPERLESS_OCR_USER_ARGS: '{"invalidate_digital_signatures": true}' - ``` - и пересоздать контейнер. -3. Проверить: загрузить тестовый PDF, `GET /api/documents/` должен вернуть - `count: 1`. - -## Почему это важно - -Пока баг не исправлен: -- **Paperless фактически пуст** (0 документов); -- **S-13** (чеки → Firefly) не может работать — источник пуст; -- `/me` показывает пустой блок документов; -- бэкапы Paperless сохраняют пустую базу. - -## Что уже готово - -Скрипт `finance_receipts.py` умеет: -- брать документы из Paperless, -- вытаскивать сумму регулярками (`ИТОГО`, `к оплате`, `всего`), -- писать CSV в формате импорта Firefly III. - -Он заработает сразу, как только Paperless начнёт хранить документы. diff --git a/ops/money/PAPERLESS-FINANCE.md b/ops/money/PAPERLESS-FINANCE.md new file mode 100644 index 0000000..1daf3e0 --- /dev/null +++ b/ops/money/PAPERLESS-FINANCE.md @@ -0,0 +1,53 @@ +# Paperless → Firefly: чеки в расходы + +## Поправка к прошлому выводу + +Раньше я записал, что «Paperless не хранит документы из-за NUL в OCR». +**Это было неверно.** Ошибка была в моём тестовом PDF: я собрал его +с кодировкой cp1251 при заявленном WinAnsi — OCR получил мусор. + +Проверка с корректным PDF: + +``` +upload → id 3 +документов: 1 +текст: "TEST STORE Receipt N 0042 ... TOTAL 455.40 Payment: card" +``` + +Paperless **работает** и хранит документы. Причина прошлых 0 документов — +не баг сервиса, а отсутствие нормальных загрузок плюс мой кривой тест. + +## Пайплайн + +`/opt/hub-core/finance_receipts.py`: + +1. берёт документы из Paperless API (`/api/documents/`); +2. вытаскивает сумму: `ИТОГО`, `к оплате`, `всего`, `сумма`, + `TOTAL`, `amount due`, `grand total`, `sum`; +3. пишет CSV в формате импорта Firefly III: + `date,description,amount,currency_code`; +4. помнит обработанные (`/var/lib/hub-finance/processed.json`), не дублирует. + +## Проверено + +``` +добавлено чеков: 1 → /mnt/media/finance/receipts-202610.csv +['2026-10-21', 'Receipt test correct PDF', 455.4] +``` + +## Как попадает в Firefly + +Вариант 1 (сейчас): Firefly → Импорт → CSV → файл `/mnt/media/finance/*.csv`. + +Вариант 2 (когда будет токен): Firefly API `POST /api/v1/transactions` +с типом `withdrawal`. Токен создаётся только через веб-интерфейс +(Профиль → OAuth → Personal Access Token) — автоматически не создать, +нужен вход. + +## Ловушки + +1. **PDF должен быть валидным.** Мой самодельный PDF с cp1251 ломал OCR + и давал `unsupported Unicode escape sequence` при сохранении. +2. **Paperless отвечает 200 на загрузку**, но документ появляется позже — + нужна пауза и проверка `count`. +3. Английские чеки не распознавались, пока не добавил `TOTAL` в регулярку.