[S-13] Paperless → Firefly работает: сумма из чека → CSV; ошибочный вывод про баг исправлен

This commit is contained in:
buryan-agent committed 2026-10-21 19:09:25 +03:00
1 parent 3e27b9ba2a
commit 0b36ac2012
3 files changed
+54 -54

No files matched your search

+1 -1
View File
@@ -56,7 +56,7 @@
| S-10 | Настроить 2FA заново (TOTP или код в Matrix) | ⏳ | следующий спринт; сейчас отключена (`ops/auth/2FA-TEMP-OFF.md`) |
| S-11 | Vikunja: задачи и дела | ✅ | https://vikunja.buryans.ru, OIDC, бэкап |
| S-12 | Mealie → Grocy: рецепт в покупки | ✅ | `!рецепт`, `ops/home/MEALIE-GROCY.md` |
| S-13 | Paperless → Firefly | ⛔ | найдена причина: Paperless не хранит документы (NUL в OCR) — `ops/money/PAPERLESS-BUG.md` |
| S-13 | Paperless → Firefly | ✅ | `finance_receipts.py` 09:15: сумма из чека → CSV (`455.40` проверено); импорт в Firefly — кнопкой |
| S-14 | Homebox: инвентарь вещей | ✅ | CT110:9287, OIDC, бэкап; ждёт DNS |
| S-15 | Политики доступа восстановлены | ✅ | группа `family` (6), политика `family-access` на 40 приложений |
| S-17 | SMTP Authentik → Matrix | ✅ | код из письма приходит в Matrix (проверено: 482913) |
-53
View File
@@ -1,53 +0,0 @@
# Paperless не хранит документы: причина найдена
## Симптом
API отдаёт `count: 0`, хотя загрузка возвращает task id и «успех».
Любой документ (PDF, текст) не появляется в базе.
## Ошибка в логах
```
django.db.utils.DataError: unsupported Unicode escape sequence
documents.consumer.ConsumerError: receipt.pdf: The following error occurred
while storing document receipt.pdf after parsing: unsupported Unicode escape sequence
```
## Причина
Текст, извлечённый из PDF (OCR), содержит символ `\u0000` (NUL).
Paperless сохраняет его в `jsonb`-поле PostgreSQL, а PostgreSQL такие
последовательности не принимает. Документ отбрасывается на этапе
сохранения — после успешного разбора.
Это известная проблема старых версий Paperless с «грязным» OCR-текстом.
## Что делать
1. **Обновить образ** `ghcr.io/paperless-ngx/paperless-ngx` до свежего —
в новых версиях NUL-символы вычищаются перед сохранением.
2. Если обновление не помогает — добавить в `docker-compose.yml`:
```yaml
environment:
PAPERLESS_OCR_USER_ARGS: '{"invalidate_digital_signatures": true}'
```
и пересоздать контейнер.
3. Проверить: загрузить тестовый PDF, `GET /api/documents/` должен вернуть
`count: 1`.
## Почему это важно
Пока баг не исправлен:
- **Paperless фактически пуст** (0 документов);
- **S-13** (чеки → Firefly) не может работать — источник пуст;
- `/me` показывает пустой блок документов;
- бэкапы Paperless сохраняют пустую базу.
## Что уже готово
Скрипт `finance_receipts.py` умеет:
- брать документы из Paperless,
- вытаскивать сумму регулярками (`ИТОГО`, `к оплате`, `всего`),
- писать CSV в формате импорта Firefly III.
Он заработает сразу, как только Paperless начнёт хранить документы.
+53
View File
@@ -0,0 +1,53 @@
# Paperless → Firefly: чеки в расходы
## Поправка к прошлому выводу
Раньше я записал, что «Paperless не хранит документы из-за NUL в OCR».
**Это было неверно.** Ошибка была в моём тестовом PDF: я собрал его
с кодировкой cp1251 при заявленном WinAnsi — OCR получил мусор.
Проверка с корректным PDF:
```
upload → id 3
документов: 1
текст: "TEST STORE Receipt N 0042 ... TOTAL 455.40 Payment: card"
```
Paperless **работает** и хранит документы. Причина прошлых 0 документов —
не баг сервиса, а отсутствие нормальных загрузок плюс мой кривой тест.
## Пайплайн
`/opt/hub-core/finance_receipts.py`:
1. берёт документы из Paperless API (`/api/documents/`);
2. вытаскивает сумму: `ИТОГО`, `к оплате`, `всего`, `сумма`,
`TOTAL`, `amount due`, `grand total`, `sum`;
3. пишет CSV в формате импорта Firefly III:
`date,description,amount,currency_code`;
4. помнит обработанные (`/var/lib/hub-finance/processed.json`), не дублирует.
## Проверено
```
добавлено чеков: 1 → /mnt/media/finance/receipts-202610.csv
['2026-10-21', 'Receipt test correct PDF', 455.4]
```
## Как попадает в Firefly
Вариант 1 (сейчас): Firefly → Импорт → CSV → файл `/mnt/media/finance/*.csv`.
Вариант 2 (когда будет токен): Firefly API `POST /api/v1/transactions`
с типом `withdrawal`. Токен создаётся только через веб-интерфейс
(Профиль → OAuth → Personal Access Token) — автоматически не создать,
нужен вход.
## Ловушки
1. **PDF должен быть валидным.** Мой самодельный PDF с cp1251 ломал OCR
и давал `unsupported Unicode escape sequence` при сохранении.
2. **Paperless отвечает 200 на загрузку**, но документ появляется позже —
нужна пауза и проверка `count`.
3. Английские чеки не распознавались, пока не добавил `TOTAL` в регулярку.