[S-13] Paperless → Firefly работает: сумма из чека → CSV; ошибочный вывод про баг исправлен
This commit is contained in:
1 parent
3e27b9ba2a
commit
0b36ac2012
3 files changed
+54
-54
No files matched your search
+1
-1
@@ -56,7 +56,7 @@
|
||||
| S-10 | Настроить 2FA заново (TOTP или код в Matrix) | ⏳ | следующий спринт; сейчас отключена (`ops/auth/2FA-TEMP-OFF.md`) |
|
||||
| S-11 | Vikunja: задачи и дела | ✅ | https://vikunja.buryans.ru, OIDC, бэкап |
|
||||
| S-12 | Mealie → Grocy: рецепт в покупки | ✅ | `!рецепт`, `ops/home/MEALIE-GROCY.md` |
|
||||
| S-13 | Paperless → Firefly | ⛔ | найдена причина: Paperless не хранит документы (NUL в OCR) — `ops/money/PAPERLESS-BUG.md` |
|
||||
| S-13 | Paperless → Firefly | ✅ | `finance_receipts.py` 09:15: сумма из чека → CSV (`455.40` проверено); импорт в Firefly — кнопкой |
|
||||
| S-14 | Homebox: инвентарь вещей | ✅ | CT110:9287, OIDC, бэкап; ждёт DNS |
|
||||
| S-15 | Политики доступа восстановлены | ✅ | группа `family` (6), политика `family-access` на 40 приложений |
|
||||
| S-17 | SMTP Authentik → Matrix | ✅ | код из письма приходит в Matrix (проверено: 482913) |
|
||||
|
||||
@@ -1,53 +0,0 @@
|
||||
# Paperless не хранит документы: причина найдена
|
||||
|
||||
## Симптом
|
||||
|
||||
API отдаёт `count: 0`, хотя загрузка возвращает task id и «успех».
|
||||
Любой документ (PDF, текст) не появляется в базе.
|
||||
|
||||
## Ошибка в логах
|
||||
|
||||
```
|
||||
django.db.utils.DataError: unsupported Unicode escape sequence
|
||||
documents.consumer.ConsumerError: receipt.pdf: The following error occurred
|
||||
while storing document receipt.pdf after parsing: unsupported Unicode escape sequence
|
||||
```
|
||||
|
||||
## Причина
|
||||
|
||||
Текст, извлечённый из PDF (OCR), содержит символ `\u0000` (NUL).
|
||||
Paperless сохраняет его в `jsonb`-поле PostgreSQL, а PostgreSQL такие
|
||||
последовательности не принимает. Документ отбрасывается на этапе
|
||||
сохранения — после успешного разбора.
|
||||
|
||||
Это известная проблема старых версий Paperless с «грязным» OCR-текстом.
|
||||
|
||||
## Что делать
|
||||
|
||||
1. **Обновить образ** `ghcr.io/paperless-ngx/paperless-ngx` до свежего —
|
||||
в новых версиях NUL-символы вычищаются перед сохранением.
|
||||
2. Если обновление не помогает — добавить в `docker-compose.yml`:
|
||||
```yaml
|
||||
environment:
|
||||
PAPERLESS_OCR_USER_ARGS: '{"invalidate_digital_signatures": true}'
|
||||
```
|
||||
и пересоздать контейнер.
|
||||
3. Проверить: загрузить тестовый PDF, `GET /api/documents/` должен вернуть
|
||||
`count: 1`.
|
||||
|
||||
## Почему это важно
|
||||
|
||||
Пока баг не исправлен:
|
||||
- **Paperless фактически пуст** (0 документов);
|
||||
- **S-13** (чеки → Firefly) не может работать — источник пуст;
|
||||
- `/me` показывает пустой блок документов;
|
||||
- бэкапы Paperless сохраняют пустую базу.
|
||||
|
||||
## Что уже готово
|
||||
|
||||
Скрипт `finance_receipts.py` умеет:
|
||||
- брать документы из Paperless,
|
||||
- вытаскивать сумму регулярками (`ИТОГО`, `к оплате`, `всего`),
|
||||
- писать CSV в формате импорта Firefly III.
|
||||
|
||||
Он заработает сразу, как только Paperless начнёт хранить документы.
|
||||
@@ -0,0 +1,53 @@
|
||||
# Paperless → Firefly: чеки в расходы
|
||||
|
||||
## Поправка к прошлому выводу
|
||||
|
||||
Раньше я записал, что «Paperless не хранит документы из-за NUL в OCR».
|
||||
**Это было неверно.** Ошибка была в моём тестовом PDF: я собрал его
|
||||
с кодировкой cp1251 при заявленном WinAnsi — OCR получил мусор.
|
||||
|
||||
Проверка с корректным PDF:
|
||||
|
||||
```
|
||||
upload → id 3
|
||||
документов: 1
|
||||
текст: "TEST STORE Receipt N 0042 ... TOTAL 455.40 Payment: card"
|
||||
```
|
||||
|
||||
Paperless **работает** и хранит документы. Причина прошлых 0 документов —
|
||||
не баг сервиса, а отсутствие нормальных загрузок плюс мой кривой тест.
|
||||
|
||||
## Пайплайн
|
||||
|
||||
`/opt/hub-core/finance_receipts.py`:
|
||||
|
||||
1. берёт документы из Paperless API (`/api/documents/`);
|
||||
2. вытаскивает сумму: `ИТОГО`, `к оплате`, `всего`, `сумма`,
|
||||
`TOTAL`, `amount due`, `grand total`, `sum`;
|
||||
3. пишет CSV в формате импорта Firefly III:
|
||||
`date,description,amount,currency_code`;
|
||||
4. помнит обработанные (`/var/lib/hub-finance/processed.json`), не дублирует.
|
||||
|
||||
## Проверено
|
||||
|
||||
```
|
||||
добавлено чеков: 1 → /mnt/media/finance/receipts-202610.csv
|
||||
['2026-10-21', 'Receipt test correct PDF', 455.4]
|
||||
```
|
||||
|
||||
## Как попадает в Firefly
|
||||
|
||||
Вариант 1 (сейчас): Firefly → Импорт → CSV → файл `/mnt/media/finance/*.csv`.
|
||||
|
||||
Вариант 2 (когда будет токен): Firefly API `POST /api/v1/transactions`
|
||||
с типом `withdrawal`. Токен создаётся только через веб-интерфейс
|
||||
(Профиль → OAuth → Personal Access Token) — автоматически не создать,
|
||||
нужен вход.
|
||||
|
||||
## Ловушки
|
||||
|
||||
1. **PDF должен быть валидным.** Мой самодельный PDF с cp1251 ломал OCR
|
||||
и давал `unsupported Unicode escape sequence` при сохранении.
|
||||
2. **Paperless отвечает 200 на загрузку**, но документ появляется позже —
|
||||
нужна пауза и проверка `count`.
|
||||
3. Английские чеки не распознавались, пока не добавил `TOTAL` в регулярку.
|
||||
Reference in new issue
Block a user