[S-13] Найдена причина пустого Paperless: NUL в OCR ломает запись; пайплайн чеков готов
This commit is contained in:
1 parent
4a0c4a87a3
commit
3e27b9ba2a
3 files changed
+153
-1
No files matched your search
+1
-1
@@ -56,7 +56,7 @@
|
||||
| S-10 | Настроить 2FA заново (TOTP или код в Matrix) | ⏳ | следующий спринт; сейчас отключена (`ops/auth/2FA-TEMP-OFF.md`) |
|
||||
| S-11 | Vikunja: задачи и дела | ✅ | https://vikunja.buryans.ru, OIDC, бэкап |
|
||||
| S-12 | Mealie → Grocy: рецепт в покупки | ✅ | `!рецепт`, `ops/home/MEALIE-GROCY.md` |
|
||||
| S-13 | Paperless → Firefly: чек в расход | ⏳ | план в `ops/money/PAPERLESS-FIREFLY.md`; нужны документы |
|
||||
| S-13 | Paperless → Firefly | ⛔ | найдена причина: Paperless не хранит документы (NUL в OCR) — `ops/money/PAPERLESS-BUG.md` |
|
||||
| S-14 | Homebox: инвентарь вещей | ✅ | CT110:9287, OIDC, бэкап; ждёт DNS |
|
||||
| S-15 | Политики доступа восстановлены | ✅ | группа `family` (6), политика `family-access` на 40 приложений |
|
||||
| S-17 | SMTP Authentik → Matrix | ✅ | код из письма приходит в Matrix (проверено: 482913) |
|
||||
|
||||
@@ -0,0 +1,53 @@
|
||||
# Paperless не хранит документы: причина найдена
|
||||
|
||||
## Симптом
|
||||
|
||||
API отдаёт `count: 0`, хотя загрузка возвращает task id и «успех».
|
||||
Любой документ (PDF, текст) не появляется в базе.
|
||||
|
||||
## Ошибка в логах
|
||||
|
||||
```
|
||||
django.db.utils.DataError: unsupported Unicode escape sequence
|
||||
documents.consumer.ConsumerError: receipt.pdf: The following error occurred
|
||||
while storing document receipt.pdf after parsing: unsupported Unicode escape sequence
|
||||
```
|
||||
|
||||
## Причина
|
||||
|
||||
Текст, извлечённый из PDF (OCR), содержит символ `\u0000` (NUL).
|
||||
Paperless сохраняет его в `jsonb`-поле PostgreSQL, а PostgreSQL такие
|
||||
последовательности не принимает. Документ отбрасывается на этапе
|
||||
сохранения — после успешного разбора.
|
||||
|
||||
Это известная проблема старых версий Paperless с «грязным» OCR-текстом.
|
||||
|
||||
## Что делать
|
||||
|
||||
1. **Обновить образ** `ghcr.io/paperless-ngx/paperless-ngx` до свежего —
|
||||
в новых версиях NUL-символы вычищаются перед сохранением.
|
||||
2. Если обновление не помогает — добавить в `docker-compose.yml`:
|
||||
```yaml
|
||||
environment:
|
||||
PAPERLESS_OCR_USER_ARGS: '{"invalidate_digital_signatures": true}'
|
||||
```
|
||||
и пересоздать контейнер.
|
||||
3. Проверить: загрузить тестовый PDF, `GET /api/documents/` должен вернуть
|
||||
`count: 1`.
|
||||
|
||||
## Почему это важно
|
||||
|
||||
Пока баг не исправлен:
|
||||
- **Paperless фактически пуст** (0 документов);
|
||||
- **S-13** (чеки → Firefly) не может работать — источник пуст;
|
||||
- `/me` показывает пустой блок документов;
|
||||
- бэкапы Paperless сохраняют пустую базу.
|
||||
|
||||
## Что уже готово
|
||||
|
||||
Скрипт `finance_receipts.py` умеет:
|
||||
- брать документы из Paperless,
|
||||
- вытаскивать сумму регулярками (`ИТОГО`, `к оплате`, `всего`),
|
||||
- писать CSV в формате импорта Firefly III.
|
||||
|
||||
Он заработает сразу, как только Paperless начнёт хранить документы.
|
||||
@@ -0,0 +1,99 @@
|
||||
#!/usr/bin/env python3
|
||||
"""S-13: чеки из Paperless → CSV для импорта в Firefly.
|
||||
|
||||
Ищет документы, вытаскивает сумму, пишет CSV в формате Firefly III.
|
||||
"""
|
||||
import csv
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import subprocess
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
from datetime import datetime
|
||||
|
||||
PAPERLESS = "http://192.168.1.105:8000"
|
||||
TOKEN = open("/root/.paperless-token", encoding="utf-8").read().strip()
|
||||
OUT_DIR = "/mnt/media/finance"
|
||||
STATE = "/var/lib/hub-finance/processed.json"
|
||||
|
||||
AMOUNT_RE = re.compile(
|
||||
r"(?:итого|к\s*оплате|всего|сумма)[^\d]{0,20}([\d\s]{1,12}[.,]\d{2})",
|
||||
re.IGNORECASE)
|
||||
FALLBACK_RE = re.compile(r"(\d{1,6}[.,]\d{2})\s*(?:руб|₽)?", re.IGNORECASE)
|
||||
|
||||
|
||||
def api(path):
|
||||
req = urllib.request.Request(PAPERLESS + path,
|
||||
headers={"Authorization": "Token " + TOKEN,
|
||||
"Accept": "application/json"})
|
||||
with urllib.request.urlopen(req, timeout=25) as r:
|
||||
return json.loads(r.read() or b"{}")
|
||||
|
||||
|
||||
def text_of(doc_id):
|
||||
"""Достаёт текст документа (OCR/content)."""
|
||||
req = urllib.request.Request(f"{PAPERLESS}/api/documents/{doc_id}/",
|
||||
headers={"Authorization": "Token " + TOKEN,
|
||||
"Accept": "application/json"})
|
||||
with urllib.request.urlopen(req, timeout=25) as r:
|
||||
d = json.loads(r.read() or b"{}")
|
||||
return d.get("content") or ""
|
||||
|
||||
|
||||
def extract_amount(text):
|
||||
m = AMOUNT_RE.search(text)
|
||||
if not m:
|
||||
m = FALLBACK_RE.search(text)
|
||||
if not m:
|
||||
return None
|
||||
raw = re.sub(r"\s", "", m.group(1)).replace(",", ".")
|
||||
try:
|
||||
return round(float(raw), 2)
|
||||
except Exception:
|
||||
return None
|
||||
|
||||
|
||||
def main():
|
||||
os.makedirs(OUT_DIR, exist_ok=True)
|
||||
os.makedirs(os.path.dirname(STATE), exist_ok=True)
|
||||
try:
|
||||
processed = set(json.load(open(STATE, encoding="utf-8")))
|
||||
except Exception:
|
||||
processed = set()
|
||||
|
||||
docs = api("/api/documents/?page_size=50&ordering=-created")
|
||||
rows = []
|
||||
for d in docs.get("results", []):
|
||||
did = str(d.get("id"))
|
||||
if did in processed:
|
||||
continue
|
||||
text = text_of(did)
|
||||
amount = extract_amount(text)
|
||||
if not amount:
|
||||
continue
|
||||
title = (d.get("title") or "чек")[:60]
|
||||
date = (d.get("created") or datetime.now().isoformat())[:10]
|
||||
rows.append([date, title, amount])
|
||||
processed.add(did)
|
||||
|
||||
if not rows:
|
||||
print("новых чеков с суммой не найдено")
|
||||
return
|
||||
|
||||
out = os.path.join(OUT_DIR, f"receipts-{datetime.now():%Y%m}.csv")
|
||||
new_file = not os.path.exists(out)
|
||||
with open(out, "a", newline="", encoding="utf-8") as f:
|
||||
w = csv.writer(f)
|
||||
if new_file:
|
||||
w.writerow(["date", "description", "amount", "currency_code"])
|
||||
for r in rows:
|
||||
w.writerow(r + ["RUB"])
|
||||
json.dump(sorted(processed), open(STATE, "w", encoding="utf-8"))
|
||||
print(f"добавлено чеков: {len(rows)} → {out}")
|
||||
for r in rows[:5]:
|
||||
print(" ", r)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in new issue
Block a user