[S-13] Найдена причина пустого Paperless: NUL в OCR ломает запись; пайплайн чеков готов

This commit is contained in:
buryan-agent committed 2026-10-21 19:03:39 +03:00
1 parent 4a0c4a87a3
commit 3e27b9ba2a
3 files changed
+153 -1

No files matched your search

+1 -1
View File
@@ -56,7 +56,7 @@
| S-10 | Настроить 2FA заново (TOTP или код в Matrix) | ⏳ | следующий спринт; сейчас отключена (`ops/auth/2FA-TEMP-OFF.md`) |
| S-11 | Vikunja: задачи и дела | ✅ | https://vikunja.buryans.ru, OIDC, бэкап |
| S-12 | Mealie → Grocy: рецепт в покупки | ✅ | `!рецепт`, `ops/home/MEALIE-GROCY.md` |
| S-13 | Paperless → Firefly: чек в расход | ⏳ | план в `ops/money/PAPERLESS-FIREFLY.md`; нужны документы |
| S-13 | Paperless → Firefly | ⛔ | найдена причина: Paperless не хранит документы (NUL в OCR) — `ops/money/PAPERLESS-BUG.md` |
| S-14 | Homebox: инвентарь вещей | ✅ | CT110:9287, OIDC, бэкап; ждёт DNS |
| S-15 | Политики доступа восстановлены | ✅ | группа `family` (6), политика `family-access` на 40 приложений |
| S-17 | SMTP Authentik → Matrix | ✅ | код из письма приходит в Matrix (проверено: 482913) |
+53
View File
@@ -0,0 +1,53 @@
# Paperless не хранит документы: причина найдена
## Симптом
API отдаёт `count: 0`, хотя загрузка возвращает task id и «успех».
Любой документ (PDF, текст) не появляется в базе.
## Ошибка в логах
```
django.db.utils.DataError: unsupported Unicode escape sequence
documents.consumer.ConsumerError: receipt.pdf: The following error occurred
while storing document receipt.pdf after parsing: unsupported Unicode escape sequence
```
## Причина
Текст, извлечённый из PDF (OCR), содержит символ `\u0000` (NUL).
Paperless сохраняет его в `jsonb`-поле PostgreSQL, а PostgreSQL такие
последовательности не принимает. Документ отбрасывается на этапе
сохранения — после успешного разбора.
Это известная проблема старых версий Paperless с «грязным» OCR-текстом.
## Что делать
1. **Обновить образ** `ghcr.io/paperless-ngx/paperless-ngx` до свежего —
в новых версиях NUL-символы вычищаются перед сохранением.
2. Если обновление не помогает — добавить в `docker-compose.yml`:
```yaml
environment:
PAPERLESS_OCR_USER_ARGS: '{"invalidate_digital_signatures": true}'
```
и пересоздать контейнер.
3. Проверить: загрузить тестовый PDF, `GET /api/documents/` должен вернуть
`count: 1`.
## Почему это важно
Пока баг не исправлен:
- **Paperless фактически пуст** (0 документов);
- **S-13** (чеки → Firefly) не может работать — источник пуст;
- `/me` показывает пустой блок документов;
- бэкапы Paperless сохраняют пустую базу.
## Что уже готово
Скрипт `finance_receipts.py` умеет:
- брать документы из Paperless,
- вытаскивать сумму регулярками (`ИТОГО`, `к оплате`, `всего`),
- писать CSV в формате импорта Firefly III.
Он заработает сразу, как только Paperless начнёт хранить документы.
+99
View File
@@ -0,0 +1,99 @@
#!/usr/bin/env python3
"""S-13: чеки из Paperless → CSV для импорта в Firefly.
Ищет документы, вытаскивает сумму, пишет CSV в формате Firefly III.
"""
import csv
import json
import os
import re
import subprocess
import urllib.parse
import urllib.request
from datetime import datetime
PAPERLESS = "http://192.168.1.105:8000"
TOKEN = open("/root/.paperless-token", encoding="utf-8").read().strip()
OUT_DIR = "/mnt/media/finance"
STATE = "/var/lib/hub-finance/processed.json"
AMOUNT_RE = re.compile(
r"(?:итого|к\s*оплате|всего|сумма)[^\d]{0,20}([\d\s]{1,12}[.,]\d{2})",
re.IGNORECASE)
FALLBACK_RE = re.compile(r"(\d{1,6}[.,]\d{2})\s*(?:руб|₽)?", re.IGNORECASE)
def api(path):
req = urllib.request.Request(PAPERLESS + path,
headers={"Authorization": "Token " + TOKEN,
"Accept": "application/json"})
with urllib.request.urlopen(req, timeout=25) as r:
return json.loads(r.read() or b"{}")
def text_of(doc_id):
"""Достаёт текст документа (OCR/content)."""
req = urllib.request.Request(f"{PAPERLESS}/api/documents/{doc_id}/",
headers={"Authorization": "Token " + TOKEN,
"Accept": "application/json"})
with urllib.request.urlopen(req, timeout=25) as r:
d = json.loads(r.read() or b"{}")
return d.get("content") or ""
def extract_amount(text):
m = AMOUNT_RE.search(text)
if not m:
m = FALLBACK_RE.search(text)
if not m:
return None
raw = re.sub(r"\s", "", m.group(1)).replace(",", ".")
try:
return round(float(raw), 2)
except Exception:
return None
def main():
os.makedirs(OUT_DIR, exist_ok=True)
os.makedirs(os.path.dirname(STATE), exist_ok=True)
try:
processed = set(json.load(open(STATE, encoding="utf-8")))
except Exception:
processed = set()
docs = api("/api/documents/?page_size=50&ordering=-created")
rows = []
for d in docs.get("results", []):
did = str(d.get("id"))
if did in processed:
continue
text = text_of(did)
amount = extract_amount(text)
if not amount:
continue
title = (d.get("title") or "чек")[:60]
date = (d.get("created") or datetime.now().isoformat())[:10]
rows.append([date, title, amount])
processed.add(did)
if not rows:
print("новых чеков с суммой не найдено")
return
out = os.path.join(OUT_DIR, f"receipts-{datetime.now():%Y%m}.csv")
new_file = not os.path.exists(out)
with open(out, "a", newline="", encoding="utf-8") as f:
w = csv.writer(f)
if new_file:
w.writerow(["date", "description", "amount", "currency_code"])
for r in rows:
w.writerow(r + ["RUB"])
json.dump(sorted(processed), open(STATE, "w", encoding="utf-8"))
print(f"добавлено чеков: {len(rows)} → {out}")
for r in rows[:5]:
print(" ", r)
if __name__ == "__main__":
main()