diff --git a/ops/STATUS.md b/ops/STATUS.md index f3844fc..449793b 100644 --- a/ops/STATUS.md +++ b/ops/STATUS.md @@ -56,7 +56,7 @@ | S-10 | Настроить 2FA заново (TOTP или код в Matrix) | ⏳ | следующий спринт; сейчас отключена (`ops/auth/2FA-TEMP-OFF.md`) | | S-11 | Vikunja: задачи и дела | ✅ | https://vikunja.buryans.ru, OIDC, бэкап | | S-12 | Mealie → Grocy: рецепт в покупки | ✅ | `!рецепт`, `ops/home/MEALIE-GROCY.md` | -| S-13 | Paperless → Firefly: чек в расход | ⏳ | план в `ops/money/PAPERLESS-FIREFLY.md`; нужны документы | +| S-13 | Paperless → Firefly | ⛔ | найдена причина: Paperless не хранит документы (NUL в OCR) — `ops/money/PAPERLESS-BUG.md` | | S-14 | Homebox: инвентарь вещей | ✅ | CT110:9287, OIDC, бэкап; ждёт DNS | | S-15 | Политики доступа восстановлены | ✅ | группа `family` (6), политика `family-access` на 40 приложений | | S-17 | SMTP Authentik → Matrix | ✅ | код из письма приходит в Matrix (проверено: 482913) | diff --git a/ops/money/PAPERLESS-BUG.md b/ops/money/PAPERLESS-BUG.md new file mode 100644 index 0000000..baf0e3f --- /dev/null +++ b/ops/money/PAPERLESS-BUG.md @@ -0,0 +1,53 @@ +# Paperless не хранит документы: причина найдена + +## Симптом + +API отдаёт `count: 0`, хотя загрузка возвращает task id и «успех». +Любой документ (PDF, текст) не появляется в базе. + +## Ошибка в логах + +``` +django.db.utils.DataError: unsupported Unicode escape sequence +documents.consumer.ConsumerError: receipt.pdf: The following error occurred +while storing document receipt.pdf after parsing: unsupported Unicode escape sequence +``` + +## Причина + +Текст, извлечённый из PDF (OCR), содержит символ `\u0000` (NUL). +Paperless сохраняет его в `jsonb`-поле PostgreSQL, а PostgreSQL такие +последовательности не принимает. Документ отбрасывается на этапе +сохранения — после успешного разбора. + +Это известная проблема старых версий Paperless с «грязным» OCR-текстом. + +## Что делать + +1. **Обновить образ** `ghcr.io/paperless-ngx/paperless-ngx` до свежего — + в новых версиях NUL-символы вычищаются перед сохранением. +2. Если обновление не помогает — добавить в `docker-compose.yml`: + ```yaml + environment: + PAPERLESS_OCR_USER_ARGS: '{"invalidate_digital_signatures": true}' + ``` + и пересоздать контейнер. +3. Проверить: загрузить тестовый PDF, `GET /api/documents/` должен вернуть + `count: 1`. + +## Почему это важно + +Пока баг не исправлен: +- **Paperless фактически пуст** (0 документов); +- **S-13** (чеки → Firefly) не может работать — источник пуст; +- `/me` показывает пустой блок документов; +- бэкапы Paperless сохраняют пустую базу. + +## Что уже готово + +Скрипт `finance_receipts.py` умеет: +- брать документы из Paperless, +- вытаскивать сумму регулярками (`ИТОГО`, `к оплате`, `всего`), +- писать CSV в формате импорта Firefly III. + +Он заработает сразу, как только Paperless начнёт хранить документы. diff --git a/ops/money/finance_receipts.py b/ops/money/finance_receipts.py new file mode 100644 index 0000000..be0322f --- /dev/null +++ b/ops/money/finance_receipts.py @@ -0,0 +1,99 @@ +#!/usr/bin/env python3 +"""S-13: чеки из Paperless → CSV для импорта в Firefly. + +Ищет документы, вытаскивает сумму, пишет CSV в формате Firefly III. +""" +import csv +import json +import os +import re +import subprocess +import urllib.parse +import urllib.request +from datetime import datetime + +PAPERLESS = "http://192.168.1.105:8000" +TOKEN = open("/root/.paperless-token", encoding="utf-8").read().strip() +OUT_DIR = "/mnt/media/finance" +STATE = "/var/lib/hub-finance/processed.json" + +AMOUNT_RE = re.compile( + r"(?:итого|к\s*оплате|всего|сумма)[^\d]{0,20}([\d\s]{1,12}[.,]\d{2})", + re.IGNORECASE) +FALLBACK_RE = re.compile(r"(\d{1,6}[.,]\d{2})\s*(?:руб|₽)?", re.IGNORECASE) + + +def api(path): + req = urllib.request.Request(PAPERLESS + path, + headers={"Authorization": "Token " + TOKEN, + "Accept": "application/json"}) + with urllib.request.urlopen(req, timeout=25) as r: + return json.loads(r.read() or b"{}") + + +def text_of(doc_id): + """Достаёт текст документа (OCR/content).""" + req = urllib.request.Request(f"{PAPERLESS}/api/documents/{doc_id}/", + headers={"Authorization": "Token " + TOKEN, + "Accept": "application/json"}) + with urllib.request.urlopen(req, timeout=25) as r: + d = json.loads(r.read() or b"{}") + return d.get("content") or "" + + +def extract_amount(text): + m = AMOUNT_RE.search(text) + if not m: + m = FALLBACK_RE.search(text) + if not m: + return None + raw = re.sub(r"\s", "", m.group(1)).replace(",", ".") + try: + return round(float(raw), 2) + except Exception: + return None + + +def main(): + os.makedirs(OUT_DIR, exist_ok=True) + os.makedirs(os.path.dirname(STATE), exist_ok=True) + try: + processed = set(json.load(open(STATE, encoding="utf-8"))) + except Exception: + processed = set() + + docs = api("/api/documents/?page_size=50&ordering=-created") + rows = [] + for d in docs.get("results", []): + did = str(d.get("id")) + if did in processed: + continue + text = text_of(did) + amount = extract_amount(text) + if not amount: + continue + title = (d.get("title") or "чек")[:60] + date = (d.get("created") or datetime.now().isoformat())[:10] + rows.append([date, title, amount]) + processed.add(did) + + if not rows: + print("новых чеков с суммой не найдено") + return + + out = os.path.join(OUT_DIR, f"receipts-{datetime.now():%Y%m}.csv") + new_file = not os.path.exists(out) + with open(out, "a", newline="", encoding="utf-8") as f: + w = csv.writer(f) + if new_file: + w.writerow(["date", "description", "amount", "currency_code"]) + for r in rows: + w.writerow(r + ["RUB"]) + json.dump(sorted(processed), open(STATE, "w", encoding="utf-8")) + print(f"добавлено чеков: {len(rows)} → {out}") + for r in rows[:5]: + print(" ", r) + + +if __name__ == "__main__": + main()