From 9dec0676be1c197e16abd8e290291fd395509e6a Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Mon, 16 Nov 2026 18:10:02 +0300 Subject: [PATCH] =?UTF-8?q?[OPS]=20=D0=A2=D1=80=D0=B8=20=D0=BF=D1=83=D0=BD?= =?UTF-8?q?=D0=BA=D1=82=D0=B0:=20(1)=20=D0=B5=D0=B4=D0=B8=D0=BD=D0=B0?= =?UTF-8?q?=D1=8F=20=D1=83=D1=82=D1=80=D0=B5=D0=BD=D0=BD=D1=8F=D1=8F=20?= =?UTF-8?q?=D1=81=D0=B2=D0=BE=D0=B4=D0=BA=D0=B0=20morning=5Fdigest.py=20?= =?UTF-8?q?=E2=80=94=20=D1=81=D0=BB=D1=83=D0=B6=D0=B1=D1=8B,=20=D1=8E?= =?UTF-8?q?=D0=BD=D0=B8=D1=82=D1=8B,=20=D0=B1=D1=8D=D0=BA=D0=B0=D0=BF?= =?UTF-8?q?=D1=8B,=20=D0=BD=D0=BE=D1=87=D0=BD=D0=BE=D0=B9=20=D1=80=D0=B0?= =?UTF-8?q?=D0=B7=D0=B1=D0=BE=D1=80,=20=D0=B7=D0=B0=D0=B4=D0=B0=D1=87?= =?UTF-8?q?=D0=B8,=20=D0=B7=D0=B0=D1=8F=D0=B2=D0=BA=D0=B8;=20Hermes=20morn?= =?UTF-8?q?ing-digest=2008:00,=20log-signatures=2007:50=20=D0=B1=D0=B5?= =?UTF-8?q?=D0=B7=20=D0=BE=D1=82=D0=B4=D0=B5=D0=BB=D1=8C=D0=BD=D0=BE=D0=B3?= =?UTF-8?q?=D0=BE=20=D1=81=D0=BE=D0=BE=D0=B1=D1=89=D0=B5=D0=BD=D0=B8=D1=8F?= =?UTF-8?q?,=20morning-briefing=20=D1=83=D0=B1=D1=80=D0=B0=D0=BD;=20(2)=20?= =?UTF-8?q?work.db=20=D0=B7=D0=B0=D0=B4=D0=B0=D1=87=20=D0=B4=D0=BE=D0=B1?= =?UTF-8?q?=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD=20=D0=B2=D0=BE=20=D0=B2=D1=82?= =?UTF-8?q?=D0=BE=D1=80=D0=BE=D0=B9=20=D0=BA=D0=BE=D0=BD=D1=82=D1=83=D1=80?= =?UTF-8?q?=20=E2=80=94=20=D0=B0=D1=80=D1=85=D0=B8=D0=B2=20=D0=BD=D0=B0=20?= =?UTF-8?q?VPS=20=D1=81=D0=BE=D0=B4=D0=B5=D1=80=D0=B6=D0=B8=D1=82=20opt/wo?= =?UTF-8?q?rk-hub/work.db;=20(3)=20EXT4=20dm-37=20=E2=80=94=20=D1=8D=D1=82?= =?UTF-8?q?=D0=BE=20read-only=20=D1=81=D0=BD=D0=B8=D0=BC=D0=BE=D0=BA=20vzd?= =?UTF-8?q?ump,=20=D0=BD=D0=B5=20=D0=BE=D1=88=D0=B8=D0=B1=D0=BA=D0=B0:=20?= =?UTF-8?q?=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD=D0=BE=20=D0=B2?= =?UTF-8?q?=20NOISE,=20=D0=BD=D0=BE=D1=87=D0=BD=D0=BE=D0=B9=20=D1=80=D0=B0?= =?UTF-8?q?=D0=B7=D0=B1=D0=BE=D1=80=20=D1=82=D0=B5=D0=BF=D0=B5=D1=80=D1=8C?= =?UTF-8?q?=200/0/0.=20=D0=9F=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D0=BA=D0=B0=20?= =?UTF-8?q?=D0=B4=D0=BD=D1=8F:=200=20=D1=83=D0=BF=D0=B0=D0=B2=D1=88=D0=B8?= =?UTF-8?q?=D1=85=20=D1=8E=D0=BD=D0=B8=D1=82=D0=BE=D0=B2,=2074/74=20=D1=81?= =?UTF-8?q?=D0=BB=D1=83=D0=B6=D0=B1,=209/9=20=D0=B1=D0=BE=D1=82=D0=BE?= =?UTF-8?q?=D0=B2,=20=D0=BE=D1=82=D1=87=D1=91=D1=82=D1=8B=20=D1=81=20?= =?UTF-8?q?=C2=AB=D0=93=D0=BB=D0=B0=D0=B2=D0=BD=D0=BE=D0=B5=C2=BB,=20drift?= =?UTF-8?q?=200,=20=D0=BB=D0=BE=D0=B6=D0=BD=D0=B0=D1=8F=20=D0=B7=D0=B0?= =?UTF-8?q?=D1=8F=D0=B2=D0=BA=D0=B0=20#31=20=D0=BE=D1=82=D0=BA=D0=BB=D0=BE?= =?UTF-8?q?=D0=BD=D0=B5=D0=BD=D0=B0.=20=D0=9B=D0=BE=D0=B2=D1=83=D1=88?= =?UTF-8?q?=D0=BA=D0=B8:=20=D1=84=D0=B8=D0=BB=D1=8C=D1=82=D1=80=20=D1=81?= =?UTF-8?q?=D0=BE=D0=B2=D0=BF=D0=B0=D0=BB=20=D1=81=20=D0=BF=D1=80=D0=BE?= =?UTF-8?q?=D0=BC=D0=BF=D1=82=D0=BE=D0=BC,=20llm=5Fdigest=20=D0=B2=D0=BE?= =?UTF-8?q?=D0=B7=D0=B2=D1=80=D0=B0=D1=89=D0=B0=D0=BB=20'',=20=D0=B7=D0=B0?= =?UTF-8?q?=D0=B4=D0=B0=D1=87=D0=B8=20=D0=B1=D1=8D=D0=BA=D0=B0=D0=BF=D0=B8?= =?UTF-8?q?=D0=BB=D0=B8=D1=81=D1=8C=20=D0=BD=D0=B5=20=D0=B2=20=D0=BE=D1=84?= =?UTF-8?q?=D1=81=D0=B0=D0=B9=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/audits/THREE-ITEMS-2026-11-16.md | 78 ++++++++++++++ ops/automations/registry.yaml | 2 +- ops/scripts/log_signatures.py | 3 +- ops/scripts/morning_digest.py | 156 +++++++++++++++++++++++++++ 4 files changed, 237 insertions(+), 2 deletions(-) create mode 100644 ops/audits/THREE-ITEMS-2026-11-16.md create mode 100755 ops/scripts/morning_digest.py diff --git a/ops/audits/THREE-ITEMS-2026-11-16.md b/ops/audits/THREE-ITEMS-2026-11-16.md new file mode 100644 index 0000000..6ff94a4 --- /dev/null +++ b/ops/audits/THREE-ITEMS-2026-11-16.md @@ -0,0 +1,78 @@ +# Три пункта: единая сводка, бэкап задач, EXT4 (16.11.2026) + +## 1. Единая утренняя сводка + +Было: отдельно `morning-briefing` (08:00), ночной разбор журналов (08:00), +AI-дайджест (08:30), digest уведомлений (09:00) — четыре сообщения об одном дне. + +Стало: **одно сообщение** `🌅 Утренняя сводка` в 08:00: + +``` +🌅 Утренняя сводка — 16.11.2026 + +• Службы: 74 из 74 работают +• Упавших юнитов: нет +• Бэкапы: дамп CT 115 (16 ч); snapshot 2026-11-16; ИТОГ: баз 47, совпало 47 +• Ночной разбор: без находок +• Задачи (1): #8 Развернуть ВМ для заказчика Ferrero Rocher... +• Заявки на подтверждение: нет +• Ошибок в журнале за сутки: 36 +``` + +* `/root/buryan-infra/ops/scripts/morning_digest.py`; +* Hermes: `morning-digest` 08:00, `log-signatures` 07:50 (только отчёт, без + отдельного сообщения); `morning-briefing` убран из расписания; +* копия сводки: `/var/log/hub/morning-digest-YYYY-MM-DD.md`. + +## 2. Задачи work-secretary — в офсайт + +Задачи **уже хранятся** в SQLite `/opt/work-hub/work.db` (таблица `items`: +id, ts, text, type, partner, due, status, raw_json, done_ts). Проверено: +5 выполненных, 1 в inbox. + +Проблема была в другом: `/opt/work-hub` **не входил** во второй контур +(офсайт) — при потере хоста задачи исчезли бы. + +Исправлено: `second_contour.py` → `DIRS` включает `/opt/work-hub/work.db`. +Проверка: архив на VPS содержит `opt/work-hub/work.db` (1 файл). + +## 3. EXT4 `dm-37`: не ошибка, а снимок бэкапа + +Сообщения появлялись в 01:00 / 01:30 / 02:00 — ровно в окне vzdump: + +``` +Nov 16 01:00:01 CRON (root) CMD (/usr/local/bin/lxc-backup.sh 108 daily) +Nov 16 01:00:03 vzdump: starting new backup job: vzdump 108 --mode snapshot +``` + +`vzdump --mode snapshot` монтирует LVM-снимок **только для чтения**; ext4 при +этом пишет `write access unavailable, skipping orphan cleanup`. Том `dm-37` +сейчас не смонтирован, ошибок I/O нет. + +Сделано: сигнатура добавлена в `NOISE` в `log_signatures.py`. После этого +ночной разбор: **9 сигнатур, новых 0, всплесков 0, корреляций 0**. + +## Проверка всего дня + +| Что | Результат | +|---|---| +| Упавшие юниты | 0 | +| Службы | 74 / 74, лежит 0 | +| Боты | 9/9, `token_failures: []` | +| Matrix/SSO чекер | 4 из 4 ok | +| Ollama | в порядке, 3 модели | +| n8n | 4 активных воркфлоу | +| Immich | `{"res":"pong"}` | +| Отчёты `weekly`/`trust`/`research` | «## Главное» на месте | +| Реестр автоматизаций | drift «без изменений», cron.d 49 = 49 | +| Ложная заявка #31 | отклонена | +| Ошибки в журнале после правок | нет (последние 6 ч — пусто) | + +## Ловушки + +| Ловушка | Что было | +|---|---| +| фильтр EXT4 | первая попытка совпала с текстом промпта, а не с `NOISE`; проверять по блоку | +| `llm_digest` | при отсутствии находок возвращал `""`, а код ждал кортеж → `ValueError: not enough values to unpack` | +| `morning-briefing` | дублировал сводку; убран из расписания, скрипт оставлен | +| задачи | хранились нормально, но не бэкапились — проверять не «есть ли база», а «попадает ли в копию» | diff --git a/ops/automations/registry.yaml b/ops/automations/registry.yaml index 9bbda49..3446e6e 100644 --- a/ops/automations/registry.yaml +++ b/ops/automations/registry.yaml @@ -1,5 +1,5 @@ # Реестр автоматизаций Buryans Hub -# Сгенерировано: 2026-11-16 17:14 (ops/scripts/build_automations_registry.py) +# Сгенерировано: 2026-11-16 18:05 (ops/scripts/build_automations_registry.py) total: 161 by_source: cron.d: 49 diff --git a/ops/scripts/log_signatures.py b/ops/scripts/log_signatures.py index ecc2585..a672624 100755 --- a/ops/scripts/log_signatures.py +++ b/ops/scripts/log_signatures.py @@ -34,6 +34,7 @@ NOISE = ( "read-only file system", "name resolution", "openipmi", "postfix", "nfsdcld", "wtmpdb", "grub-common", "org.gnome", "avahi", "bluetooth", "pam_unix", "session opened", "session closed", + "write access unavailable, skipping orphan cleanup", ) @@ -167,7 +168,7 @@ def correlations(hours=24, window_min=5): def llm_digest(new, spikes, corr): """Короткий дайджест локальной моделью (3b → DeepSeek через фолбэк).""" if not (new or spikes or corr): - return "" + return {}, None facts = [] for n, sig, rec in new[:5]: facts.append("НОВАЯ x%d: %s [%s]\n пример: %s" diff --git a/ops/scripts/morning_digest.py b/ops/scripts/morning_digest.py new file mode 100755 index 0000000..248f0ed --- /dev/null +++ b/ops/scripts/morning_digest.py @@ -0,0 +1,156 @@ +#!/usr/bin/env python3 +"""Единая утренняя сводка (пункт 1, 16.11.2026). + +Заменяет собой разрозненные утренние сообщения: состояние служб, бэкапы, +ночной разбор журналов, задачи владельца, заявки на подтверждение. +Одно сообщение в ALERT в 08:00. + +Источники: + * /status.json хаба — службы; + * systemctl --failed — упавшие юниты; + * /var/lib/vz/dump, second_contour.log, ops/audit/snapshot-* — бэкапы; + * /var/log/hub/log-digest-YYYY-MM-DD.md — ночной разбор (Фаза 3); + * /opt/work-hub/work.db — открытые задачи; + * approvals.py list — заявки на подтверждение. + +Запуск: + python3 morning_digest.py # собрать и отправить + python3 morning_digest.py --dry-run # только напечатать +""" +import glob +import json +import os +import re +import sqlite3 +import subprocess +import sys +from datetime import date, datetime, timedelta + +HUB = "http://127.0.0.1:9120" +NOTIFY = "/opt/buryan-hub/scripts/notify.py" +WORK_DB = "/opt/work-hub/work.db" +OUT = "/var/log/hub/morning-digest-%s.md" % date.today().isoformat() +APPROVALS = "/opt/music-tools/venv/bin/python" + + +def sh(cmd, timeout=60): + try: + r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout) + return (r.stdout or "").strip() + except Exception: + return "" + + +def services(): + try: + import urllib.request as u + with u.urlopen(HUB + "/status.json", timeout=15) as r: + d = json.loads(r.read()) + except Exception: + return "• Службы: хаб не отвечает", [] + svc = d.get("services") or [] + down = [s.get("name") for s in svc if not s.get("up")] + if down: + return "• Службы: %d из %d, лежат: %s" % (len(svc) - len(down), len(svc), + ", ".join(down[:6])), down + return "• Службы: %d из %d работают" % (len(svc), len(svc)), down + + +def failed_units(): + n = sh("systemctl --failed --no-legend --no-pager | wc -l") + if not n or n == "0": + return "• Упавших юнитов: нет" + names = sh("systemctl --failed --no-legend --no-pager | awk '{print $2}' | head -4") + return "• Упавшие юниты: %s (%s)" % (n, names.replace("\n", ", ")) + + +def backups(): + lines = [] + dump = sh("ls -t /var/lib/vz/dump/*.tar.zst 2>/dev/null | head -1") + if dump: + age = (datetime.now().timestamp() - os.path.getmtime(dump)) / 3600 + lines.append("дамп CT %s (%.0f ч)" % (os.path.basename(dump).split("-")[2], age)) + sn = sorted(glob.glob("/root/buryan-infra/ops/audit/snapshot-*.md")) + if sn: + lines.append("snapshot %s" % os.path.basename(sn[-1]).replace("snapshot-", "").replace(".md", "")) + ver = sh("grep -h 'ИТОГ: баз' /var/log/buryan-hub/backups/verify-backups.log 2>/dev/null | tail -1") + if ver: + lines.append(re.sub(r"^\[[^]]+\]\s*", "", ver)) + if not lines: + return "• Бэкапы: свежих данных нет" + return "• Бэкапы: " + "; ".join(lines) + + +def log_digest(): + p = "/var/log/hub/log-digest-%s.md" % date.today().isoformat() + if not os.path.exists(p): + return "• Ночной разбор: отчёта нет" + txt = open(p, encoding="utf-8").read() + head = "" + m = re.search(r"\*\*(.+?)\*\*", txt) + if m: + head = m.group(1).strip() + counts = "" + m2 = re.search(r"новых:\s*(\d+)\s*\|\s*всплесков:\s*(\d+)\s*\|\s*корреляций:\s*(\d+)", txt) + if m2: + counts = "новых %s, всплесков %s, корреляций %s" % m2.groups() + if not head: + return "• Ночной разбор: %s" % (counts or "без находок") + return "• Ночной разбор: %s%s" % (head, (" (" + counts + ")") if counts else "") + + +def tasks(): + try: + c = sqlite3.connect("file:%s?mode=ro" % WORK_DB, uri=True) + rows = c.execute("select id, text, due from items where status != 'done' " + "order by id desc limit 5").fetchall() + c.close() + except Exception as e: + return "• Задачи: база недоступна (%s)" % str(e)[:40] + if not rows: + return "• Задачи: открытых нет" + items = [] + for i, text, due in rows[:3]: + t = re.sub(r"\s+", " ", (text or ""))[:60] + items.append("#%s %s%s" % (i, t, (" (до %s)" % due) if due else "")) + return "• Задачи (%d): %s" % (len(rows), " · ".join(items)) + + +def approvals(): + out = sh("%s /opt/hub-agents/approvals.py list 2>/dev/null" % APPROVALS) + if not out or "заявок нет" in out: + return "• Заявки на подтверждение: нет" + lines = [ln for ln in out.splitlines() if ln.startswith("#")] + return "• Заявки: %d (ждёт «одобри N»): %s" % (len(lines), + "; ".join(lines[:2])[:160]) + + +def errors_night(): + n = sh("journalctl --since '-24h' -p err --no-pager 2>/dev/null | wc -l") + return "• Ошибок в журнале за сутки: %s" % (n or "?") + + +def main(): + dry = "--dry-run" in sys.argv + sline, _ = services() + parts = ["🌅 Утренняя сводка — %s" % date.today().strftime("%d.%m.%Y"), "", + sline, failed_units(), backups(), log_digest(), + tasks(), approvals(), errors_night()] + text = "\n".join(parts) + print(text) + try: + os.makedirs("/var/log/hub", exist_ok=True) + open(OUT, "w", encoding="utf-8").write(text + "\n") + except Exception: + pass + if dry: + return 0 + r = subprocess.run([sys.executable, NOTIFY, "--priority", "high", + "--title", "Утренняя сводка", text], + capture_output=True, text=True, timeout=180) + print("\nотправка:", (r.stdout or r.stderr).strip()[:100]) + return 0 + + +if __name__ == "__main__": + sys.exit(main())