[OPS] Три пункта: (1) единая утренняя сводка morning_digest.py — службы, юниты, бэкапы, ночной разбор, задачи, заявки; Hermes morning-digest 08:00, log-signatures 07:50 без отдельного сообщения, morning-briefing убран; (2) work.db задач добавлен во второй контур — архив на VPS содержит opt/work-hub/work.db; (3) EXT4 dm-37 — это read-only снимок vzdump, не ошибка: добавлено в NOISE, ночной разбор теперь 0/0/0. Проверка дня: 0 упавших юнитов, 74/74 служб, 9/9 ботов, отчёты с «Главное», drift 0, ложная заявка #31 отклонена. Ловушки: фильтр совпал с промптом, llm_digest возвращал '', задачи бэкапились не в офсайт
This commit is contained in:
1 parent
a2f3892da1
commit
9dec0676be
4 files changed
+237
-2
No files matched your search
@@ -0,0 +1,78 @@
|
||||
# Три пункта: единая сводка, бэкап задач, EXT4 (16.11.2026)
|
||||
|
||||
## 1. Единая утренняя сводка
|
||||
|
||||
Было: отдельно `morning-briefing` (08:00), ночной разбор журналов (08:00),
|
||||
AI-дайджест (08:30), digest уведомлений (09:00) — четыре сообщения об одном дне.
|
||||
|
||||
Стало: **одно сообщение** `🌅 Утренняя сводка` в 08:00:
|
||||
|
||||
```
|
||||
🌅 Утренняя сводка — 16.11.2026
|
||||
|
||||
• Службы: 74 из 74 работают
|
||||
• Упавших юнитов: нет
|
||||
• Бэкапы: дамп CT 115 (16 ч); snapshot 2026-11-16; ИТОГ: баз 47, совпало 47
|
||||
• Ночной разбор: без находок
|
||||
• Задачи (1): #8 Развернуть ВМ для заказчика Ferrero Rocher...
|
||||
• Заявки на подтверждение: нет
|
||||
• Ошибок в журнале за сутки: 36
|
||||
```
|
||||
|
||||
* `/root/buryan-infra/ops/scripts/morning_digest.py`;
|
||||
* Hermes: `morning-digest` 08:00, `log-signatures` 07:50 (только отчёт, без
|
||||
отдельного сообщения); `morning-briefing` убран из расписания;
|
||||
* копия сводки: `/var/log/hub/morning-digest-YYYY-MM-DD.md`.
|
||||
|
||||
## 2. Задачи work-secretary — в офсайт
|
||||
|
||||
Задачи **уже хранятся** в SQLite `/opt/work-hub/work.db` (таблица `items`:
|
||||
id, ts, text, type, partner, due, status, raw_json, done_ts). Проверено:
|
||||
5 выполненных, 1 в inbox.
|
||||
|
||||
Проблема была в другом: `/opt/work-hub` **не входил** во второй контур
|
||||
(офсайт) — при потере хоста задачи исчезли бы.
|
||||
|
||||
Исправлено: `second_contour.py` → `DIRS` включает `/opt/work-hub/work.db`.
|
||||
Проверка: архив на VPS содержит `opt/work-hub/work.db` (1 файл).
|
||||
|
||||
## 3. EXT4 `dm-37`: не ошибка, а снимок бэкапа
|
||||
|
||||
Сообщения появлялись в 01:00 / 01:30 / 02:00 — ровно в окне vzdump:
|
||||
|
||||
```
|
||||
Nov 16 01:00:01 CRON (root) CMD (/usr/local/bin/lxc-backup.sh 108 daily)
|
||||
Nov 16 01:00:03 vzdump: starting new backup job: vzdump 108 --mode snapshot
|
||||
```
|
||||
|
||||
`vzdump --mode snapshot` монтирует LVM-снимок **только для чтения**; ext4 при
|
||||
этом пишет `write access unavailable, skipping orphan cleanup`. Том `dm-37`
|
||||
сейчас не смонтирован, ошибок I/O нет.
|
||||
|
||||
Сделано: сигнатура добавлена в `NOISE` в `log_signatures.py`. После этого
|
||||
ночной разбор: **9 сигнатур, новых 0, всплесков 0, корреляций 0**.
|
||||
|
||||
## Проверка всего дня
|
||||
|
||||
| Что | Результат |
|
||||
|---|---|
|
||||
| Упавшие юниты | 0 |
|
||||
| Службы | 74 / 74, лежит 0 |
|
||||
| Боты | 9/9, `token_failures: []` |
|
||||
| Matrix/SSO чекер | 4 из 4 ok |
|
||||
| Ollama | в порядке, 3 модели |
|
||||
| n8n | 4 активных воркфлоу |
|
||||
| Immich | `{"res":"pong"}` |
|
||||
| Отчёты `weekly`/`trust`/`research` | «## Главное» на месте |
|
||||
| Реестр автоматизаций | drift «без изменений», cron.d 49 = 49 |
|
||||
| Ложная заявка #31 | отклонена |
|
||||
| Ошибки в журнале после правок | нет (последние 6 ч — пусто) |
|
||||
|
||||
## Ловушки
|
||||
|
||||
| Ловушка | Что было |
|
||||
|---|---|
|
||||
| фильтр EXT4 | первая попытка совпала с текстом промпта, а не с `NOISE`; проверять по блоку |
|
||||
| `llm_digest` | при отсутствии находок возвращал `""`, а код ждал кортеж → `ValueError: not enough values to unpack` |
|
||||
| `morning-briefing` | дублировал сводку; убран из расписания, скрипт оставлен |
|
||||
| задачи | хранились нормально, но не бэкапились — проверять не «есть ли база», а «попадает ли в копию» |
|
||||
@@ -1,5 +1,5 @@
|
||||
# Реестр автоматизаций Buryans Hub
|
||||
# Сгенерировано: 2026-11-16 17:14 (ops/scripts/build_automations_registry.py)
|
||||
# Сгенерировано: 2026-11-16 18:05 (ops/scripts/build_automations_registry.py)
|
||||
total: 161
|
||||
by_source:
|
||||
cron.d: 49
|
||||
|
||||
@@ -34,6 +34,7 @@ NOISE = (
|
||||
"read-only file system", "name resolution", "openipmi", "postfix",
|
||||
"nfsdcld", "wtmpdb", "grub-common", "org.gnome", "avahi", "bluetooth",
|
||||
"pam_unix", "session opened", "session closed",
|
||||
"write access unavailable, skipping orphan cleanup",
|
||||
)
|
||||
|
||||
|
||||
@@ -167,7 +168,7 @@ def correlations(hours=24, window_min=5):
|
||||
def llm_digest(new, spikes, corr):
|
||||
"""Короткий дайджест локальной моделью (3b → DeepSeek через фолбэк)."""
|
||||
if not (new or spikes or corr):
|
||||
return ""
|
||||
return {}, None
|
||||
facts = []
|
||||
for n, sig, rec in new[:5]:
|
||||
facts.append("НОВАЯ x%d: %s [%s]\n пример: %s"
|
||||
|
||||
Executable
+156
@@ -0,0 +1,156 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Единая утренняя сводка (пункт 1, 16.11.2026).
|
||||
|
||||
Заменяет собой разрозненные утренние сообщения: состояние служб, бэкапы,
|
||||
ночной разбор журналов, задачи владельца, заявки на подтверждение.
|
||||
Одно сообщение в ALERT в 08:00.
|
||||
|
||||
Источники:
|
||||
* /status.json хаба — службы;
|
||||
* systemctl --failed — упавшие юниты;
|
||||
* /var/lib/vz/dump, second_contour.log, ops/audit/snapshot-* — бэкапы;
|
||||
* /var/log/hub/log-digest-YYYY-MM-DD.md — ночной разбор (Фаза 3);
|
||||
* /opt/work-hub/work.db — открытые задачи;
|
||||
* approvals.py list — заявки на подтверждение.
|
||||
|
||||
Запуск:
|
||||
python3 morning_digest.py # собрать и отправить
|
||||
python3 morning_digest.py --dry-run # только напечатать
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sqlite3
|
||||
import subprocess
|
||||
import sys
|
||||
from datetime import date, datetime, timedelta
|
||||
|
||||
HUB = "http://127.0.0.1:9120"
|
||||
NOTIFY = "/opt/buryan-hub/scripts/notify.py"
|
||||
WORK_DB = "/opt/work-hub/work.db"
|
||||
OUT = "/var/log/hub/morning-digest-%s.md" % date.today().isoformat()
|
||||
APPROVALS = "/opt/music-tools/venv/bin/python"
|
||||
|
||||
|
||||
def sh(cmd, timeout=60):
|
||||
try:
|
||||
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
|
||||
return (r.stdout or "").strip()
|
||||
except Exception:
|
||||
return ""
|
||||
|
||||
|
||||
def services():
|
||||
try:
|
||||
import urllib.request as u
|
||||
with u.urlopen(HUB + "/status.json", timeout=15) as r:
|
||||
d = json.loads(r.read())
|
||||
except Exception:
|
||||
return "• Службы: хаб не отвечает", []
|
||||
svc = d.get("services") or []
|
||||
down = [s.get("name") for s in svc if not s.get("up")]
|
||||
if down:
|
||||
return "• Службы: %d из %d, лежат: %s" % (len(svc) - len(down), len(svc),
|
||||
", ".join(down[:6])), down
|
||||
return "• Службы: %d из %d работают" % (len(svc), len(svc)), down
|
||||
|
||||
|
||||
def failed_units():
|
||||
n = sh("systemctl --failed --no-legend --no-pager | wc -l")
|
||||
if not n or n == "0":
|
||||
return "• Упавших юнитов: нет"
|
||||
names = sh("systemctl --failed --no-legend --no-pager | awk '{print $2}' | head -4")
|
||||
return "• Упавшие юниты: %s (%s)" % (n, names.replace("\n", ", "))
|
||||
|
||||
|
||||
def backups():
|
||||
lines = []
|
||||
dump = sh("ls -t /var/lib/vz/dump/*.tar.zst 2>/dev/null | head -1")
|
||||
if dump:
|
||||
age = (datetime.now().timestamp() - os.path.getmtime(dump)) / 3600
|
||||
lines.append("дамп CT %s (%.0f ч)" % (os.path.basename(dump).split("-")[2], age))
|
||||
sn = sorted(glob.glob("/root/buryan-infra/ops/audit/snapshot-*.md"))
|
||||
if sn:
|
||||
lines.append("snapshot %s" % os.path.basename(sn[-1]).replace("snapshot-", "").replace(".md", ""))
|
||||
ver = sh("grep -h 'ИТОГ: баз' /var/log/buryan-hub/backups/verify-backups.log 2>/dev/null | tail -1")
|
||||
if ver:
|
||||
lines.append(re.sub(r"^\[[^]]+\]\s*", "", ver))
|
||||
if not lines:
|
||||
return "• Бэкапы: свежих данных нет"
|
||||
return "• Бэкапы: " + "; ".join(lines)
|
||||
|
||||
|
||||
def log_digest():
|
||||
p = "/var/log/hub/log-digest-%s.md" % date.today().isoformat()
|
||||
if not os.path.exists(p):
|
||||
return "• Ночной разбор: отчёта нет"
|
||||
txt = open(p, encoding="utf-8").read()
|
||||
head = ""
|
||||
m = re.search(r"\*\*(.+?)\*\*", txt)
|
||||
if m:
|
||||
head = m.group(1).strip()
|
||||
counts = ""
|
||||
m2 = re.search(r"новых:\s*(\d+)\s*\|\s*всплесков:\s*(\d+)\s*\|\s*корреляций:\s*(\d+)", txt)
|
||||
if m2:
|
||||
counts = "новых %s, всплесков %s, корреляций %s" % m2.groups()
|
||||
if not head:
|
||||
return "• Ночной разбор: %s" % (counts or "без находок")
|
||||
return "• Ночной разбор: %s%s" % (head, (" (" + counts + ")") if counts else "")
|
||||
|
||||
|
||||
def tasks():
|
||||
try:
|
||||
c = sqlite3.connect("file:%s?mode=ro" % WORK_DB, uri=True)
|
||||
rows = c.execute("select id, text, due from items where status != 'done' "
|
||||
"order by id desc limit 5").fetchall()
|
||||
c.close()
|
||||
except Exception as e:
|
||||
return "• Задачи: база недоступна (%s)" % str(e)[:40]
|
||||
if not rows:
|
||||
return "• Задачи: открытых нет"
|
||||
items = []
|
||||
for i, text, due in rows[:3]:
|
||||
t = re.sub(r"\s+", " ", (text or ""))[:60]
|
||||
items.append("#%s %s%s" % (i, t, (" (до %s)" % due) if due else ""))
|
||||
return "• Задачи (%d): %s" % (len(rows), " · ".join(items))
|
||||
|
||||
|
||||
def approvals():
|
||||
out = sh("%s /opt/hub-agents/approvals.py list 2>/dev/null" % APPROVALS)
|
||||
if not out or "заявок нет" in out:
|
||||
return "• Заявки на подтверждение: нет"
|
||||
lines = [ln for ln in out.splitlines() if ln.startswith("#")]
|
||||
return "• Заявки: %d (ждёт «одобри N»): %s" % (len(lines),
|
||||
"; ".join(lines[:2])[:160])
|
||||
|
||||
|
||||
def errors_night():
|
||||
n = sh("journalctl --since '-24h' -p err --no-pager 2>/dev/null | wc -l")
|
||||
return "• Ошибок в журнале за сутки: %s" % (n or "?")
|
||||
|
||||
|
||||
def main():
|
||||
dry = "--dry-run" in sys.argv
|
||||
sline, _ = services()
|
||||
parts = ["🌅 Утренняя сводка — %s" % date.today().strftime("%d.%m.%Y"), "",
|
||||
sline, failed_units(), backups(), log_digest(),
|
||||
tasks(), approvals(), errors_night()]
|
||||
text = "\n".join(parts)
|
||||
print(text)
|
||||
try:
|
||||
os.makedirs("/var/log/hub", exist_ok=True)
|
||||
open(OUT, "w", encoding="utf-8").write(text + "\n")
|
||||
except Exception:
|
||||
pass
|
||||
if dry:
|
||||
return 0
|
||||
r = subprocess.run([sys.executable, NOTIFY, "--priority", "high",
|
||||
"--title", "Утренняя сводка", text],
|
||||
capture_output=True, text=True, timeout=180)
|
||||
print("\nотправка:", (r.stdout or r.stderr).strip()[:100])
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
Reference in new issue
Block a user