From 46cfb3e80c95fb3d96c52f460298f97bfdcfe39a Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Wed, 18 Nov 2026 11:12:37 +0300 Subject: [PATCH] [INCIDENT] 18.11: pve-guests masked, stale backup lock, journald volatile, restart policy no; fixes + report --- data/dialog/dialog-2026-11-17.md | 3 + data/events/events-2026-11-17.md | 3 + data/wishes/wishes-2026-11-17.md | 120 ++++++++++++++++ ops/INDEX.md | 122 +++++++++------- ops/audit/STANDARD-STATUS.md | 2 +- ops/audit/snapshot-2026-11-18.md | 31 ++++ ops/audits/PVE-CRASH-2026-11-18.md | 60 ++++++++ ops/audits/net-report-2026-11-18.md | 17 +++ ops/audits/night-2026-11-18.md | 25 ++++ ops/automations/registry.yaml | 16 ++- ops/evolution/report-2026-11-18.md | 83 +++++++++++ ops/evolution/research-2026-11-18.md | 33 +++++ ops/hygiene/report-2026-11-18.md | 188 +++++++++++++++++++++++++ ops/night/report-2026-11-18.md | 59 ++++++++ ops/scripts/nic_watchdog.sh | 22 +++ ops/scripts/pve_cleanup_stale_locks.sh | 17 +++ ops/trust/report-2026-11-18.md | 39 +++++ 17 files changed, 786 insertions(+), 54 deletions(-) create mode 100644 data/dialog/dialog-2026-11-17.md create mode 100644 data/events/events-2026-11-17.md create mode 100644 data/wishes/wishes-2026-11-17.md create mode 100644 ops/audit/snapshot-2026-11-18.md create mode 100644 ops/audits/PVE-CRASH-2026-11-18.md create mode 100644 ops/audits/net-report-2026-11-18.md create mode 100644 ops/audits/night-2026-11-18.md create mode 100644 ops/evolution/report-2026-11-18.md create mode 100644 ops/evolution/research-2026-11-18.md create mode 100644 ops/hygiene/report-2026-11-18.md create mode 100644 ops/night/report-2026-11-18.md create mode 100755 ops/scripts/nic_watchdog.sh create mode 100755 ops/scripts/pve_cleanup_stale_locks.sh create mode 100644 ops/trust/report-2026-11-18.md diff --git a/data/dialog/dialog-2026-11-17.md b/data/dialog/dialog-2026-11-17.md new file mode 100644 index 0000000..accaaf2 --- /dev/null +++ b/data/dialog/dialog-2026-11-17.md @@ -0,0 +1,3 @@ +# dialog + +записей: 0 diff --git a/data/events/events-2026-11-17.md b/data/events/events-2026-11-17.md new file mode 100644 index 0000000..322ff7a --- /dev/null +++ b/data/events/events-2026-11-17.md @@ -0,0 +1,3 @@ +# events + +записей: 0 diff --git a/data/wishes/wishes-2026-11-17.md b/data/wishes/wishes-2026-11-17.md new file mode 100644 index 0000000..bff7db6 --- /dev/null +++ b/data/wishes/wishes-2026-11-17.md @@ -0,0 +1,120 @@ +# wishes + +записей: 17 + +## 6142b62696f75e5f +обновлено: 2026-10-23 19:28:30.340791+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 3 +* **текст**: Эти не интересные подскажи тупую американскую комедию типо очень страшного кино + +## bfcc2b4db98ec7d8 +обновлено: 2026-10-23 19:24:18.456461+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 2 +* **текст**: Эти не интересные подскажи тупую американскую комедию типо очень страшного кино + +## f0085c5bb1791665 +обновлено: 2026-10-23 19:23:09.587491+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 1 +* **текст**: Эти не интересные подскажи тупую американскую комедию типо очень страшного кино + +## 912c925de49dcfd5 +обновлено: 2026-10-21 21:15:53.853541+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 4 +* **текст**: Ок + +## 58be02cd2c676000 +обновлено: 2026-10-21 21:14:43.197072+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 3 +* **текст**: Скачай + +## 14f8cf062dc523a1 +обновлено: 2026-10-21 21:13:07.795455+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 2 +* **текст**: Можешь ли ты скачать ферму кларксона + +## 6b1116496ff50806 +обновлено: 2026-10-21 21:12:56.695974+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: infra +* **номер**: 1 +* **текст**: Посмотри есть ли критические проблемы + +## 665bc3b1b8096a07 +обновлено: 2026-10-20 08:36:04.886173+00:00 +* **от**: неизвестно +* **бот**: media +* **номер**: 3 +* **текст**: посоветуй фильм про космос + +## d1449144fbb41ec4 +обновлено: 2026-10-20 08:35:19.767909+00:00 +* **от**: неизвестно +* **бот**: media +* **номер**: 2 +* **текст**: посоветуй фильм про космос + +## d3c1cb8c6803de58 +обновлено: 2026-10-20 08:30:35.819843+00:00 +* **от**: неизвестно +* **бот**: media +* **номер**: 1 +* **текст**: граф + +## 6438d460b153a934 +обновлено: 2026-10-19 18:29:42.601848+00:00 +* **от**: неизвестно +* **бот**: infra +* **номер**: 9 +* **текст**: входящие + +## 4c399eb8d186a040 +обновлено: 2026-10-19 18:28:03.538302+00:00 +* **от**: неизвестно +* **бот**: infra +* **номер**: 8 +* **текст**: входящие + +## 206625a9dc2ef302 +обновлено: 2026-10-19 18:26:35.573683+00:00 +* **от**: неизвестно +* **бот**: infra +* **номер**: 7 +* **текст**: входящие + +## 7c71ec9ef6710266 +обновлено: 2026-10-19 18:26:07.531245+00:00 +* **от**: неизвестно +* **бот**: infra +* **номер**: 6 +* **текст**: входящие + +## 7bd8e6589111cdcf +обновлено: 2026-10-19 17:13:05.235512+00:00 +* **от**: @polina:matrix.buryans.ru +* **бот**: media +* **номер**: 5 +* **текст**: хочу сериал про космос + +## wish-002 +обновлено: 2026-10-19 17:11:24.853757+00:00 +* **от**: Сергей +* **бот**: cam +* **текст**: добавить камеры во двор + +## wish-001 +обновлено: 2026-10-19 17:11:24.834397+00:00 +* **от**: Полина +* **бот**: media +* **текст**: хочу мультфильмы про кота diff --git a/ops/INDEX.md b/ops/INDEX.md index 0951908..a2be51b 100644 --- a/ops/INDEX.md +++ b/ops/INDEX.md @@ -1,6 +1,6 @@ # Индекс документации -Сгенерировано: 2026-11-17 06:50 · файлов: **771** · генератор: `ops/scripts/build_docs_index.py` +Сгенерировано: 2026-11-18 10:54 · файлов: **812** · генератор: `ops/scripts/build_docs_index.py` Навигация по каталогам. Свежие файлы — сверху. @@ -69,11 +69,13 @@ | [SMART.md](ops/agents/SMART.md) | Умные секретари | 21.10 | | [SWARM.md](ops/agents/SWARM.md) | Рой агентов: где он и когда включается | 21.10 | -## ops/audit — 61 файлов (8 за неделю) +## ops/audit — 63 файлов (8 за неделю) | Документ | О чём | Изменён | |---|---|---| -| [STANDARD-STATUS.md](ops/audit/STANDARD-STATUS.md) | Соответствие единому стандарту | 17.11 | +| [snapshot-2026-11-18.md](ops/audit/snapshot-2026-11-18.md) | Снимок состояния: 2026-11-18 | 18.11 | +| [STANDARD-STATUS.md](ops/audit/STANDARD-STATUS.md) | Соответствие единому стандарту | 18.11 | +| [snapshot-2026-11-17.md](ops/audit/snapshot-2026-11-17.md) | Снимок состояния: 2026-11-17 | 17.11 | | [snapshot-2026-11-16.md](ops/audit/snapshot-2026-11-16.md) | 📸 Снимок состояния системы: 2026-11-16 09:00 | 16.11 | | [snapshot-2026-11-15.md](ops/audit/snapshot-2026-11-15.md) | Снимок состояния: 2026-11-15 | 15.11 | | [snapshot-2026-11-14.md](ops/audit/snapshot-2026-11-14.md) | Снимок состояния: 2026-11-14 | 14.11 | @@ -111,14 +113,42 @@ | [snapshot-2026-10-17.md](ops/audit/snapshot-2026-10-17.md) | 📸 Снимок состояния системы: 2026-10-17 09:00 | 17.10 | | [snapshot-2026-10-16.md](ops/audit/snapshot-2026-10-16.md) | 📸 Снимок состояния системы: 2026-10-16 20:14 | 16.10 | | [snapshot-2026-10-15.md](ops/audit/snapshot-2026-10-15.md) | 📸 Снимок состояния системы: 2026-10-15 09:00 | 15.10 | -| [SPRINT-F6-PLAN-v2.md](ops/audit/SPRINT-F6-PLAN-v2.md) | 🚀 СПРИНТ F6 v2: Safe Updates & Self-Service (дни 31-38) | 14.10 | -| [RETROSPECTIVE-F6.md](ops/audit/RETROSPECTIVE-F6.md) | Ретроспектива спринта F6 | 14.10 | -| … ещё 21 | | | +| … ещё 23 | | | -## ops/audits — 41 файлов (41 за неделю) +## ops/audits — 71 файлов (71 за неделю) | Документ | О чём | Изменён | |---|---|---| +| [DEEP-AUDIT-20261117-2048.md](ops/audits/DEEP-AUDIT-20261117-2048.md) | Глубокий аудит Buryans Hub (LLM, 17.11.2026 20:48) | 17.11 | +| [DEEP-AUDIT-20261117-2046.md](ops/audits/DEEP-AUDIT-20261117-2046.md) | Глубокий аудит Buryans Hub (LLM, 17.11.2026 20:46) | 17.11 | +| [NIGHT-SPRINT-2026-11-17.md](ops/audits/NIGHT-SPRINT-2026-11-17.md) | Ночной спринт (17.11.2026) | 17.11 | +| [OPENCLAW-GUARD-2026-11-17.md](ops/audits/OPENCLAW-GUARD-2026-11-17.md) | OpenClaw guard: самовосстановление после state-lock (17.11.2026) | 17.11 | +| [EVAL-FINAL-2026-11-17.md](ops/audits/EVAL-FINAL-2026-11-17.md) | Secretary Eval — финальный прогон (17.11.2026) | 17.11 | +| [EVAL-2026-11-17.md](ops/audits/EVAL-2026-11-17.md) | Secretary Eval — 50 сценариев (17.11.2026) | 17.11 | +| [JELLYFIN-FIX-2026-11-17.md](ops/audits/JELLYFIN-FIX-2026-11-17.md) | Jellyfin: ключ и media.recent (17.11.2026) | 17.11 | +| [AUDIT-LEDGER-2026-11-17.md](ops/audits/AUDIT-LEDGER-2026-11-17.md) | Audit Ledger: аудит Tool Gateway в Postgres (17.11.2026) | 17.11 | +| [P0-BOOKS-POLINA-2026-11-17.md](ops/audits/P0-BOOKS-POLINA-2026-11-17.md) | P0: книги, Polina, свет (17.11.2026) | 17.11 | +| [P0-CONTINUE-2026-11-17.md](ops/audits/P0-CONTINUE-2026-11-17.md) | P0 продолжение: книги, медиа, лимиты (17.11.2026) | 17.11 | +| [EVENING-SPRINT-2026-11-17.md](ops/audits/EVENING-SPRINT-2026-11-17.md) | Вечерний спринт: P0 и ускорение LLM (17.11.2026) | 17.11 | +| [P0-TOOLS-2026-11-17.md](ops/audits/P0-TOOLS-2026-11-17.md) | P0-инструменты: ha.search, media.search, media.request (17.11.2026) | 17.11 | +| [LLM-TOOL-AUDIT-2026-11-17.md](ops/audits/LLM-TOOL-AUDIT-2026-11-17.md) | LLM-аудит Tool Gateway (предложение, требует проверки) | 17.11 | +| [TOOL-GATEWAY-MCP-2026-11-17.md](ops/audits/TOOL-GATEWAY-MCP-2026-11-17.md) | Tool Gateway + MCP: интеграция с секретарём (17.11.2026) | 17.11 | +| [TOOL-GATEWAY-2026-11-17.md](ops/audits/TOOL-GATEWAY-2026-11-17.md) | Tool Gateway — типизированные инструменты (17.11.2026) | 17.11 | +| [LLM-CAPABILITY-RESULTS-2026-11-17.md](ops/audits/LLM-CAPABILITY-RESULTS-2026-11-17.md) | Возможности LLM: замеры и протокол (17.11.2026) | 17.11 | +| [LLM-ACCEL-TRACK-2026-11-17.md](ops/audits/LLM-ACCEL-TRACK-2026-11-17.md) | Отдельный трек: ускорение локальной LLM (17.11.2026) | 17.11 | +| [SECRETARY-BETA-LAUNCH-2026-11-17.md](ops/audits/SECRETARY-BETA-LAUNCH-2026-11-17.md) | Секретарь Бета на OpenClaw — запуск (17.11.2026) | 17.11 | +| [CONVENIENCE-2026-11-17.md](ops/audits/CONVENIENCE-2026-11-17.md) | Удобство взаимодействия: секретари, календарь, фото, Android (17.11.20 | 17.11 | +| [SYSTEM-WORK-MEDIA-2026-11-17.md](ops/audits/SYSTEM-WORK-MEDIA-2026-11-17.md) | Систематизация: работа, медиа, инфраструктура (17.11.2026) | 17.11 | +| [N8N-CONVENIENCE-MAP-2026-11-17.md](ops/audits/N8N-CONVENIENCE-MAP-2026-11-17.md) | n8n: карта удобства и реальный предел (17.11.2026) | 17.11 | +| [N8N-AUDIT-ARCH-2026-11-17.md](ops/audits/N8N-AUDIT-ARCH-2026-11-17.md) | n8n: полный аудит и архитектура (17.11.2026) | 17.11 | +| [N8N-ROADMAP-2026-11-17.md](ops/audits/N8N-ROADMAP-2026-11-17.md) | Что n8n может делать: анализ и roadmap (17.11.2026) | 17.11 | +| [ROLES-HERMES-N8N-2026-11-17.md](ops/audits/ROLES-HERMES-N8N-2026-11-17.md) | Кто за что отвечает: Hermes и n8n (17.11.2026) | 17.11 | +| [N8N-RESTORED-2026-11-17.md](ops/audits/N8N-RESTORED-2026-11-17.md) | Исправление: n8n возвращён в строй (17.11.2026) | 17.11 | +| [THREE-TASKS-N8N-2026-11-17.md](ops/audits/THREE-TASKS-N8N-2026-11-17.md) | Три задачи + n8n-алерты (17.11.2026) | 17.11 | +| [DIGEST-BACKUPS-2026-11-17.md](ops/audits/DIGEST-BACKUPS-2026-11-17.md) | Утренняя сводка и мониторинг бэкапов (17.11.2026) | 17.11 | +| [SSH-229-2026-11-17.md](ops/audits/SSH-229-2026-11-17.md) | SSH-доступ к 229 (Ollama): сделано (17.11.2026) | 17.11 | +| [PG-RAG-2026-11-17.md](ops/audits/PG-RAG-2026-11-17.md) | Postgres-мониторинг и батчевые эмбеддинги (17.11.2026) | 17.11 | +| [night-2026-11-17.md](ops/audits/night-2026-11-17.md) | Ночь: связь до VDS (2026-11-17) | 17.11 | | [NIGHT-SPRINT-AUDIT-2026-11-16.md](ops/audits/NIGHT-SPRINT-AUDIT-2026-11-16.md) | Ночной спринт: аудит дня и бутылочные горлышки (16.11.2026) | 16.11 | | [REMAINING-PROBLEMS-2026-11-16.md](ops/audits/REMAINING-PROBLEMS-2026-11-16.md) | Аудит проблем (16.11.2026, вечер) | 16.11 | | [CF-TUNNEL-SYNC-2026-11-16.md](ops/audits/CF-TUNNEL-SYNC-2026-11-16.md) | Быстрый Cloudflare-туннель: автообновление (16.11.2026) | 16.11 | @@ -129,37 +159,13 @@ | [THREE-ITEMS-2026-11-16.md](ops/audits/THREE-ITEMS-2026-11-16.md) | Три пункта: единая сводка, бэкап задач, EXT4 (16.11.2026) | 16.11 | | [PHASE5-SCHEDULES-2026-11-16.md](ops/audits/PHASE5-SCHEDULES-2026-11-16.md) | Фаза 5: унификация расписаний (16.11.2026) | 16.11 | | [BOTS-LOCAL-HS-2026-11-16.md](ops/audits/BOTS-LOCAL-HS-2026-11-16.md) | Боты: локальный Synapse вместо публичного домена (16.11.2026) | 16.11 | -| [PHASE4-REPORTS-2026-11-16.md](ops/audits/PHASE4-REPORTS-2026-11-16.md) | Фаза 4: LLM в отчётах (16.11.2026) | 16.11 | -| [PHASE3-LOGS-2026-11-16.md](ops/audits/PHASE3-LOGS-2026-11-16.md) | Фаза 3: ночной разбор журналов по сигнатурам (16.11.2026) | 16.11 | -| [PHASE2-RCA-HUMAN-2026-11-16.md](ops/audits/PHASE2-RCA-HUMAN-2026-11-16.md) | Фаза 2: RCA инцидента + очеловечивание секретарей (16.11.2026) | 16.11 | -| [PHASE1-TRIAGE-2026-11-16.md](ops/audits/PHASE1-TRIAGE-2026-11-16.md) | Фаза 1: LLM-триаж алертов (16.11.2026) | 16.11 | -| [PHASE0-QUIET-2026-11-16.md](ops/audits/PHASE0-QUIET-2026-11-16.md) | Фаза 0: убрали ложные тревоги и подготовили LLM-фолбэк (16.11.2026) | 16.11 | -| [AUTOMATION-LLM-AUDIT-2026-11-16.md](ops/audits/AUTOMATION-LLM-AUDIT-2026-11-16.md) | Аудит автоматизации и LLM (16.11.2026) | 16.11 | -| [night-2026-11-16.md](ops/audits/night-2026-11-16.md) | Ночь: связь до VDS (2026-11-16) | 16.11 | -| [BACKUP-VERIFY-FULL-2026-11-15.md](ops/audits/BACKUP-VERIFY-FULL-2026-11-15.md) | Проверка бэкапов: все базы, а не 7 (ночной спринт, 15.11.2026) | 15.11 | -| [LOGS-ANALYSIS-2026-11-15.md](ops/audits/LOGS-ANALYSIS-2026-11-15.md) | Анализ логов: что нашлось и что исправлено (15.11.2026) | 15.11 | -| [MATRIX-BOTS-AUDIT-2026-11-15.md](ops/audits/MATRIX-BOTS-AUDIT-2026-11-15.md) | Аудит Matrix-ботов и наведение порядка (15.11.2026) | 15.11 | -| [night-2026-11-15.md](ops/audits/night-2026-11-15.md) | Ночь: связь до VDS (2026-11-15) | 15.11 | -| [HITROLINK-OEM-HITRY-2026-11-14.md](ops/audits/HITROLINK-OEM-HITRY-2026-11-14.md) | Официальный производитель Hitrolink найден: Hitry (14.11.2026) | 14.11 | -| [VENDOR-DOC-SOURCES-2026-11-14.md](ops/audits/VENDOR-DOC-SOURCES-2026-11-14.md) | Где искать документацию вендоров: разбор источников и API (14.11.2026) | 14.11 | -| [AVICON-DISTRIBUTOR-2026-11-14.md](ops/audits/AVICON-DISTRIBUTOR-2026-11-14.md) | Avicon: дистрибьютор Hitrolink, PDF добавлены (14.11.2026) | 14.11 | -| [net-report-2026-11-14.md](ops/audits/net-report-2026-11-14.md) | Связь за 2026-11-14 | 14.11 | -| [night-2026-11-14.md](ops/audits/night-2026-11-14.md) | Ночь: связь до VDS (2026-11-14) | 14.11 | -| [HITROLINK-DISTRIBUTOR-2026-11-13.md](ops/audits/HITROLINK-DISTRIBUTOR-2026-11-13.md) | Hitrolink: даташиты с дистрибьютора + пометка источника (13.11.2026) | 13.11 | -| [HITROLINK-QUEUE-2026-11-13.md](ops/audits/HITROLINK-QUEUE-2026-11-13.md) | Hitrolink добавлен в очередь LLM (13.11.2026) | 13.11 | -| [LLM-COMBINE-STATUS-2026-11-13.md](ops/audits/LLM-COMBINE-STATUS-2026-11-13.md) | LLM и Комбайн: статус на 13.11.2026, 16:40 | 13.11 | -| [REBOOT-MEASURE-2026-11-13.md](ops/audits/REBOOT-MEASURE-2026-11-13.md) | Перезагрузка и замеры (13.11.2026, 14:00–14:35) | 13.11 | -| [VERIFY-AFTER-FIXES-2026-11-13.md](ops/audits/VERIFY-AFTER-FIXES-2026-11-13.md) | Проверка после правок (13.11.2026, 13:40) | 13.11 | -| [REMARKS-CLOSED-2026-11-13.md](ops/audits/REMARKS-CLOSED-2026-11-13.md) | Замечания закрыты (13.11.2026, после зависания) | 13.11 | -| [SMR-ARCHIVE-LIMITS.md](ops/audits/SMR-ARCHIVE-LIMITS.md) | Бэкапы и SMR-диск: без NVMe (13.11.2026) | 13.11 | -| [HANG-2026-11-13.md](ops/audits/HANG-2026-11-13.md) | Разбор зависания хоста 13.11.2026 и что исправлено | 13.11 | -| [night-2026-11-13.md](ops/audits/night-2026-11-13.md) | Ночь: связь до VDS (2026-11-13) | 13.11 | -| [net-report-2026-11-13.md](ops/audits/net-report-2026-11-13.md) | Связь за 2026-11-13 | 13.11 | -| [night-2026-11-12.md](ops/audits/night-2026-11-12.md) | Ночь: связь до VDS (2026-11-12) | 12.11 | -| [net-report-2026-11-12.md](ops/audits/net-report-2026-11-12.md) | Связь за 2026-11-12 | 12.11 | -| [STABILITY-VPN-MATRIX.md](ops/audits/STABILITY-VPN-MATRIX.md) | Что реально влияет на устойчивость VPN и Matrix (12.11.2026) | 12.11 | -| [README-DEEP-AUDIT.md](ops/audits/README-DEEP-AUDIT.md) | Глубокий аудит после LLM: как запускается и что уже нашёл (12.11.2026) | 12.11 | -| … ещё 1 | | | +| … ещё 31 | | | + +## ops/audits/eval/2026-11-17 — 1 файлов (1 за неделю) + +| Документ | О чём | Изменён | +|---|---|---| +| [summary.md](ops/audits/eval/2026-11-17/summary.md) | Secretary Eval — 2026-11-17 | 17.11 | ## ops/auth — 5 файлов (0 за неделю) @@ -244,10 +250,13 @@ |---|---|---| | [DIGEST.md](ops/digest/DIGEST.md) | Дайджест «Что нового» | 21.10 | -## ops/evolution — 25 файлов (14 за неделю) +## ops/evolution — 28 файлов (13 за неделю) | Документ | О чём | Изменён | |---|---|---| +| [report-2026-11-18.md](ops/evolution/report-2026-11-18.md) | Отчёт развития — 2026-11-18 | 18.11 | +| [research-2026-11-17.md](ops/evolution/research-2026-11-17.md) | Живое исследование альтернатив — 2026-11-17 | 17.11 | +| [report-2026-11-17.md](ops/evolution/report-2026-11-17.md) | Отчёт развития — 2026-11-17 | 17.11 | | [research-2026-11-16.md](ops/evolution/research-2026-11-16.md) | Живое исследование альтернатив — 2026-11-16 | 16.11 | | [report-2026-11-16.md](ops/evolution/report-2026-11-16.md) | Отчёт развития — 2026-11-16 | 16.11 | | [research-2026-11-15.md](ops/evolution/research-2026-11-15.md) | Живое исследование альтернатив — 2026-11-15 | 15.11 | @@ -324,10 +333,11 @@ | [README-2026-09.md](ops/history/legacy-hub/README-2026-09.md) | 🏰 Buryan Hub — Self-Healing Home Infrastructure | 06.11 | | [CONTEXT-2026-09.md](ops/history/legacy-hub/CONTEXT-2026-09.md) | 🤖 Контекст для AI-агентов | 06.11 | -## ops/home — 25 файлов (3 за неделю) +## ops/home — 26 файлов (3 за неделю) | Документ | О чём | Изменён | |---|---|---| +| [FAMILY-ONBOARDING.md](ops/home/FAMILY-ONBOARDING.md) | Онбординг семьи Buryans Hub | 17.11 | | [WIFI-FIX-2026-11-12.md](ops/home/WIFI-FIX-2026-11-12.md) | Wi-Fi дома: разбор и правки (12.11.2026) | 12.11 | | [KEENETIC-ACCESS.md](ops/home/KEENETIC-ACCESS.md) | Keenetic: доступ есть, но пароль не подходит (12.11.2026) | 12.11 | | [HA-SSO.md](ops/home/HA-SSO.md) | Home Assistant: SSO включён (10.11.2026) | 10.11 | @@ -408,7 +418,7 @@ | [INTEGRATIONS.md](ops/homeassistant/INTEGRATIONS.md) | Home Assistant: что подключено и как | 20.10 | | [FRIGATE.md](ops/homeassistant/FRIGATE.md) | Frigate в Home Assistant | 19.10 | -## ops/hub — 26 файлов (17 за неделю) +## ops/hub — 26 файлов (1 за неделю) | Документ | О чём | Изменён | |---|---|---| @@ -477,10 +487,11 @@ | [SELFTEST.md](ops/hub-core/llm/SELFTEST.md) | Проверка LLM-адаптера на фразах | 19.10 | | [README.md](ops/hub-core/llm/README.md) | LLM-адаптер | 19.10 | -## ops/hygiene — 13 файлов (7 за неделю) +## ops/hygiene — 14 файлов (6 за неделю) | Документ | О чём | Изменён | |---|---|---| +| [report-2026-11-17.md](ops/hygiene/report-2026-11-17.md) | Гигиенический отчёт — 2026-11-17 | 17.11 | | [report-2026-11-16.md](ops/hygiene/report-2026-11-16.md) | Гигиенический отчёт — 2026-11-16 | 16.11 | | [report-2026-11-15.md](ops/hygiene/report-2026-11-15.md) | Гигиенический отчёт — 2026-11-15 | 15.11 | | [report-2026-11-14.md](ops/hygiene/report-2026-11-14.md) | Гигиенический отчёт — 2026-11-14 | 14.11 | @@ -495,7 +506,7 @@ | [report-2026-11-05.md](ops/hygiene/report-2026-11-05.md) | Гигиенический отчёт — 2026-11-05 | 06.11 | | [DEEP-ANALYSIS-2026-11-06.md](ops/hygiene/DEEP-ANALYSIS-2026-11-06.md) | Глубокий анализ контейнеров — 2026-11-06 | 06.11 | -## ops/incidents — 7 файлов (3 за неделю) +## ops/incidents — 7 файлов (0 за неделю) | Документ | О чём | Изменён | |---|---|---| @@ -507,7 +518,7 @@ | [2026-11-09-NETWORK-DIAGNOSIS.md](ops/incidents/2026-11-09-NETWORK-DIAGNOSIS.md) | Сетевые проблемы 09.11.2026 — итоговый разбор | 09.11 | | [2026-10-30-VPS-AND-HA.md](ops/incidents/2026-10-30-VPS-AND-HA.md) | Разбор сбоев 30.10.2026: VPS, 403 в HA, Matrix-боты, бэкапы | 06.11 | -## ops/infra — 3 файлов (1 за неделю) +## ops/infra — 3 файлов (0 за неделю) | Документ | О чём | Изменён | |---|---|---| @@ -664,7 +675,7 @@ |---|---|---| | [APPS.md](ops/nextcloud/APPS.md) | Nextcloud: приложения | 20.10 | -## ops/night — 12 файлов (7 за неделю) +## ops/night — 12 файлов (6 за неделю) | Документ | О чём | Изменён | |---|---|---| @@ -690,6 +701,12 @@ | [ROUTER.md](ops/notify/ROUTER.md) | Маршрутизатор уведомлений | 21.10 | | [README.md](ops/notify/README.md) | Единый слой уведомлений | 15.10 | +## ops/openclaw — 1 файлов (1 за неделю) + +| Документ | О чём | Изменён | +|---|---|---| +| [USE-CASES.md](ops/openclaw/USE-CASES.md) | OpenClaw: где ещё можно задействовать | 17.11 | + ## ops/ops — 45 файлов (0 за неделю) | Документ | О чём | Изменён | @@ -790,7 +807,7 @@ | [WEEKLY-2026-W44.md](ops/reports/WEEKLY-2026-W44.md) | Недельный отчёт 2026-W44 | 06.11 | | [WEEKLY-2026-W43.md](ops/reports/WEEKLY-2026-W43.md) | Недельный отчёт 2026-W43 | 25.10 | -## ops/research — 5 файлов (5 за неделю) +## ops/research — 5 файлов (1 за неделю) | Документ | О чём | Изменён | |---|---|---| @@ -925,7 +942,7 @@ |---|---|---| | [vault-sso-fix-report.md](ops/sprintB/vault-sso-fix-report.md) | Vaultwarden SSO Fix — Report | 25.09 | -## ops/sso — 25 файлов (10 за неделю) +## ops/sso — 25 файлов (1 за неделю) | Документ | О чём | Изменён | |---|---|---| @@ -1003,6 +1020,12 @@ |---|---|---| | [README.md](ops/sso/2026-10-19-vecher/README.md) | Второй заход по двойному входу (19.10.2026, вечер) | 19.10 | +## ops/tasks — 1 файлов (1 за неделю) + +| Документ | О чём | Изменён | +|---|---|---| +| [NIGHT-BACKLOG-2026-11-17.md](ops/tasks/NIGHT-BACKLOG-2026-11-17.md) | Ночной backlog — 17.11.2026 | 17.11 | + ## ops/telegram — 1 файлов (0 за неделю) | Документ | О чём | Изменён | @@ -1025,10 +1048,11 @@ |---|---|---| | [ledger.md](ops/topology/ledger.md) | Лёджер сервисов (V1, Фаза A) | 06.11 | -## ops/trust — 12 файлов (7 за неделю) +## ops/trust — 13 файлов (6 за неделю) | Документ | О чём | Изменён | |---|---|---| +| [report-2026-11-17.md](ops/trust/report-2026-11-17.md) | Статистика доверия агента — 2026-11-17 | 17.11 | | [report-2026-11-16.md](ops/trust/report-2026-11-16.md) | Статистика доверия агента — 2026-11-16 | 16.11 | | [report-2026-11-15.md](ops/trust/report-2026-11-15.md) | Статистика доверия агента — 2026-11-15 | 15.11 | | [report-2026-11-14.md](ops/trust/report-2026-11-14.md) | Статистика доверия агента — 2026-11-14 | 14.11 | @@ -1076,7 +1100,7 @@ | [WHY-HIDDIFY-FAILS.md](ops/vpn/WHY-HIDDIFY-FAILS.md) | Почему Hiddify часто не подключается — разбор (12.11.2026) | 12.11 | | [VPN-STAGE1-IMPLEMENTATION.md](ops/vpn/VPN-STAGE1-IMPLEMENTATION.md) | VPN Этап 1 — мобильный доступ: что сделано | 16.10 | -## ops/weekly — 3 файлов (2 за неделю) +## ops/weekly — 3 файлов (1 за неделю) | Документ | О чём | Изменён | |---|---|---| diff --git a/ops/audit/STANDARD-STATUS.md b/ops/audit/STANDARD-STATUS.md index fb9b534..8827e8a 100644 --- a/ops/audit/STANDARD-STATUS.md +++ b/ops/audit/STANDARD-STATUS.md @@ -1,5 +1,5 @@ # Соответствие единому стандарту -Обновлено: 2026-11-17 04:40 +Обновлено: 2026-11-18 10:53 /opt/work-hub/venv/bin/python: can't open file '/tmp/standard_check.py': [Errno 2] No such file or directory diff --git a/ops/audit/snapshot-2026-11-18.md b/ops/audit/snapshot-2026-11-18.md new file mode 100644 index 0000000..f7d388f --- /dev/null +++ b/ops/audit/snapshot-2026-11-18.md @@ -0,0 +1,31 @@ +# Снимок состояния: 2026-11-18 + +_Автоматически, 10:53._ + +## Сервисы + +| Показатель | Значение | +|---|---| +| Сервисы | **?/?** | +| Активных алертов | ? | +| CT / VM | 30 / 1 | + +## Ресурсы + +| Показатель | Значение | +|---|---| +| RAM | 3256/15754 МБ | +| Своп | 0/32453 МБ | +| Диск / | 44G из 109G (42%) | + +## Бэкапы + +| Что | Значение | +|---|---| +| vzdump | 8.4 ч назад | +| Дампы баз | 43 файлов | +| Конфиги | 8 архивов | + +## Версия + +Коммит: `4608770 [OPENCLAW] Data classification policy, docs.search tool, use-cases map (ops analyst, knowledge, family, media, weekly review)` diff --git a/ops/audits/PVE-CRASH-2026-11-18.md b/ops/audits/PVE-CRASH-2026-11-18.md new file mode 100644 index 0000000..455d782 --- /dev/null +++ b/ops/audits/PVE-CRASH-2026-11-18.md @@ -0,0 +1,60 @@ +# Инцидент 18.11.2026: хост включён, но хаб недоступен + +## Симптомы + +- 18.11 ~10:40 Proxmox (`192.168.1.10`) не отвечал: ping/8006/WireGuard — нет. +- После перезагрузки хост поднялся, но **большинство CT остались stopped**. +- `pct list`: работали только 106,107,108,114,140,151,155; остальные — stopped. +- Hub: 74 сервиса, **10 down** (netbox, book-bot, kavita, paperless и др.). + +## Найденные причины + +1. **`pve-guests.service` был замаскирован.** + `systemctl status pve-guests` → `masked`. + Поэтому onboot-CT не стартовали после ребута. Это и есть главная ошибка. + Исправлено: + ``` + systemctl unmask pve-guests.service + systemctl enable pve-guests.service + ``` + Плюс `onboot: 1` для CT114 (Authentik) и CT115 (OpenClaw) — у них его не было. + +2. **Stale backup-lock на CT115.** + `pct start 115` → `CT is locked (backup)`; lock остался после аварии. + Исправлено: `pct unlock 115`; добавлен `pve-cleanup-stale-locks.service` + (Before=pve-guests, снимает lock, если нет процесса vzdump). + +3. **journald не писал на диск.** + `journalctl --list-boots` не содержал аварийную загрузку; + текущая запись шла в `/run/log`. Поэтому причину зависания не сохранили. + Исправлено: `Storage=persistent`, `journalctl --flush`; + проверка: `File path: /var/log/journal/...`. + +4. **Docker restart policy = no** у netbox/book-bot/kavita. + После старта CT контейнеры не поднимались. Исправлено: + `docker update --restart unless-stopped`. + +## Что ещё сделано + +- Запущены все CT и недостающие контейнеры; **Hub 74/74, down: []**. +- `nic-watchdog.timer`: если шлюз недоступен 5 минут — reset `nic0` (e1000e), + лог `/var/log/nic-watchdog.log`. +- Проверены `hub-core`, `hermes`, `tool-gateway` — active. + +## Что осталось неизвестным + +Почему хост был включён, но недоступен по сети — **точная причина не доказана**: +аварийная загрузка не сохранилась из-за journald. Возможные варианты: +зависание e1000e/ядра или сетевое зависание. Теперь: +- журнал persistent — следующая авария будет видна; +- NIC-watchdog перезапускает линк; +- `pve-guests` больше не маскируется. + +## Проверка + +``` +pct list # все running +curl 9120/status.json → total 74, down [] +systemctl is-enabled pve-guests pve-cleanup-stale-locks +journalctl --header | grep File path → /var/log/journal/... +``` diff --git a/ops/audits/net-report-2026-11-18.md b/ops/audits/net-report-2026-11-18.md new file mode 100644 index 0000000..ff830b6 --- /dev/null +++ b/ops/audits/net-report-2026-11-18.md @@ -0,0 +1,17 @@ +# Связь за 2026-11-18 + +Замеров: **2** (раз в минуту). + +| Участок | Сбоев | Из замеров | +|---|---|---| +| Шлюз (Wi-Fi/роутер) | 1 | 2 | +| DNS | 0 | 2 | +| VPS: TCP 443 | 0 | 2 | +| VPS: TLS (Reality-порт) | 0 | 2 | + +Шлюз: средний RTT **0.3 мс**, максимум 0.3 мс. +VPS: средний коннект **48 мс**, максимум 49 мс. + +## Когда рвался шлюз (первые 20) + +- 10:53:19 — потерь 100% diff --git a/ops/audits/night-2026-11-18.md b/ops/audits/night-2026-11-18.md new file mode 100644 index 0000000..8ab5396 --- /dev/null +++ b/ops/audits/night-2026-11-18.md @@ -0,0 +1,25 @@ +# Ночь: связь до VDS (2026-11-18) + +## Общий канал + +| Проверка | Сбоев | Из | +|---|---|---| +| Шлюз | 1 | 2 | +| TCP до VDS | 0 | 2 | +| TLS до VDS | 0 | 2 | + +## Путь + +Замеров: **3**, сбоев: **3** + +- 10:53:19 порты=['443'] туннель=False +- 10:54:04 порты=ok туннель=False +- 10:54:42 порты=ok туннель=False +## Wi-Fi + +Замеров: **1**. Последний: канал 2.4 = None, клиентов = 4. + +- f8:17:2d:cf:e7:ab 2.4 ГГц tx=72 RSSI=-68 +- 3c:0b:4f:cb:58:c8 5 ГГц tx=433 RSSI=-63 +- f2:8d:6a:88:95:db 5 ГГц tx=1201 RSSI=-41 +- 86:cf:b0:44:aa:98 5 ГГц tx=720 RSSI=-71 diff --git a/ops/automations/registry.yaml b/ops/automations/registry.yaml index fd085dc..23b4007 100644 --- a/ops/automations/registry.yaml +++ b/ops/automations/registry.yaml @@ -1,11 +1,11 @@ # Реестр автоматизаций Buryans Hub -# Сгенерировано: 2026-11-17 18:26 (ops/scripts/build_automations_registry.py) -total: 169 +# Сгенерировано: 2026-11-18 10:56 (ops/scripts/build_automations_registry.py) +total: 177 by_source: cron.d: 49 crontab: 15 - hermes: 62 - systemd: 43 + hermes: 69 + systemd: 44 items: - {"source": "crontab", "line": "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"} - {"source": "crontab", "line": "0 2 * * * /opt/buryan-hub/scripts/pg-backup-ct151.sh >> /var/log/buryan-hub/backups/cron-pg.log 2>&1"} @@ -103,6 +103,7 @@ items: - {"source": "systemd", "timer": "llm-night-stop.timer", "schedule": "*-*-*", "unit": "llm-night-stop.service"} - {"source": "systemd", "timer": "logrotate.timer", "schedule": "*-*-*", "unit": "logrotate.service"} - {"source": "systemd", "timer": "man-db.timer", "schedule": "*-*-*", "unit": "man-db.service"} +- {"source": "systemd", "timer": "openclaw-guard.timer", "schedule": "1min", "unit": "openclaw-guard.service"} - {"source": "systemd", "timer": "prometheus-node-exporter-apt.timer", "schedule": "15min", "unit": "prometheus-node-exporter-apt.service"} - {"source": "systemd", "timer": "prometheus-node-exporter-ipmitool-sensor.timer", "schedule": "1min", "unit": "prometheus-node-exporter-ipmitool-sensor.service"} - {"source": "systemd", "timer": "prometheus-node-exporter-mellanox-hca-temp.timer", "schedule": "1min", "unit": "prometheus-node-exporter-mellanox-hca-temp.service"} @@ -176,3 +177,10 @@ items: - {"source": "hermes", "job": "gitea-selfheal", "schedule": "every 300s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/gitea_selfheal.py"} - {"source": "hermes", "job": "path-monitor-light", "schedule": "every 300s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/path_monitor_light.py"} - {"source": "hermes", "job": "git-push", "schedule": "every 1800s", "command": "/bin/bash /root/buryan-infra/ops/scripts/git_push.sh"} +- {"source": "hermes", "job": "secretary-eval", "schedule": "every 604800s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/secretary_eval.py --min-score 45"} +- {"source": "hermes", "job": "secretary-brief", "schedule": "every 86400s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/secretary_brief.py"} +- {"source": "hermes", "job": "audit-report", "schedule": "every 86400s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/audit_report.py"} +- {"source": "hermes", "job": "deep-audit", "schedule": "every 604800s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/deep_audit.py"} +- {"source": "hermes", "job": "alert-digest", "schedule": "every 300s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/alert_digest.py"} +- {"source": "hermes", "job": "secret-watcher", "schedule": "every 60s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/secret_watcher.py"} +- {"source": "hermes", "job": "openclaw-fallback", "schedule": "every 120s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/openclaw_fallback.py"} diff --git a/ops/evolution/report-2026-11-18.md b/ops/evolution/report-2026-11-18.md new file mode 100644 index 0000000..ed2a9c5 --- /dev/null +++ b/ops/evolution/report-2026-11-18.md @@ -0,0 +1,83 @@ +# Отчёт развития — 2026-11-18 + +Автоматический анализ: реестр сервисов + граф зависимостей + гигиена + лёджер RAM. + +## Инвентарь (факты) + +| Метрика | Значение | +|---|---| +| Сервисов в реестре | 127 | +| Гостей (CT) | 33 | +| Контейнеров | 114 | +| Доменов | 40 | +| Баз данных | 43 | +| Узлов в графе | 294 | +| Рёбер в графе | 290 | + +## 1. RETIRE — кандидаты на вывод + +| Сервис | Критичность | Зависимых | RAM | +|---|---|---|---| +| `paperless` | normal | 0 | 516 МиБ | +| `n8n` | normal | 0 | 307 МиБ | + +**Что это значит:** у сервиса нет зависимых в графе — на него никто не ссылается. +Но это не приговор: он может быть нужен людям напрямую. Проверять вручную. + +## 2. Дубли и избыточность + +Дублей не найдено. + +## 3. Без единого входа (SSO) + +Найдено **22** сервисов с `sso: direct` — вход в обход Authentik. + +| Сервис | Группа | Критичность | +|---|---|---| +| `heimdall` | other | normal | +| `portainer` | other | normal | +| `ha-strip` | other | normal | +| `uptime_kuma` | observability | normal | +| `node_red` | automation | normal | +| `nextcloud` | knowledge | normal | +| `vaultwarden` | core | normal | +| `calibre-web` | media | normal | +| `duplicati` | knowledge | normal | +| `grafana` | observability | normal | +| `loki` | observability | normal | +| `authentik-security-server-1` | core | high | +| `nats` | other | normal | +| `swarm-redis` | other | normal | +| `plex` | media | normal | + +**Важно:** часть сервисов (плееры, API-клиенты) не умеет OIDC — для них +`direct` это норма. Но веб-панели без SSO — потенциальная дыра. + +## 4. Без резервной копии + +У всех сервисов бэкап описан. + +## 5. Топ по памяти + +| Сервис | RAM | +|---|---| +| `netbox` | 850 МиБ | +| `paperless` | 516 МиБ | +| `docmost` | 380 МиБ | +| `homeassistant` | 307 МиБ | +| `n8n` | 307 МиБ | +| `jellyfin` | 271 МиБ | +| `authentik-security-worker-1` | 238 МиБ | +| `stirling-pdf` | 234 МиБ | +| `grafana` | 191 МиБ | +| `prometheus` | 168 МиБ | + +## 6. Что делать (порядок) + +1. Разобрать дубли — освободит память, упростит инвентарь. +2. Проверить RETIRE-кандидатов: если не нужны — остановить и вынести в maintenance. +3. Закрыть SSO на веб-панелях, где он отсутствует. +4. Для сервисов без бэкапа — добавить в схему или подтвердить, что данные не ценны. + +--- +_Источник гигиены: `ops/hygiene/report-2026-11-17.md`_ diff --git a/ops/evolution/research-2026-11-18.md b/ops/evolution/research-2026-11-18.md new file mode 100644 index 0000000..7fd7136 --- /dev/null +++ b/ops/evolution/research-2026-11-18.md @@ -0,0 +1,33 @@ +# Живое исследование альтернатив — 2026-11-18 + +## Главное + +- Всё в штатном режиме. +- Проблемы и риски: отсутствие информации о последних обновлениях для некоторых сервисов, включая `go-vikunja/vikunja`, `grafana/loki`, и `goauthentik/authentik`. Это может указывать на необходимость проверки состояния этих сервисов и их актуальности. +- Изменения: необходимо следить за последними релизами и обновлениями для всех сервисов, особенно для тех, у которых нет информации о последних обновлениях. + +Источник фактов: GitHub API (публичные данные, на момент запуска). +Каждая строка — проверяемое утверждение со ссылкой. + +| Сервис | У нас | Последний релиз | Обновлён | Звёзд | Ссылка | +|---|---|---|---|---|---| +| `mealie-recipes/mealie` (рецепты) | — | v3.31.0 | 2026-11-13 | 13,932 | https://github.com/mealie-recipes/mealie/releases | +| `firefly-iii/firefly-iii` (финансы) | — | v6.7.9 | 2026-10-11 | 25,274 | https://github.com/firefly-iii/firefly-iii/releases | +| `go-vikunja/vikunja` (задачи) | — | v2.8.0 | 2026-11-05 | 6,094 | https://github.com/go-vikunja/vikunja/releases | +| `go-gitea/gitea` (git) | — | v28.4.0 | 2026-11-15 | 59,149 | https://github.com/go-gitea/gitea/releases | +| `prometheus/prometheus` (метрики) | — | v3.16.0 | 2026-11-05 | 67,682 | https://github.com/prometheus/prometheus/releases | +| `grafana/grafana` (графики) | 3.2.1 | v13.3.1 | 2026-11-10 | 77,978 | https://github.com/grafana/grafana/releases | +| `grafana/loki` (логи) | — | v3.7.10 | 2026-11-13 | 29,179 | https://github.com/grafana/loki/releases | +| `syncthing/syncthing` (синхронизация) | — | v2.1.7 | 2026-10-21 | 90,545 | https://github.com/syncthing/syncthing/releases | +| `jellyfin/jellyfin` (медиа) | latest | v12.4 | 2026-10-26 | 59,485 | https://github.com/jellyfin/jellyfin/releases | +| `goauthentik/authentik` (вход) | 2026.8.5, latest | version/2026.8.5 | 2026-10-21 | 26,376 | https://github.com/goauthentik/authentik/releases | + +## Как читать + +- «У нас» — фактический тег запущенного контейнера. +- «Последний релиз» — последний публичный релиз по данным GitHub. +- **Важно:** расхождение тега ≠ «надо срочно обновлять». Смотреть changelog на breaking changes. +- Отчёт не делает выводов «заменить X на Y»: для этого нужны критерии (нагрузка, поддержка, CVE) — + они в отчёте агента развития. + +_Запросов к GitHub API: 20 (лимит без токена — 60/час)._ diff --git a/ops/hygiene/report-2026-11-18.md b/ops/hygiene/report-2026-11-18.md new file mode 100644 index 0000000..c847881 --- /dev/null +++ b/ops/hygiene/report-2026-11-18.md @@ -0,0 +1,188 @@ +# Гигиенический отчёт — 2026-11-18 + +Проверок: 19 · находок: **17** +· high: 4 · medium: 0 · low: 4 · info: 9 + +## Сводка по категориям + +| Тип | Кол-во | Уровень | +|---|---|---| +| упавшие юниты | 1 | high | +| мониторинг недоступен | 1 | high | +| бэкапы не свежие | 1 | high | +| сервис не отвечает | 1 | high | +| не поднимется сам | 2 | low | +| остановленные контейнеры | 2 | low | +| статические юниты | 1 | info | +| потребление RAM | 1 | info | +| бэкапы | 1 | info | +| бэкапы в норме | 1 | info | +| мультипроектные CT | 1 | info | +| compose-паритет | 1 | info | +| docker-мусор | 1 | info | +| LLM-узел | 1 | info | +| HTTP-здоровье | 1 | info | + +## [HIGH] упавшие юниты + +**Что:** 3: hub-renovate.service, work-digest.service, swapfile16.swap + +**Почему:** сервис в состоянии failed — не работает или не стартовал после сбоя + +**Что делать:** systemctl reset-failed && systemctl start + +## [HIGH] мониторинг недоступен + +**Что:** Prometheus не ответил на /api/v1/targets + +**Почему:** система слепа + +**Что делать:** проверить CT134 и контейнер prometheus + +## [HIGH] бэкапы не свежие + +**Что:** matrix (31.9 ч назад); infra-ops (31.4 ч назад); offsite (30.9 ч назад) + +**Почему:** восстановление будет из устаревших данных + +**Что делать:** проверить cron/логи, запустить вручную + +## [HIGH] сервис не отвечает + +**Что:** Paperless (192.168.1.110:8000/); Immich (VM) (192.168.1.104:2283/api/server/ping); qBittorrent (192.168.1.123:8085/) + +**Почему:** HTTP-проверка не прошла — сервис лежит или недоступен по сети + +**Что делать:** systemctl status / docker ps в CT; проверить логи + +## [LOW] не поднимется сам + +**Что:** CT114 (authentik-security) onboot=0 + +**Почему:** после перезагрузки хоста останется выключенным + +**Что делать:** включить onboot или подтвердить + +## [LOW] не поднимется сам + +**Что:** CT115 (backup) onboot=0 + +**Почему:** после перезагрузки хоста останется выключенным + +**Что делать:** включить onboot или подтвердить + +## [LOW] остановленные контейнеры + +**Что:** CT103: 4 (netbox-redis, oauth2-proxy-netbox, netbox, netbox-postgres) + +**Почему:** занимают место и путают инвентарь + +**Что делать:** docker rm, если не нужны + +## [LOW] остановленные контейнеры + +**Что:** CT106: 1 (mosquitto) + +**Почему:** занимают место и путают инвентарь + +**Что делать:** docker rm, если не нужны + +## [INFO] статические юниты + +**Что:** 18 шт. (из 18 hub-*) + +**Почему:** запускаются по требованию/таймером — автозапуск не предусмотрен, это не «заготовки» + +**Что делать:** — + +## [INFO] потребление RAM + +**Что:** топ: n8n 548.7MiB · homeassistant 472.5MiB · node_red 151.4MiB · promtail 18.75MiB · promtail 17.54MiB · ha-strip 9.207MiB + +**Почему:** лёджер: следим за ростом + +**Что делать:** — + +## [INFO] бэкапы + +**Что:** последний: vzdump-lxc-155-2026_11_18-02_29_01.tar.zst + +**Почему:** проверка свежести вручную по дате + +**Что делать:** — + +## [INFO] бэкапы в норме + +**Что:** postgres (8.9 ч), vzdump (8.4 ч) + +**Почему:** свежесть подтверждена + +**Что делать:** — + +## [INFO] мультипроектные CT + +**Что:** CT106 (3); CT107 (4); CT108 (5); CT114 (3); CT155 (6) + +**Почему:** несколько compose-проектов в одном CT — файл в git является снимком + +**Что делать:** учитывать при восстановлении: поднимать проекты по отдельности + +## [INFO] compose-паритет + +**Что:** проверено CT: 26, контейнер-дрейф: 0, файл≠git: 0, ошибок: 0 + +**Почему:** соответствие репозиторию + +**Что делать:** — + +## [INFO] docker-мусор + +**Что:** образов: 50, томов: 0, остановленных: 5 + +**Почему:** кандидаты на docker system prune + +**Что делать:** docker image prune -a (осторожно) + +## [INFO] LLM-узел + +**Что:** доступен, моделей: 4 (qwen2.5:3b-32k, qwen2.5:3b, nomic-embed-text:latest) + +**Почему:** batch-инференс готов + +**Что делать:** — + +## [INFO] HTTP-здоровье + +**Что:** отвечают 6 из 9: Jellyfin 200, Home Assistant 200, Authentik 200, Gitea 200, n8n 200, Matrix 200 + +**Почему:** сервисы живы + +**Что делать:** — + + +--- + +## Предложения агента (dry-run, ничего не выполнено) + +``` +предложений: 19 + [L2_safe_auto] pct_start {'ct': '105'} — CT105 не запущен (files-lxc) + [L2_safe_auto] pct_start {'ct': '109'} — CT109 не запущен (cloud-lxc) + [L2_safe_auto] pct_start {'ct': '110'} — CT110 не запущен (office-lxc) + [L2_safe_auto] pct_start {'ct': '111'} — CT111 не запущен (reading-lxc) + [L2_safe_auto] pct_start {'ct': '113'} — CT113 не запущен (backup-lxc) + [L2_safe_auto] pct_start {'ct': '115'} — CT115 не запущен (backup) + [L2_safe_auto] pct_start {'ct': '118'} — CT118 не запущен (radarr-lxc) + [L2_safe_auto] pct_start {'ct': '119'} — CT119 не запущен (prowlarr-lxc) + [L2_safe_auto] pct_start {'ct': '120'} — CT120 не запущен (bazarr-lxc) + [L2_safe_auto] pct_start {'ct': '121'} — CT121 не запущен (overseerr-lxc) + [L2_safe_auto] pct_start {'ct': '123'} — CT123 не запущен (torrent-lxc) + [L2_safe_auto] pct_start {'ct': '124'} — CT124 не запущен (jackett-lxc) + [L2_safe_auto] pct_start {'ct': '125'} — CT125 не запущен (navidrome-lxc) + [L2_safe_auto] pct_start {'ct': '126'} — CT126 не запущен (frigate-lxc) + [L2_safe_auto] pct_start {'ct': '127'} — CT127 не запущен (linkwarden-lxc) + [L2_safe_auto] pct_start {'ct': '134'} — CT134 не запущен (prometheus-lxc) + [L2_safe_auto] pct_start {'ct': '139'} — CT139 не запущен (syncthing-lxc) + [L2_safe_auto] pct_start {'ct': '161'} — CT161 не запущен (gateway-lxc) + [L2_safe_auto] pct_start {'ct': '201'} — CT201 не запущен (headscale-lxc) +``` diff --git a/ops/night/report-2026-11-18.md b/ops/night/report-2026-11-18.md new file mode 100644 index 0000000..81f1952 --- /dev/null +++ b/ops/night/report-2026-11-18.md @@ -0,0 +1,59 @@ +# Ночной анализ — 2026-11-18 + +Провайдер: нет + +## Вывод модели + +локальная модель недоступна (TimeoutError) + +## ✅ Проверка фактов + +Все упомянутые CT/VM/числа присутствуют в исходных фактах. + +## Исходные факты + +``` +Nov 18 10:53:16 pve systemd[1]: Failed to activate swap swapfile16.swap - /swapfile16. +Nov 18 10:53:16 pve systemd[1]: Failed to activate swap swapfile16.swap - /swapfile16. +Nov 18 10:53:18 pve systemd[1]: Failed to start work-digest.service - Buryans: сводка рабочего секретаря. +Nov 18 10:53:18 pve blkmapd[1490]: open pipe file /run/rpc_pipefs/nfs/blocklayout failed: No such file or directory +Nov 18 10:53:21 pve systemd[1]: Failed to start hub-renovate.service - Renovate: зависимости в Gitea. +CT101 остановлен +CT102 остановлен +CT103 остановлен +CT105 остановлен +CT107 остановлен +CT109 остановлен +CT110 остановлен +CT111 остановлен +CT113 остановлен +CT114 остановлен +CT115 остановлен +CT117 остановлен +CT118 остановлен +CT119 остановлен +CT120 остановлен +CT121 остановлен +CT123 остановлен +CT124 остановлен +CT125 остановлен +CT126 остановлен +CT127 остановлен +CT134 остановлен +CT139 остановлен +CT140 остановлен +CT155 остановлен +CT161 остановлен +CT201 остановлен +VM104 остановлен +hub-renovate.service +work-digest.service +swapfile16.swap +/dev/mapper/pve-root 109G 44G 61G 42% / +/dev/nvme1n1p1 938G 142G 787G 16% /mnt/media +/dev/sda1 916G 331G 576G 37% /mnt/archive +Mem: 15Gi 4.1Gi 3.5Gi 103Mi 8.3Gi 11Gi +/var/lib/vz/dump/vzdump-lxc-155-2026_11_18-02_29_01.tar.zst +0 +``` + diff --git a/ops/scripts/nic_watchdog.sh b/ops/scripts/nic_watchdog.sh new file mode 100755 index 0000000..838a996 --- /dev/null +++ b/ops/scripts/nic_watchdog.sh @@ -0,0 +1,22 @@ +#!/bin/bash +# NIC watchdog: если шлюз недоступен 5 минут — перезапустить линк nic0. +set -u +STATE=/var/lib/nic-watchdog.fails +LOG=/var/log/nic-watchdog.log +mkdir -p /var/lib +N=$(cat "$STATE" 2>/dev/null || echo 0) +if ping -c 1 -W 2 192.168.1.1 >/dev/null 2>&1; then + echo 0 > "$STATE" + exit 0 +fi +N=$((N+1)) +echo "$N" > "$STATE" +echo "$(date '+%F %T') gateway unreachable ($N)" >> "$LOG" +if [ "$N" -ge 5 ]; then + echo "$(date '+%F %T') reset nic0" >> "$LOG" + timeout 10 ip link set nic0 down >>"$LOG" 2>&1 || true + sleep 3 + timeout 10 ip link set nic0 up >>"$LOG" 2>&1 || true + sleep 5 + echo 0 > "$STATE" +fi diff --git a/ops/scripts/pve_cleanup_stale_locks.sh b/ops/scripts/pve_cleanup_stale_locks.sh new file mode 100755 index 0000000..2a06b2f --- /dev/null +++ b/ops/scripts/pve_cleanup_stale_locks.sh @@ -0,0 +1,17 @@ +#!/bin/bash +# Снять stale backup-lock с CT, если реального vzdump нет. Запускается до pve-guests. +set -u +LOG=/var/log/pve-stale-locks.log +for f in /etc/pve/lxc/*.conf; do + [ -f "$f" ] || continue + id=$(basename "$f" .conf) + lock=$(grep -E '^lock:' "$f" | awk '{print $2}' | head -1) + [ "$lock" = "backup" ] || continue + if pgrep -f "vzdump.*$id" >/dev/null 2>&1; then + echo "$(date '+%F %T') CT$id backup lock active, skip" >> "$LOG" + continue + fi + if pct unlock "$id" >>"$LOG" 2>&1; then + echo "$(date '+%F %T') CT$id stale backup lock removed" >> "$LOG" + fi +done diff --git a/ops/trust/report-2026-11-18.md b/ops/trust/report-2026-11-18.md new file mode 100644 index 0000000..7245875 --- /dev/null +++ b/ops/trust/report-2026-11-18.md @@ -0,0 +1,39 @@ +# Статистика доверия агента — 2026-11-18 + +## Главное + +- Всё в штатном режиме. +- Наблюдение необходимо за правилом `selftest-guards`, у которого 3 провала из 5 запусков. +- Возможны проблемы с проверкой гуарантов, что может повлиять на стабильность системы. + +Порог повышения уровня: **20 успешных запусков при успешности ≥ 95%**. + +| Правило | Запусков | ОК | Провал | Отказов | Успешность | Уровень | Вердикт | +|---|---|---|---|---|---|---|---| +| `action:pct_start` | 1 | 1 | 0 | 0 | 100% | — | наблюдаем (1/20 запусков) | +| `action:retry_search` | 1 | 1 | 0 | 0 | 100% | — | наблюдаем (1/20 запусков) | +| `cert-expiring` | 0 | 0 | 0 | 0 | 0% | L1_dry_run | нет данных | +| `disk-cleanup` | 0 | 0 | 0 | 0 | 0% | L2_safe_auto | нет данных | +| `docker-daemon-stuck` | 0 | 0 | 0 | 0 | 0% | L1_dry_run | нет данных | +| `e2e-selfcheck` | 1 | 1 | 0 | 0 | 100% | — | наблюдаем (1/20 запусков) | +| `exporter-down` | 0 | 0 | 0 | 0 | 0% | L2_safe_auto | нет данных | +| `hygiene-scan` | 14 | 14 | 0 | 16 | 100% | — | наблюдаем (14/20 запусков) | +| `import-missing` | 0 | 0 | 0 | 0 | 0% | L1_dry_run | нет данных | +| `io-degradation` | 0 | 0 | 0 | 0 | 0% | L2_safe_auto | нет данных | +| `media-queue-stall` | 0 | 0 | 0 | 0 | 0% | L1_dry_run | нет данных | +| `restart-failed-container` | 0 | 0 | 0 | 0 | 0% | L2_safe_auto | нет данных | +| `restart-failed-ct` | 0 | 0 | 0 | 0 | 0% | L2_safe_auto | нет данных | +| `selftest-guards` | 5 | 2 | 3 | 3 | 40% | — | понизить / разобрать провалы | + +## Сводка + +- готовы к повышению: **0** (—) +- требуют внимания: **1** (selftest-guards) +- наблюдение: **13** + +## Как читать + +Агент начинает с `dry_run=true` и уровня L1 — только предлагает. +Когда правило наберёт нужную статистику, его можно перевести на уровень выше +(например, L2 — реально перезапускать контейнеры). Решение принимает владелец. +