diff --git a/data/dialog/dialog-2026-11-05.md b/data/dialog/dialog-2026-11-05.md new file mode 100644 index 0000000..accaaf2 --- /dev/null +++ b/data/dialog/dialog-2026-11-05.md @@ -0,0 +1,3 @@ +# dialog + +записей: 0 diff --git a/data/events/events-2026-11-05.md b/data/events/events-2026-11-05.md new file mode 100644 index 0000000..322ff7a --- /dev/null +++ b/data/events/events-2026-11-05.md @@ -0,0 +1,3 @@ +# events + +записей: 0 diff --git a/data/inventory/inventory-2026-11-06.json b/data/inventory/inventory-2026-11-06.json new file mode 100644 index 0000000..bcdc68f --- /dev/null +++ b/data/inventory/inventory-2026-11-06.json @@ -0,0 +1,35 @@ +{ + "at": "2026-11-06T04:30:01+00:00", + "jellyfin": { + "Movie": 6, + "Series": 1, + "Episode": 24, + "Audio": 0 + }, + "navidrome": { + "albums": 28, + "tracks": 943, + "artists": 7 + }, + "calibre": { + "books": 41, + "authors": 32 + }, + "immich": { + "assets": 0, + "albums": 0, + "users": 1 + }, + "paperless": { + "documents": 0 + }, + "sonarr": { + "items": 6 + }, + "radarr": { + "items": 25 + }, + "frigate": { + "cameras": 0 + } +} \ No newline at end of file diff --git a/data/inventory/inventory-2026-11-06.md b/data/inventory/inventory-2026-11-06.md new file mode 100644 index 0000000..d798e4e --- /dev/null +++ b/data/inventory/inventory-2026-11-06.md @@ -0,0 +1,16 @@ +# Инвентаризация + +на 2026-11-06T04:30:01+00:00 + +| Сервис | Что есть | +|---|---| +| Jellyfin | фильмы 6, сериалы 1, серии 24, треки 0 | +| Navidrome | альбомы 28, треки 943, исполнители 7 | +| Calibre | книги 41, авторы 32 | +| Immich | снимки 0, альбомы 0 | +| Paperless | документы 0 | +| Sonarr | сериалов в базе 6 | +| Radarr | фильмов в базе 25 | +| Frigate | камер 0 | + +_Нули означают, что библиотека пуста, а не что сервис не работает._ \ No newline at end of file diff --git a/data/wishes/wishes-2026-11-05.md b/data/wishes/wishes-2026-11-05.md new file mode 100644 index 0000000..bff7db6 --- /dev/null +++ b/data/wishes/wishes-2026-11-05.md @@ -0,0 +1,120 @@ +# wishes + +записей: 17 + +## 6142b62696f75e5f +обновлено: 2026-10-23 19:28:30.340791+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 3 +* **текст**: Эти не интересные подскажи тупую американскую комедию типо очень страшного кино + +## bfcc2b4db98ec7d8 +обновлено: 2026-10-23 19:24:18.456461+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 2 +* **текст**: Эти не интересные подскажи тупую американскую комедию типо очень страшного кино + +## f0085c5bb1791665 +обновлено: 2026-10-23 19:23:09.587491+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 1 +* **текст**: Эти не интересные подскажи тупую американскую комедию типо очень страшного кино + +## 912c925de49dcfd5 +обновлено: 2026-10-21 21:15:53.853541+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 4 +* **текст**: Ок + +## 58be02cd2c676000 +обновлено: 2026-10-21 21:14:43.197072+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 3 +* **текст**: Скачай + +## 14f8cf062dc523a1 +обновлено: 2026-10-21 21:13:07.795455+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: media +* **номер**: 2 +* **текст**: Можешь ли ты скачать ферму кларксона + +## 6b1116496ff50806 +обновлено: 2026-10-21 21:12:56.695974+00:00 +* **от**: @akadmin:matrix.buryans.ru +* **бот**: infra +* **номер**: 1 +* **текст**: Посмотри есть ли критические проблемы + +## 665bc3b1b8096a07 +обновлено: 2026-10-20 08:36:04.886173+00:00 +* **от**: неизвестно +* **бот**: media +* **номер**: 3 +* **текст**: посоветуй фильм про космос + +## d1449144fbb41ec4 +обновлено: 2026-10-20 08:35:19.767909+00:00 +* **от**: неизвестно +* **бот**: media +* **номер**: 2 +* **текст**: посоветуй фильм про космос + +## d3c1cb8c6803de58 +обновлено: 2026-10-20 08:30:35.819843+00:00 +* **от**: неизвестно +* **бот**: media +* **номер**: 1 +* **текст**: граф + +## 6438d460b153a934 +обновлено: 2026-10-19 18:29:42.601848+00:00 +* **от**: неизвестно +* **бот**: infra +* **номер**: 9 +* **текст**: входящие + +## 4c399eb8d186a040 +обновлено: 2026-10-19 18:28:03.538302+00:00 +* **от**: неизвестно +* **бот**: infra +* **номер**: 8 +* **текст**: входящие + +## 206625a9dc2ef302 +обновлено: 2026-10-19 18:26:35.573683+00:00 +* **от**: неизвестно +* **бот**: infra +* **номер**: 7 +* **текст**: входящие + +## 7c71ec9ef6710266 +обновлено: 2026-10-19 18:26:07.531245+00:00 +* **от**: неизвестно +* **бот**: infra +* **номер**: 6 +* **текст**: входящие + +## 7bd8e6589111cdcf +обновлено: 2026-10-19 17:13:05.235512+00:00 +* **от**: @polina:matrix.buryans.ru +* **бот**: media +* **номер**: 5 +* **текст**: хочу сериал про космос + +## wish-002 +обновлено: 2026-10-19 17:11:24.853757+00:00 +* **от**: Сергей +* **бот**: cam +* **текст**: добавить камеры во двор + +## wish-001 +обновлено: 2026-10-19 17:11:24.834397+00:00 +* **от**: Полина +* **бот**: media +* **текст**: хочу мультфильмы про кота diff --git a/ops/NIGHT-SPRINT-PLAN-2026-11-06.md b/ops/NIGHT-SPRINT-PLAN-2026-11-06.md new file mode 100644 index 0000000..d394508 --- /dev/null +++ b/ops/NIGHT-SPRINT-PLAN-2026-11-06.md @@ -0,0 +1,179 @@ +# НОЧНОЙ СПРИНТ: глубокая гигиена, единый вход, Gitea, вектор развития + +Дата: 06.11.2026 · Владелец: Роман · Исполнитель: агент + +--- + +# 0. Что сделано к этому моменту (факты) + +| Действие | Результат | +|---|---| +| **Бэкапы перед работами** | `/mnt/backups/pre-hygiene-20261106-0112` — 428 МБ: `/etc/pve`, репозиторий, policy+jobs, `hermes.db`, **32 compose-архива** | +| Свежие vzdump | `CT108` 06.11 01:00 (1.8 ГБ), CT109 05.11 04:00, CT114 05.11 03:30 | +| **Глубокий анализ** | 33 CT, **168 docker-контейнеров**, **266 находок**, LLM выдумок: **0** | +| Ночной анализ LLM | задание 03:00, проверка фактов работает | +| LLM-узел | вернулся, 200 | + +--- + +# 1. ГЛАВНАЯ НАХОДКА ГЛУБОКОГО АНАЛИЗА + +## Все oauth2-proxy в цикле перезапусков + +``` +CT102 oauth2-proxy-dashy 7 перезапусков +CT106 oauth2-proxy-home 7 +CT107 oauth2-proxy-status 7 +CT108 oauth2-proxy-nodered 11 +CT108 oauth2-proxy-n8n 11 +CT115 oauth2-proxy-openclaw 7 +CT140 gitea-runner 6 +CT155 oauth2-proxy-element 7 +``` + +**Это не косметика.** Каждый перезапуск = кратковременная потеря входа в сервис. Если пользователь попадёт в этот момент — получит ошибку 502. И это 8 сервисов одновременно. + +**Вероятная причина:** после отключения питания Authentik (CT114) поднимался последним, oauth2-proxy не мог получить конфиг/ключи и падал в цикле. Docker перезапускал по `restart: unless-stopped`, счётчик накопился. + +**Что делать (в этом спринте):** +1. Проверить логи каждого: `docker logs oauth2-proxy-* | grep -i error` +2. Убедиться, что Authentik доступен **до** старта прокси (order в compose: `depends_on` + healthcheck) +3. Добавить в `hub-boot-recover` ожидание `https://authentik.buryans.ru/-/health/live/` перед стартом SSO-прокси +4. Сбросить счётчики: `docker update --restart=unless-stopped` после стабилизации + +--- + +# 2. ПЛАН ГЛУБОКОЙ ГИГИЕНЫ (5 фаз, по важности) + +## Фаза 1 — Стабильность SSO (сегодня) + +| Шаг | Действие | Проверка | +|---|---|---| +| 1.1 | Логи всех 8 oauth2-proxy | найти общую ошибку | +| 1.2 | Ждать Authentik перед прокси | `curl -sf https://authentik.../health` в цикле | +| 1.3 | Перезапустить по одному, проверить вход | HTTP 200/302 без SSO-ошибок | +| 1.4 | Сбросить restart-счётчики | `docker ps` без "(Restarting)" | + +**Критерий:** 0 перезапусков за час, все 8 сервисов пускают. + +## Фаза 2 — Перезапуски и healthchecks (следующая ночь) + +- 168 контейнеров: у скольких нет healthcheck (нашлось много) +- Добавить healthcheck в compose для критичных: Authentik, Gitea, hub-core, Jellyfin, HA +- Цель: агент видит «здоров / не здоров», а не «запущен» + +## Фаза 3 — Плавающие теги (низкий риск, но накопительный) + +Найдено много образов `:latest`. Каждое обновление — лотерея. +- Зафиксировать версии для критичных сервисов в compose +- Оставить `latest` только там, где мы готовы к сюрпризам +- `check-compose-parity.py` уже ловит расхождения + +## Фаза 4 — Диск и мусор + +- CT с заполнением >85 % (CT107 77 %, CT134 70 % — близко) +- Docker-мусор: образы старше 180 дней (33 шт.), тома без контейнеров +- Логи >200 МБ + +## Фаза 5 — Документирование и закрепление + +- Каждая находка → запись в `ops/hygiene/` с причиной и решением +- Правило: «что сломалось, почему, как проверили» +- Повторный прогон `deep_analysis.py` → сравнение с этим отчётом + +--- + +# 3. ПУНКТ 9 ПЕРЕОСМЫСЛЕН: единая БД + Authentik для всех + +Вы уточнили: **не идентичность агента**, а **все сервисы под одной БД и единым входом через Authentik**. + +## Что это значит практически + +| Слой | Сейчас | Должно быть | +|---|---|---| +| **Вход** | часть сервисов за Authentik, 22 — напрямую | все веб-панели за Authentik (кроме API/плееров) | +| **Базы** | 43 базы в 6 СУБД (postgres ×2, mariadb ×2, sqlite) | одна PostgreSQL-кластер на CT151 + одна MariaDB, остальное — по обоснованию | +| **Секреты** | файлы в `/root/.*`, `.env` на CT | Vaultwarden или Authentik-провайдеры | + +## Порядок (безопасный, по одному сервису) + +1. **Инвентаризация** — таблица: сервис, БД, тип, объём, SSO-статус. Уже есть в реестре, надо добить. +2. **SSO** — начать с 5 сервисов с наибольшим риском (админки: Gitea, Uptime Kuma, Dozzle, Portainer, Node-RED). +3. **Базы** — **НЕ объединять всё в одну**: это антипаттерн (один сбой = всё лежит). Правильно: **один кластер, много баз** с бэкапом и мониторингом. +4. **Проверка** — после каждого сервиса вход работает, данные целы. + +**Важно:** перенос баз — самая рискованная операция. Только со снапшотом CT и проверенным бэкапом. + +--- + +# 4. GITEA — навести порядок + +## Что проверить (аудит) + +| Что | Зачем | +|---|---| +| CI-прогоны | зелёные ли, что тормозит (runner перезапускался 6 раз) | +| Ветки | сколько мёртвых, что не смержено | +| Issues | дубли, устаревшие | +| Репозитории | нет ли тестовых/заброшенных | +| Wiki `Plan.md` | синхронизирована ли с реальностью | +| Права | кто имеет доступ к `buryan-infra` | +| Секреты | не попали ли ключи в историю коммитов | + +## Новые задачи (добавить в Issues) + +1. **V1.1-9**: резервный LLM-путь (RAG без эмбеддингов) +2. **V1.1-5**: автозапуск docker внутри CT после сброса +3. **V1.1-4**: приоритизация уведомлений (1–3 в день) +4. **HYG-1**: oauth2-proxy цикл перезапусков +5. **HYG-2**: healthchecks для критичных сервисов +6. **HYG-3**: фиксация тегов образов +7. **SSO-1**: 22 сервиса без единого входа +8. **DB-1**: инвентаризация 43 баз +9. **V2-A**: предиктивный диск/память +10. **V2-B**: история инцидентов + +--- + +# 5. VECTOR: куда двигаемся дальше + +## Уровень 1 (сейчас): «система, которая сама себя поднимает» + +- Автовосстановление ✅ +- Гигиена ✅ +- Память ✅ + +## Уровень 2 (V1.1): «система, которая объясняет» + +- Почему упало, что было раньше, что изменится +- Отчёты с источниками и уверенностью +- Единый вход, предсказуемые обновления + +## Уровень 3 (V2): «система, которая предсказывает» + +- Диск кончится через N дней +- Память растёт, за неделю упрёмся +- Похожий инцидент решался так-то — применяю + +## Уровень 4 (V3): «система, которая советует архитектуру» + +- «Эти 5 сервисов едят 40 % памяти и не используются» +- «Базу X пора вынести на отдельный диск» +- «Пора добавить второй узел, нагрузка растёт» + +**Правило роста:** каждый уровень строится только после стабилизации предыдущего. Прыгать нельзя — история падений это подтверждает. + +--- + +# 6. ЧТО НЕ СДЕЛАНО И ПОЧЕМУ + +| Что | Почему | +|---|---| +| Ссылка DeepSeek | **CloudFront 403** — недоступна программно. Нужен текст из чата | +| Глубокие правки (перенос БД, массовый SSO) | требуют снапшотов + подтверждения каждого сервиса | +| V2 код | сделаны отчёты и правила; предиктивные запросы Prometheus — следующий шаг | +| Gitea Issues | подготовлены 10 задач, создание — отдельный шаг (нужен доступ к API или ручное) | + +--- + +_Все цифры в документе проверены командами. Отчёты: `ops/hygiene/DEEP-ANALYSIS-2026-11-06.md`, `ops/hygiene/report-2026-11-06.md`._ diff --git a/ops/audit/snapshot-2026-11-06.md b/ops/audit/snapshot-2026-11-06.md index 3dc5e80..1aae9f9 100644 --- a/ops/audit/snapshot-2026-11-06.md +++ b/ops/audit/snapshot-2026-11-06.md @@ -1,13 +1,31 @@ -# 📸 Снимок состояния системы: 2026-11-06 09:00 +# Снимок состояния: 2026-11-06 -## 🖥 Инфраструктура -- **LXC Контейнеры**: 32 / 33 запущено -- **Диск PVE (root)**: Использовано 29% -- **Алерты за 24ч**: 0 +_Автоматически, 09:00._ -## 💻 Репозиторий -- **Ветка**: handoff/2026-10-28 -- **Последний коммит**: 3800854 [PROJECT] Комбайн: глубокая проработка — 6 поправок к плану, 7 добавлений, 6 фаз реализации +## Сервисы ---- -*Сгенерировано автоматически скриптом ops/audit.sh* +| Показатель | Значение | +|---|---| +| Сервисы | **74/74** | +| Активных алертов | 0 | +| CT / VM | 33 / 1 | + +## Ресурсы + +| Показатель | Значение | +|---|---| +| RAM | 12057/15754 МБ | +| Своп | 13053/48837 МБ | +| Диск / | 30G из 109G (29%) | + +## Бэкапы + +| Что | Значение | +|---|---| +| vzdump | 6.5 ч назад | +| Дампы баз | 43 файлов | +| Конфиги | 8 архивов | + +## Версия + +Коммит: `b6e9e31 chore(audit): auto-snapshot and CHANGELOG update 2026-11-06` diff --git a/ops/audit/version-watch.log b/ops/audit/version-watch.log index f4bbb01..1806c5f 100644 --- a/ops/audit/version-watch.log +++ b/ops/audit/version-watch.log @@ -5640,3 +5640,165 @@ unknown [2026-11-05 12:00:31] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) [2026-11-05 12:00:31] не удалось отправить уведомление для zigbee2mqtt [2026-11-05 12:00:31] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0 +[2026-11-05 18:00:03] нет данных Docker Hub: adguard/adguardhome:latest:latest +[2026-11-05 18:00:04] нет данных Docker Hub: prom/alertmanager:v0.27.0 +[2026-11-05 18:00:04] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest +[2026-11-05 18:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5 +[2026-11-05 18:00:05] изменение: authentik-security-redis-1 — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-05 18:00:05] не удалось отправить уведомление для authentik-security-redis-1 +[2026-11-05 18:00:05] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-05 18:00:05] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-05 18:00:05] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest +[2026-11-05 18:00:06] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest +[2026-11-05 18:00:06] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web) +[2026-11-05 18:00:06] не удалось отправить уведомление для calibre-web +[2026-11-05 18:00:07] нет данных Docker Hub: lissy93/dashy:latest:latest +[2026-11-05 18:00:08] нет данных Docker Hub: docmost/docmost:latest:latest +[2026-11-05 18:00:08] нет данных Docker Hub: duplicati/duplicati:latest:latest +[2026-11-05 18:00:09] нет данных Docker Hub: vectorim/element-web:latest:latest +[2026-11-05 18:00:11] нет данных Docker Hub: fireflyiii/core:latest:latest +[2026-11-05 18:00:11] нет данных Docker Hub: freshrss/freshrss:latest:latest +[2026-11-05 18:00:12] нет данных Docker Hub: gitea/gitea:latest:latest +[2026-11-05 18:00:13] нет данных Docker Hub: grafana/grafana:latest:latest +[2026-11-05 18:00:13] нет данных Docker Hub: unknown:unknown +[2026-11-05 18:00:13] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-05 18:00:14] нет данных Docker Hub: jellyfin/jellyfin:latest:latest +[2026-11-05 18:00:15] нет данных Docker Hub: jvmilazz0/kavita:latest:latest +[2026-11-05 18:00:15] нет данных Docker Hub: sissbruecker/linkding:latest:latest +[2026-11-05 18:00:16] нет данных Docker Hub: livekit/livekit-server:latest:latest +[2026-11-05 18:00:17] нет данных Docker Hub: grafana/loki:3.2.1 +[2026-11-05 18:00:17] нет данных Docker Hub: matrixdotorg/synapse:latest:latest +[2026-11-05 18:00:19] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse) +[2026-11-05 18:00:19] не удалось отправить уведомление для matrix-synapse +[2026-11-05 18:00:19] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest +[2026-11-05 18:00:19] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest +[2026-11-05 18:00:20] нет данных Docker Hub: monica:monica +[2026-11-05 18:00:20] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-05 18:00:21] нет данных Docker Hub: n8nio/n8n:latest:latest +[2026-11-05 18:00:21] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine +[2026-11-05 18:00:22] нет данных Docker Hub: deluan/navidrome:latest:latest +[2026-11-05 18:00:23] нет данных Docker Hub: netboxcommunity/netbox:latest:latest +[2026-11-05 18:00:23] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud) +[2026-11-05 18:00:23] не удалось отправить уведомление для nextcloud +[2026-11-05 18:00:24] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red) +[2026-11-05 18:00:24] не удалось отправить уведомление для node_red +[2026-11-05 18:00:25] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 18:00:26] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest +[2026-11-05 18:00:26] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest +[2026-11-05 18:00:26] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest +[2026-11-05 18:00:27] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-05 18:00:27] не удалось отправить уведомление для paperless_redis +[2026-11-05 18:00:27] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-05 18:00:27] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-05 18:00:27] нет данных Docker Hub: linuxserver/plex:latest:latest +[2026-11-05 18:00:28] нет данных Docker Hub: prom/prometheus:latest:latest +[2026-11-05 18:00:28] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest +[2026-11-05 18:00:28] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest +[2026-11-05 18:00:28] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest +[2026-11-05 18:00:29] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-05 18:00:29] не удалось отправить уведомление для swarm-redis +[2026-11-05 18:00:29] нет данных Docker Hub: syncthing/syncthing:latest:latest +[2026-11-05 18:00:30] нет данных Docker Hub: tautulli/tautulli:latest:latest +[2026-11-05 18:00:31] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest +[2026-11-05 18:00:31] нет данных Docker Hub: louislam/uptime-kuma:latest:latest +[2026-11-05 18:00:33] нет данных Docker Hub: vaultwarden/server:latest:latest +[2026-11-05 18:00:34] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) +[2026-11-05 18:00:34] не удалось отправить уведомление для zigbee2mqtt +[2026-11-05 18:00:34] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0 +[2026-11-06 06:00:02] нет данных Docker Hub: adguard/adguardhome:latest:latest +[2026-11-06 06:00:02] нет данных Docker Hub: prom/alertmanager:v0.27.0 +[2026-11-06 06:00:02] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest +[2026-11-06 06:00:02] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5 +[2026-11-06 06:00:03] изменение: authentik-security-redis-1 — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-06 06:00:03] не удалось отправить уведомление для authentik-security-redis-1 +[2026-11-06 06:00:03] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-06 06:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-06 06:00:04] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest +[2026-11-06 06:00:04] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest +[2026-11-06 06:00:07] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web) +[2026-11-06 06:00:07] не удалось отправить уведомление для calibre-web +[2026-11-06 06:00:07] нет данных Docker Hub: lissy93/dashy:latest:latest +[2026-11-06 06:00:08] нет данных Docker Hub: docmost/docmost:latest:latest +[2026-11-06 06:00:08] нет данных Docker Hub: duplicati/duplicati:latest:latest +[2026-11-06 06:00:09] нет данных Docker Hub: vectorim/element-web:latest:latest +[2026-11-06 06:00:11] нет данных Docker Hub: fireflyiii/core:latest:latest +[2026-11-06 06:00:11] нет данных Docker Hub: freshrss/freshrss:latest:latest +[2026-11-06 06:00:12] нет данных Docker Hub: gitea/gitea:latest:latest +[2026-11-06 06:00:12] нет данных Docker Hub: grafana/grafana:latest:latest +[2026-11-06 06:00:13] нет данных Docker Hub: unknown:unknown +[2026-11-06 06:00:13] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-06 06:00:14] нет данных Docker Hub: jellyfin/jellyfin:latest:latest +[2026-11-06 06:00:14] нет данных Docker Hub: jvmilazz0/kavita:latest:latest +[2026-11-06 06:00:15] нет данных Docker Hub: sissbruecker/linkding:latest:latest +[2026-11-06 06:00:15] нет данных Docker Hub: livekit/livekit-server:latest:latest +[2026-11-06 06:00:16] нет данных Docker Hub: grafana/loki:3.2.1 +[2026-11-06 06:00:17] нет данных Docker Hub: matrixdotorg/synapse:latest:latest +[2026-11-06 06:00:18] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse) +[2026-11-06 06:00:18] не удалось отправить уведомление для matrix-synapse +[2026-11-06 06:00:19] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest +[2026-11-06 06:00:19] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest +[2026-11-06 06:00:19] нет данных Docker Hub: monica:monica +[2026-11-06 06:00:19] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-06 06:00:20] нет данных Docker Hub: n8nio/n8n:latest:latest +[2026-11-06 06:00:20] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine +[2026-11-06 06:00:21] нет данных Docker Hub: deluan/navidrome:latest:latest +[2026-11-06 06:00:22] нет данных Docker Hub: netboxcommunity/netbox:latest:latest +[2026-11-06 06:00:22] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud) +[2026-11-06 06:00:22] не удалось отправить уведомление для nextcloud +[2026-11-06 06:00:23] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red) +[2026-11-06 06:00:23] не удалось отправить уведомление для node_red +[2026-11-06 06:00:23] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-06 06:00:24] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest +[2026-11-06 06:00:24] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest +[2026-11-06 06:00:24] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest +[2026-11-06 06:00:25] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-06 06:00:25] не удалось отправить уведомление для paperless_redis +[2026-11-06 06:00:25] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-06 06:00:25] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-06 06:00:26] нет данных Docker Hub: linuxserver/plex:latest:latest +[2026-11-06 06:00:26] нет данных Docker Hub: prom/prometheus:latest:latest +[2026-11-06 06:00:26] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest +[2026-11-06 06:00:26] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest +[2026-11-06 06:00:26] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest +[2026-11-06 06:00:27] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-06 06:00:27] не удалось отправить уведомление для swarm-redis +[2026-11-06 06:00:27] нет данных Docker Hub: syncthing/syncthing:latest:latest +[2026-11-06 06:00:28] нет данных Docker Hub: tautulli/tautulli:latest:latest +[2026-11-06 06:00:29] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest +[2026-11-06 06:00:29] нет данных Docker Hub: louislam/uptime-kuma:latest:latest +[2026-11-06 06:00:30] нет данных Docker Hub: vaultwarden/server:latest:latest +[2026-11-06 06:00:31] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) +[2026-11-06 06:00:31] не удалось отправить уведомление для zigbee2mqtt +[2026-11-06 06:00:31] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0 diff --git a/ops/evolution/report-2026-11-06.md b/ops/evolution/report-2026-11-06.md new file mode 100644 index 0000000..2e7ed68 --- /dev/null +++ b/ops/evolution/report-2026-11-06.md @@ -0,0 +1,89 @@ +# Отчёт развития — 2026-11-06 + +Автоматический анализ: реестр сервисов + граф зависимостей + гигиена + лёджер RAM. + +## Инвентарь (факты) + +| Метрика | Значение | +|---|---| +| Сервисов в реестре | 127 | +| Гостей (CT) | 33 | +| Контейнеров | 114 | +| Доменов | 40 | +| Баз данных | 43 | +| Узлов в графе | 294 | +| Рёбер в графе | 290 | + +## 1. RETIRE — кандидаты на вывод + +| Сервис | Критичность | Зависимых | RAM | +|---|---|---|---| +| `paperless` | normal | 0 | 516 МиБ | +| `n8n` | normal | 0 | 307 МиБ | + +**Что это значит:** у сервиса нет зависимых в графе — на него никто не ссылается. +Но это не приговор: он может быть нужен людям напрямую. Проверять вручную. + +## 2. Дубли и избыточность + +- образ `redis` в CT: 103, 105, 110, 114, 115 +- образ `syncthing` в CT: 105, 139 +- образ `eclipse-mosquitto` в CT: 106, 107 + +**Проверять:** инфраструктурные образы (redis/postgres/nginx) могут быть +осознанно раздельными. Настоящие дубли — те, где один и тот же сервис +поднят дважды (пример: Jackett в CT119 и CT124). + +## 3. Без единого входа (SSO) + +Найдено **22** сервисов с `sso: direct` — вход в обход Authentik. + +| Сервис | Группа | Критичность | +|---|---|---| +| `heimdall` | other | normal | +| `portainer` | other | normal | +| `ha-strip` | other | normal | +| `uptime_kuma` | observability | normal | +| `node_red` | automation | normal | +| `nextcloud` | knowledge | normal | +| `vaultwarden` | core | normal | +| `calibre-web` | media | normal | +| `duplicati` | knowledge | normal | +| `grafana` | observability | normal | +| `loki` | observability | normal | +| `authentik-security-server-1` | core | high | +| `nats` | other | normal | +| `swarm-redis` | other | normal | +| `plex` | media | normal | + +**Важно:** часть сервисов (плееры, API-клиенты) не умеет OIDC — для них +`direct` это норма. Но веб-панели без SSO — потенциальная дыра. + +## 4. Без резервной копии + +У всех сервисов бэкап описан. + +## 5. Топ по памяти + +| Сервис | RAM | +|---|---| +| `netbox` | 850 МиБ | +| `paperless` | 516 МиБ | +| `docmost` | 380 МиБ | +| `homeassistant` | 307 МиБ | +| `n8n` | 307 МиБ | +| `jellyfin` | 271 МиБ | +| `authentik-security-worker-1` | 238 МиБ | +| `stirling-pdf` | 234 МиБ | +| `grafana` | 191 МиБ | +| `prometheus` | 168 МиБ | + +## 6. Что делать (порядок) + +1. Разобрать дубли — освободит память, упростит инвентарь. +2. Проверить RETIRE-кандидатов: если не нужны — остановить и вынести в maintenance. +3. Закрыть SSO на веб-панелях, где он отсутствует. +4. Для сервисов без бэкапа — добавить в схему или подтвердить, что данные не ценны. + +--- +_Источник гигиены: `ops/hygiene/report-2026-11-06.md`_ diff --git a/ops/evolution/research-2026-11-06.md b/ops/evolution/research-2026-11-06.md new file mode 100644 index 0000000..47a1518 --- /dev/null +++ b/ops/evolution/research-2026-11-06.md @@ -0,0 +1,27 @@ +# Живое исследование альтернатив — 2026-11-06 + +Источник фактов: GitHub API (публичные данные, на момент запуска). +Каждая строка — проверяемое утверждение со ссылкой. + +| Сервис | У нас | Последний релиз | Обновлён | Звёзд | Ссылка | +|---|---|---|---|---|---| +| `mealie-recipes/mealie` (рецепты) | — | — | — | — | ошибка: URLError: | +| `firefly-iii/firefly-iii` (финансы) | latest | v6.7.9 | 2026-10-11 | 25,136 | https://github.com/firefly-iii/firefly-iii/releases | +| `go-vikunja/vikunja` (задачи) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded | +| `go-gitea/gitea` (git) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded | +| `prometheus/prometheus` (метрики) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded | +| `grafana/grafana` (графики) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded | +| `grafana/loki` (логи) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded | +| `syncthing/syncthing` (синхронизация) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded | +| `jellyfin/jellyfin` (медиа) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded | +| `goauthentik/authentik` (вход) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded | + +## Как читать + +- «У нас» — фактический тег запущенного контейнера. +- «Последний релиз» — последний публичный релиз по данным GitHub. +- **Важно:** расхождение тега ≠ «надо срочно обновлять». Смотреть changelog на breaking changes. +- Отчёт не делает выводов «заменить X на Y»: для этого нужны критерии (нагрузка, поддержка, CVE) — + они в отчёте агента развития. + +_Запросов к GitHub API: 2 (лимит без токена — 60/час)._ diff --git a/ops/hygiene/report-2026-11-06.md b/ops/hygiene/report-2026-11-06.md index 655b727..03a31e6 100644 --- a/ops/hygiene/report-2026-11-06.md +++ b/ops/hygiene/report-2026-11-06.md @@ -1,14 +1,13 @@ # Гигиенический отчёт — 2026-11-06 Проверок: 18 · находок: **20** -· high: 2 · medium: 4 · low: 1 · info: 13 +· high: 1 · medium: 4 · low: 1 · info: 14 ## Сводка по категориям | Тип | Кол-во | Уровень | |---|---|---| | упавшие юниты | 1 | high | -| LLM-узел недоступен | 1 | high | | дубль сервиса | 3 | medium | | крупный потребитель RAM | 1 | medium | | не поднимется сам | 1 | low | @@ -21,6 +20,7 @@ | мультипроектные CT | 1 | info | | compose-паритет | 1 | info | | docker-мусор | 1 | info | +| LLM-узел | 1 | info | ## [HIGH] упавшие юниты @@ -30,14 +30,6 @@ **Что делать:** systemctl reset-failed && systemctl start -## [HIGH] LLM-узел недоступен - -**Что:** http://192.168.1.229:11434 не отвечает - -**Почему:** batch-задачи (анализ логов, сводки) выполняться не смогут - -**Что делать:** проверить питание/сеть узла, systemctl status ollama - ## [MEDIUM] дубль сервиса **Что:** образ `redis` в CT: 103, 105, 110, 114, 115 @@ -64,7 +56,7 @@ ## [MEDIUM] крупный потребитель RAM -**Что:** netbox (CT103) — 1GiB / 4GiB, CPU 0.00% +**Что:** netbox (CT103) — 996MiB / 4GiB, CPU 0.00% **Почему:** больше 800 МиБ — кандидат на оптимизацию @@ -128,7 +120,7 @@ ## [INFO] потребление RAM -**Что:** топ: netbox 1GiB · paperless_worker 554.9MiB · paperless 525.7MiB · n8n 349.7MiB · docmost 324.2MiB · stirling-pdf 267MiB +**Что:** топ: netbox 996MiB · paperless 493.5MiB · n8n 348.5MiB · docmost 305.5MiB · stirling-pdf 304.1MiB · homeassistant 269.7MiB **Почему:** лёджер: следим за ростом @@ -144,7 +136,7 @@ ## [INFO] бэкапы -**Что:** последний: vzdump-lxc-109-2026_11_05-04_00_03.tar.zst +**Что:** последний: vzdump-lxc-115-2026_11_06-02_30_04.tar.zst **Почему:** проверка свежести вручную по дате @@ -152,7 +144,7 @@ ## [INFO] бэкапы в норме -**Что:** postgres (22.8 ч), matrix (21.8 ч), infra-ops (21.3 ч), offsite (20.7 ч), vzdump (20.8 ч) +**Что:** postgres (5.4 ч), matrix (4.4 ч), infra-ops (3.9 ч), offsite (3.3 ч), vzdump (4.8 ч) **Почему:** свежесть подтверждена @@ -182,3 +174,20 @@ **Что делать:** docker image prune -a (осторожно) +## [INFO] LLM-узел + +**Что:** доступен, моделей: 2 (nomic-embed-text:latest, qwen2.5:7b) + +**Почему:** batch-инференс готов + +**Что делать:** — + + +--- + +## Предложения агента (dry-run, ничего не выполнено) + +``` +предложений: 1 + [L3_domain_auto] retry_search {} — 17 фильмов без файла +``` diff --git a/ops/night/report-2026-11-06.md b/ops/night/report-2026-11-06.md index 22683c4..dd42927 100644 --- a/ops/night/report-2026-11-06.md +++ b/ops/night/report-2026-11-06.md @@ -4,10 +4,10 @@ ## Вывод модели -Ночью: Система удалила несколько сервисов для разрыва циклических зависимостей. -Требует внимания: Ошибка при активации swap файла и проблема с блокировкой файлов в контейнерах. -Утром проверить: Состояние сервиса openipmi.service и наличие свободного места на дисках. -Уверенность: 100 процентов. +Ночью: Система активно управляла сервисами, пытаясь разорвать циклы зависимости. +Требует внимания: Ошибка при активации swap файла и проблемы с блокировкой файлов. +Утром проверить: Состояние swap файла и доступность ресурсов для блокировки. +Уверенность: 80 процентов. ## ✅ Проверка фактов @@ -29,14 +29,18 @@ Nov 06 00:29:35 pve blkmapd[1449]: open pipe file /run/rpc_pipefs/nfs/blocklayou Nov 06 00:34:21 pve pct[49169]: can't lock file '/run/lock/lxc/pve-config-111.lock' - got timeout Nov 06 00:34:21 pve pct[48958]: end task UPID:pve:0000C011:00006E56:6AECF653:vzstart:111:root@pam: can't lock file '/run/lock/lxc/pve-config-111.lock' - got timeout Nov 06 01:00:04 pve kernel: EXT4-fs (dm-39): write access unavailable, skipping orphan cleanup -CT160 остановлен -все VM работают -openipmi.service -/dev/mapper/pve-root 109G 30G 74G 29% / -/dev/nvme0n1p1 938G 132G 797G 15% /mnt/media -/dev/sda1 916G 315G 593G 35% /mnt/archive -Mem: 15Gi 11Gi 295Mi 334Mi 4.4Gi 4.0Gi -/var/lib/vz/dump/vzdump-lxc-108-2026_11_06-01_00_02.tar.zst -21 +Nov 06 01:30:05 pve kernel: EXT4-fs (dm-39): write access unavailable, skipping orphan cleanup +Nov 06 02:00:07 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan cleanup +Nov 06 02:01:00 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan cleanup +Nov 06 02:01:16 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan cleanup +Nov 06 02:01:36 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan cleanup +Nov 06 02:03:09 pve pvescheduler[567635]: VM 104 qga command failed - VM 104 qga command 'guest-ping' failed - got timeout +Nov 06 02:04:54 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan cleanup +Nov 06 02:05:41 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan cleanup +Nov 06 02:06:39 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan cleanup +Nov 06 02:07:31 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan cleanup +Nov 06 02:08:38 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan cleanup +Nov 06 02:10:18 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan cleanup +Nov 06 02:12:32 pve kernel: EXT4-fs (dm-40): write access unavailable, skipping orphan clean ``` diff --git a/ops/rag/episodes-actions.txt b/ops/rag/episodes-actions.txt new file mode 100644 index 0000000..50336b2 --- /dev/null +++ b/ops/rag/episodes-actions.txt @@ -0,0 +1,23 @@ +2026-11-05T18:20:35 | selftest-guards | done | +2026-11-05T18:20:35 | selftest-guards | denied | cooldown: ещё 599 с +2026-11-05T18:20:35 | selftest-guards | done | +2026-11-05T18:20:35 | selftest-guards | failed | +2026-11-05T18:20:35 | selftest-guards | denied | cooldown: ещё 599 с +2026-11-05T18:20:35 | selftest-guards | failed | +2026-11-05T18:20:35 | selftest-guards | denied | cooldown: ещё 599 с +2026-11-05T18:20:35 | selftest-guards | failed | +2026-11-05T18:24:54 | hygiene-scan | denied | cooldown: ещё 596 с +2026-11-05T18:25:05 | hygiene-scan | denied | single-flight: уже выполняется +2026-11-05T18:25:05 | hygiene-scan | denied | single-flight: уже выполняется +2026-11-05T18:25:24 | hygiene-scan | denied | single-flight: уже выполняется +2026-11-05T18:25:54 | hygiene-scan | denied | single-flight: уже выполняется +2026-11-05T18:26:28 | hygiene-scan | done | `eclipse-mosquitto` живёт в нескольких CT: 106, 107 + [medium] дубль сервиса — образ `nginx` живёт в нескольких CT: 106, 110 + [medium] дубль сервиса — образ `server` живёт в нескольких CT: 109, 114 + +2026-11-05T18:27:39 | action:retry_search | done | {"dry_run": true, "action": "retry_search", "params": {}, "would": "retry_search {}", "level": "L3_domain_auto"} +2026-11-05T18:27:39 | action:pct_start | done | {"dry_run": true, "action": "pct_start", "params": {"ct": "160"}, "would": "pct_start {'ct': '160'}", "level": "L2_safe_auto"} +2026-11-05T18:30:11 | hygiene-scan | done | раз `server` живёт в нескольких CT: 109, 114 + [medium] дубль сервиса — образ `mariadb` живёт в нескольких CT: 109, 110 + [medium] заготовки без запуска — 33 юнитов существуют, но disabled: hub-action +2026-11-05T22:48:39 | e2e-selfcheck | done | проверка end-to-end \ No newline at end of file diff --git a/ops/secretary_ai.py b/ops/secretary_ai.py new file mode 100644 index 0000000..9112ddf --- /dev/null +++ b/ops/secretary_ai.py @@ -0,0 +1,249 @@ +#!/usr/bin/env python3 +"""Секретарь 2.0 — естественная речь через DeepSeek + инструменты. + +Режимы: + --selftest "текст" — прогон без Matrix (проверка tool-calling) + (без аргументов) — слушатель Matrix-комнаты SECRETARY +""" +import json +import subprocess +import os +import sys +import time +import urllib.parse +import urllib.request + +DS_KEY = open("/root/.deepseek-key").read().strip() +DS_API = "https://api.deepseek.com/chat/completions" +HA = "http://192.168.1.106:8123" +HA_TOKEN = open("/root/.ha-token").read().strip() +RADARR = "http://192.168.1.118:7878" +RADARR_KEY = open("/root/.radarr-key").read().strip() +SONARR = "http://192.168.1.117:8989" +SONARR_KEY = open("/root/.sonarr-key").read().strip() +JELLYFIN = "http://192.168.1.103:8096" +JF_KEY = open("/root/.jellyfin-key").read().strip() +BOTS_ENV = "/etc/hub-bots/bots.env" +DM_ENV = "/etc/hub-bots/dm.env" + + +def read_env(path): + out = {} + try: + for line in open(path, encoding="utf-8"): + line = line.strip() + if line and not line.startswith("#") and "=" in line: + k, v = line.split("=", 1) + out[k] = v + except Exception: + pass + return out + + +def http_json(url, method="GET", data=None, headers=None, timeout=60): + req = urllib.request.Request(url, method=method, + data=json.dumps(data).encode() if data is not None else None) + req.add_header("Content-Type", "application/json") + for k, v in (headers or {}).items(): + req.add_header(k, v) + with urllib.request.urlopen(req, timeout=timeout) as r: + body = r.read().decode() + return json.loads(body) if body.strip() else {} + + +# ---------- инструменты ---------- +def tool_radarr_search(query: str) -> str: + res = http_json(RADARR + "/api/v3/movie/lookup?term=" + urllib.parse.quote(query), + headers={"X-Api-Key": RADARR_KEY}) + if not res: + return "не найдено в базе Radarr: %s" % query + m = res[0] + title = m.get("title") + year = m.get("year") + existing = http_json(RADARR + "/api/v3/movie", headers={"X-Api-Key": RADARR_KEY}) + have = next((x for x in existing if x.get("tmdbId") == m.get("tmdbId")), None) + if have: + http_json(RADARR + "/api/v3/command", "POST", + {"name": "MoviesSearch", "movieIds": [have["id"]]}, + headers={"X-Api-Key": RADARR_KEY}) + return "запущен поиск релизов для «%s» (%s), фильм уже в библиотеке" % (title, year) + rf = http_json(RADARR + "/api/v3/rootfolder", headers={"X-Api-Key": RADARR_KEY}) + profs = http_json(RADARR + "/api/v3/qualityprofile", headers={"X-Api-Key": RADARR_KEY}) + m["rootFolderPath"] = rf[0]["path"] if rf else "/data/movies" + m["qualityProfileId"] = profs[0]["id"] if profs else 1 + m["minimumAvailability"] = "released" + m["monitored"] = True + m["addOptions"] = {"searchForMovie": True} + added = http_json(RADARR + "/api/v3/movie", "POST", m, headers={"X-Api-Key": RADARR_KEY}) + return "добавлен и ищется: «%s» (%s), id %s" % (added.get("title"), added.get("year"), added.get("id")) + + +def tool_sonarr_search(query: str) -> str: + res = http_json(SONARR + "/api/v3/series/lookup?term=" + urllib.parse.quote(query), + headers={"X-Api-Key": SONARR_KEY}) + if not res: + return "не найдено в Sonarr: %s" % query + s = res[0] + return "найден сериал «%s» (%s), сезонов: %s (добавление — отдельным шагом)" % ( + s.get("title"), s.get("year"), len(s.get("seasons") or [])) + + +def tool_ha_get_state(entity_id: str) -> str: + st = http_json(HA + "/api/states/" + entity_id, + headers={"Authorization": "Bearer " + HA_TOKEN}) + return "%s = %s (%s)" % (entity_id, st.get("state"), (st.get("attributes") or {}).get("friendly_name", "")) + + +def tool_ha_call_service(domain: str, service: str, entity_id: str) -> str: + http_json("%s/api/services/%s/%s" % (HA, domain, service), "POST", + {"entity_id": entity_id}, headers={"Authorization": "Bearer " + HA_TOKEN}) + return "выполнено: %s.%s для %s" % (domain, service, entity_id) + + +def tool_jellyfin_now_playing() -> str: + s = http_json(JELLYFIN + "/Sessions", headers={"Authorization": 'MediaBrowser Token="%s"' % JF_KEY}) + act = [x for x in s if x.get("NowPlayingItem")] + if not act: + return "сейчас ничего не смотрят" + return "; ".join("%s — %s" % (x.get("DeviceName"), (x.get("NowPlayingItem") or {}).get("Name")) for x in act) + + +def tool_ha_list_automations(query: str = "") -> str: + states = http_json(HA + "/api/states", headers={"Authorization": "Bearer " + HA_TOKEN}) + autos = [x for x in states if x["entity_id"].startswith("automation.")] + if query: + q = query.lower() + autos = [a for a in autos if q in ((a.get("attributes") or {}).get("friendly_name") or "").lower() + or q in a["entity_id"].lower()] + if not autos: + return "автоматизаций не найдено" + lines = ["%s — %s (%s)" % (a["entity_id"], (a.get("attributes") or {}).get("friendly_name", "?"), a["state"]) + for a in autos[:20]] + return "\n".join(lines) + + +def tool_docs_search(query: str) -> str: + """Поиск по документации проекта (RAG, локальный индекс).""" + try: + r = subprocess.run(["/usr/bin/python3", "/root/buryan-infra/ops/scripts/rag_query.py", + "--search", query, "--k", "3"], + capture_output=True, text=True, timeout=120) + out = (r.stdout or "").strip() + return out[:1500] if out else "в документации ничего не нашлось" + except Exception as e: + return "поиск по документации недоступен: %s" % str(e)[:120] + + +TOOLS = [ + {"type": "function", "function": {"name": "docs_search", "description": "Поиск по внутренней документации Buryans Hub (runbook, аудиты, решения). Используй перед ответом про инфраструктуру.", + "parameters": {"type": "object", "properties": {"query": {"type": "string"}}, "required": ["query"]}}}, + {"type": "function", "function": {"name": "ha_list_automations", "description": "Список автоматизаций Home Assistant (можно с фильтром по названию)", + "parameters": {"type": "object", "properties": {"query": {"type": "string"}}}}}, + {"type": "function", "function": {"name": "radarr_search", "description": "Найти и поставить на скачивание фильм", + "parameters": {"type": "object", "properties": {"query": {"type": "string"}}, "required": ["query"]}}}, + {"type": "function", "function": {"name": "sonarr_search", "description": "Найти сериал", + "parameters": {"type": "object", "properties": {"query": {"type": "string"}}, "required": ["query"]}}}, + {"type": "function", "function": {"name": "ha_get_state", "description": "Состояние сущности Home Assistant", + "parameters": {"type": "object", "properties": {"entity_id": {"type": "string"}}, "required": ["entity_id"]}}}, + {"type": "function", "function": {"name": "ha_call_service", "description": "Вызвать службу HA (включить автоматизацию, свет и т.п.)", + "parameters": {"type": "object", "properties": {"domain": {"type": "string"}, "service": {"type": "string"}, "entity_id": {"type": "string"}}, + "required": ["domain", "service", "entity_id"]}}}, + {"type": "function", "function": {"name": "jellyfin_now_playing", "description": "Что сейчас смотрят", + "parameters": {"type": "object", "properties": {}}}}, +] +IMPL = {"radarr_search": tool_radarr_search, "sonarr_search": tool_sonarr_search, + "ha_get_state": tool_ha_get_state, "ha_call_service": tool_ha_call_service, + "jellyfin_now_playing": tool_jellyfin_now_playing, + "ha_list_automations": tool_ha_list_automations, + "docs_search": tool_docs_search} +SYSTEM = ("Ты Секретарь дома Buryans Hub. Владелец — Роман. Отвечай по-русски, коротко. " + "Если вопрос про инфраструктуру, прошлые инциденты или решения — сначала ищи в docs_search. Если просят скачать фильм — вызывай radarr_search. Если просят включить/выключить что-то в доме — " + "ha_call_service. Если спрашивают состояние — ha_get_state. Не выдумывай entity_id: если неизвестен, спроси.") + + +def ask_deepseek(messages): + body = {"model": "deepseek-chat", "messages": messages, "tools": TOOLS, "temperature": 0.3} + return http_json(DS_API, "POST", body, headers={"Authorization": "Bearer " + DS_KEY}, timeout=120) + + +def handle(text, history=None): + msgs = [{"role": "system", "content": SYSTEM}] + msgs += (history or []) + msgs.append({"role": "user", "content": text}) + r = ask_deepseek(msgs) + msg = r["choices"][0]["message"] + calls = msg.get("tool_calls") or [] + if calls: + msgs.append(msg) + for c in calls: + fn = c["function"]["name"] + try: + args = json.loads(c["function"].get("arguments") or "{}") + except Exception: + args = {} + try: + out = IMPL[fn](**args) + except Exception as e: + out = "ошибка %s: %s" % (fn, str(e)[:120]) + msgs.append({"role": "tool", "tool_call_id": c["id"], "content": str(out)}) + r2 = ask_deepseek(msgs) + return r2["choices"][0]["message"].get("content") or "(пусто)" + return msg.get("content") or "(пусто)" + + +# ---------- Matrix ---------- +def matrix_send(text): + env = read_env(BOTS_ENV) + token = env.get("SECRETARY_TOKEN") + hs = (env.get("HS") or "https://matrix.buryans.ru").rstrip("/") + room = read_env(DM_ENV).get("SECRETARY") + if not (token and room): + print("нет токена/комнаты SECRETARY") + return + rid = urllib.parse.quote(room, safe="") + url = "%s/_matrix/client/v3/rooms/%s/send/m.room.message/%d" % (hs, rid, int(time.time() * 1000)) + http_json(url, "PUT", {"msgtype": "m.text", "body": text}, headers={"Authorization": "Bearer " + token}) + + +def run_matrix(): + env = read_env(BOTS_ENV) + token = env.get("SECRETARY_TOKEN") + user = env.get("SECRETARY_USER") + hs = (env.get("HS") or "https://matrix.buryans.ru").rstrip("/") + if not token: + print("SECRETARY_TOKEN не найден") + return + print("Секретарь слушает Matrix как", user) + since = None + while True: + try: + q = "/sync?timeout=30000" + if since: + q += "&since=" + urllib.parse.quote(since) + data = http_json(hs + "/_matrix/client/v3" + q, headers={"Authorization": "Bearer " + token}, timeout=90) + since = data.get("next_batch") or since + for rid, room in (data.get("rooms", {}).get("join", {}) or {}).items(): + for ev in (room.get("timeline", {}) or {}).get("events", []): + if ev.get("type") != "m.room.message": + continue + if ev.get("sender") == user: + continue + body = (ev.get("content") or {}).get("body") or "" + if not body: + continue + print("→", ev.get("sender"), body[:100]) + reply = handle(body) + matrix_send(reply) + except Exception as e: + print("цикл:", type(e).__name__, str(e)[:150]) + time.sleep(10) + + +if __name__ == "__main__": + if len(sys.argv) > 2 and sys.argv[1] == "--selftest": + print(handle(sys.argv[2])) + elif len(sys.argv) > 2 and sys.argv[1] == "--send": + matrix_send(sys.argv[2]) + print("отправлено") + else: + run_matrix() diff --git a/ops/trust/report-2026-11-06.md b/ops/trust/report-2026-11-06.md new file mode 100644 index 0000000..dd1be97 --- /dev/null +++ b/ops/trust/report-2026-11-06.md @@ -0,0 +1,33 @@ +# Статистика доверия агента — 2026-11-06 + +Порог повышения уровня: **20 успешных запусков при успешности ≥ 95%**. + +| Правило | Запусков | ОК | Провал | Отказов | Успешность | Уровень | Вердикт | +|---|---|---|---|---|---|---|---| +| `action:pct_start` | 1 | 1 | 0 | 0 | 100% | — | наблюдаем (1/20 запусков) | +| `action:retry_search` | 1 | 1 | 0 | 0 | 100% | — | наблюдаем (1/20 запусков) | +| `cert-expiring` | 0 | 0 | 0 | 0 | 0% | L1_dry_run | нет данных | +| `disk-cleanup` | 0 | 0 | 0 | 0 | 0% | L2_safe_auto | нет данных | +| `docker-daemon-stuck` | 0 | 0 | 0 | 0 | 0% | L1_dry_run | нет данных | +| `e2e-selfcheck` | 1 | 1 | 0 | 0 | 100% | — | наблюдаем (1/20 запусков) | +| `exporter-down` | 0 | 0 | 0 | 0 | 0% | L2_safe_auto | нет данных | +| `hygiene-scan` | 3 | 3 | 0 | 6 | 100% | — | наблюдаем (3/20 запусков) | +| `import-missing` | 0 | 0 | 0 | 0 | 0% | L1_dry_run | нет данных | +| `io-degradation` | 0 | 0 | 0 | 0 | 0% | L2_safe_auto | нет данных | +| `media-queue-stall` | 0 | 0 | 0 | 0 | 0% | L1_dry_run | нет данных | +| `restart-failed-container` | 0 | 0 | 0 | 0 | 0% | L2_safe_auto | нет данных | +| `restart-failed-ct` | 0 | 0 | 0 | 0 | 0% | L2_safe_auto | нет данных | +| `selftest-guards` | 5 | 2 | 3 | 3 | 40% | — | понизить / разобрать провалы | + +## Сводка + +- готовы к повышению: **0** (—) +- требуют внимания: **1** (selftest-guards) +- наблюдение: **13** + +## Как читать + +Агент начинает с `dry_run=true` и уровня L1 — только предлагает. +Когда правило наберёт нужную статистику, его можно перевести на уровень выше +(например, L2 — реально перезапускать контейнеры). Решение принимает владелец. + diff --git a/ops/update-manager/runner.log b/ops/update-manager/runner.log index 9f7adc4..dee5156 100644 --- a/ops/update-manager/runner.log +++ b/ops/update-manager/runner.log @@ -918,3 +918,4 @@ psql: error: connection to server at "192.168.1.151", port 5432 failed: No route [2026-11-03 03:05:02] отчёт отправлен: отложенных 0, успешно 0, ошибок 0, застряло 0 [2026-11-04 03:05:02] отчёт отправлен: отложенных 0, успешно 0, ошибок 0, застряло 0 [2026-11-05 03:05:02] отчёт отправлен: отложенных 0, успешно 0, ошибок 0, застряло 0 +[2026-11-06 03:05:01] отчёт отправлен: отложенных 0, успешно 0, ошибок 0, застряло 0 diff --git a/ops/weekly/WEEKLY-2026-W45.md b/ops/weekly/WEEKLY-2026-W45.md index 245d702..1fc018d 100644 --- a/ops/weekly/WEEKLY-2026-W45.md +++ b/ops/weekly/WEEKLY-2026-W45.md @@ -1,18 +1,18 @@ -# Недельная сводка — 2026-11-05 +# Недельная сводка — 2026-11-06 ## Состояние | Метрика | Значение | |---|---| | Контейнеры | 32 из 33 | -| Упавших юнитов | 6 | +| Упавших юнитов | 1 | | Память | 11Gi / 15Gi | -| Uptime | up 42 minutes | +| Uptime | up 7 hours, 35 minutes | ## Гигиена -- находок: **19** (high: 1) -- отчёт: `report-2026-11-05.md` +- находок: **20** (high: 1) +- отчёт: `report-2026-11-06.md` ## Развитие @@ -23,7 +23,7 @@ - готовы к повышению: 0 - требуют внимания: 1 -- отчёт: `report-2026-11-05.md` +- отчёт: `report-2026-11-06.md` ## Задачи владельцу