Files
buryan-infra/ops/NIGHT-SPRINT-PLAN-2026-11-06.md
2026-11-06 09:00:28 +03:00

10 KiB
Raw Permalink Blame History

НОЧНОЙ СПРИНТ: глубокая гигиена, единый вход, Gitea, вектор развития

Дата: 06.11.2026 · Владелец: Роман · Исполнитель: агент


0. Что сделано к этому моменту (факты)

Действие Результат
Бэкапы перед работами /mnt/backups/pre-hygiene-20261106-0112 — 428 МБ: /etc/pve, репозиторий, policy+jobs, hermes.db, 32 compose-архива
Свежие vzdump CT108 06.11 01:00 (1.8 ГБ), CT109 05.11 04:00, CT114 05.11 03:30
Глубокий анализ 33 CT, 168 docker-контейнеров, 266 находок, LLM выдумок: 0
Ночной анализ LLM задание 03:00, проверка фактов работает
LLM-узел вернулся, 200

1. ГЛАВНАЯ НАХОДКА ГЛУБОКОГО АНАЛИЗА

Все oauth2-proxy в цикле перезапусков

CT102 oauth2-proxy-dashy      7 перезапусков
CT106 oauth2-proxy-home       7
CT107 oauth2-proxy-status     7
CT108 oauth2-proxy-nodered   11
CT108 oauth2-proxy-n8n       11
CT115 oauth2-proxy-openclaw   7
CT140 gitea-runner            6
CT155 oauth2-proxy-element    7

Это не косметика. Каждый перезапуск = кратковременная потеря входа в сервис. Если пользователь попадёт в этот момент — получит ошибку 502. И это 8 сервисов одновременно.

Вероятная причина: после отключения питания Authentik (CT114) поднимался последним, oauth2-proxy не мог получить конфиг/ключи и падал в цикле. Docker перезапускал по restart: unless-stopped, счётчик накопился.

Что делать (в этом спринте):

  1. Проверить логи каждого: docker logs oauth2-proxy-* | grep -i error
  2. Убедиться, что Authentik доступен до старта прокси (order в compose: depends_on + healthcheck)
  3. Добавить в hub-boot-recover ожидание https://authentik.buryans.ru/-/health/live/ перед стартом SSO-прокси
  4. Сбросить счётчики: docker update --restart=unless-stopped после стабилизации

2. ПЛАН ГЛУБОКОЙ ГИГИЕНЫ (5 фаз, по важности)

Фаза 1 — Стабильность SSO (сегодня)

Шаг Действие Проверка
1.1 Логи всех 8 oauth2-proxy найти общую ошибку
1.2 Ждать Authentik перед прокси curl -sf https://authentik.../health в цикле
1.3 Перезапустить по одному, проверить вход HTTP 200/302 без SSO-ошибок
1.4 Сбросить restart-счётчики docker ps без "(Restarting)"

Критерий: 0 перезапусков за час, все 8 сервисов пускают.

Фаза 2 — Перезапуски и healthchecks (следующая ночь)

  • 168 контейнеров: у скольких нет healthcheck (нашлось много)
  • Добавить healthcheck в compose для критичных: Authentik, Gitea, hub-core, Jellyfin, HA
  • Цель: агент видит «здоров / не здоров», а не «запущен»

Фаза 3 — Плавающие теги (низкий риск, но накопительный)

Найдено много образов :latest. Каждое обновление — лотерея.

  • Зафиксировать версии для критичных сервисов в compose
  • Оставить latest только там, где мы готовы к сюрпризам
  • check-compose-parity.py уже ловит расхождения

Фаза 4 — Диск и мусор

  • CT с заполнением >85 % (CT107 77 %, CT134 70 % — близко)
  • Docker-мусор: образы старше 180 дней (33 шт.), тома без контейнеров
  • Логи >200 МБ

Фаза 5 — Документирование и закрепление

  • Каждая находка → запись в ops/hygiene/ с причиной и решением
  • Правило: «что сломалось, почему, как проверили»
  • Повторный прогон deep_analysis.py → сравнение с этим отчётом

3. ПУНКТ 9 ПЕРЕОСМЫСЛЕН: единая БД + Authentik для всех

Вы уточнили: не идентичность агента, а все сервисы под одной БД и единым входом через Authentik.

Что это значит практически

Слой Сейчас Должно быть
Вход часть сервисов за Authentik, 22 — напрямую все веб-панели за Authentik (кроме API/плееров)
Базы 43 базы в 6 СУБД (postgres ×2, mariadb ×2, sqlite) одна PostgreSQL-кластер на CT151 + одна MariaDB, остальное — по обоснованию
Секреты файлы в /root/.*, .env на CT Vaultwarden или Authentik-провайдеры

Порядок (безопасный, по одному сервису)

  1. Инвентаризация — таблица: сервис, БД, тип, объём, SSO-статус. Уже есть в реестре, надо добить.
  2. SSO — начать с 5 сервисов с наибольшим риском (админки: Gitea, Uptime Kuma, Dozzle, Portainer, Node-RED).
  3. Базы — НЕ объединять всё в одну: это антипаттерн (один сбой = всё лежит). Правильно: один кластер, много баз с бэкапом и мониторингом.
  4. Проверка — после каждого сервиса вход работает, данные целы.

Важно: перенос баз — самая рискованная операция. Только со снапшотом CT и проверенным бэкапом.


4. GITEA — навести порядок

Что проверить (аудит)

Что Зачем
CI-прогоны зелёные ли, что тормозит (runner перезапускался 6 раз)
Ветки сколько мёртвых, что не смержено
Issues дубли, устаревшие
Репозитории нет ли тестовых/заброшенных
Wiki Plan.md синхронизирована ли с реальностью
Права кто имеет доступ к buryan-infra
Секреты не попали ли ключи в историю коммитов

Новые задачи (добавить в Issues)

  1. V1.1-9: резервный LLM-путь (RAG без эмбеддингов)
  2. V1.1-5: автозапуск docker внутри CT после сброса
  3. V1.1-4: приоритизация уведомлений (1–3 в день)
  4. HYG-1: oauth2-proxy цикл перезапусков
  5. HYG-2: healthchecks для критичных сервисов
  6. HYG-3: фиксация тегов образов
  7. SSO-1: 22 сервиса без единого входа
  8. DB-1: инвентаризация 43 баз
  9. V2-A: предиктивный диск/память
  10. V2-B: история инцидентов

5. VECTOR: куда двигаемся дальше

Уровень 1 (сейчас): «система, которая сама себя поднимает»

  • Автовосстановление ✅
  • Гигиена ✅
  • Память ✅

Уровень 2 (V1.1): «система, которая объясняет»

  • Почему упало, что было раньше, что изменится
  • Отчёты с источниками и уверенностью
  • Единый вход, предсказуемые обновления

Уровень 3 (V2): «система, которая предсказывает»

  • Диск кончится через N дней
  • Память растёт, за неделю упрёмся
  • Похожий инцидент решался так-то — применяю

Уровень 4 (V3): «система, которая советует архитектуру»

  • «Эти 5 сервисов едят 40 % памяти и не используются»
  • «Базу X пора вынести на отдельный диск»
  • «Пора добавить второй узел, нагрузка растёт»

Правило роста: каждый уровень строится только после стабилизации предыдущего. Прыгать нельзя — история падений это подтверждает.


6. ЧТО НЕ СДЕЛАНО И ПОЧЕМУ

Что Почему
Ссылка DeepSeek CloudFront 403 — недоступна программно. Нужен текст из чата
Глубокие правки (перенос БД, массовый SSO) требуют снапшотов + подтверждения каждого сервиса
V2 код сделаны отчёты и правила; предиктивные запросы Prometheus — следующий шаг
Gitea Issues подготовлены 10 задач, создание — отдельный шаг (нужен доступ к API или ручное)

Все цифры в документе проверены командами. Отчёты: ops/hygiene/DEEP-ANALYSIS-2026-11-06.md, ops/hygiene/report-2026-11-06.md.