10 KiB
НОЧНОЙ СПРИНТ: глубокая гигиена, единый вход, Gitea, вектор развития
Дата: 06.11.2026 · Владелец: Роман · Исполнитель: агент
0. Что сделано к этому моменту (факты)
| Действие | Результат |
|---|---|
| Бэкапы перед работами | /mnt/backups/pre-hygiene-20261106-0112 — 428 МБ: /etc/pve, репозиторий, policy+jobs, hermes.db, 32 compose-архива |
| Свежие vzdump | CT108 06.11 01:00 (1.8 ГБ), CT109 05.11 04:00, CT114 05.11 03:30 |
| Глубокий анализ | 33 CT, 168 docker-контейнеров, 266 находок, LLM выдумок: 0 |
| Ночной анализ LLM | задание 03:00, проверка фактов работает |
| LLM-узел | вернулся, 200 |
1. ГЛАВНАЯ НАХОДКА ГЛУБОКОГО АНАЛИЗА
Все oauth2-proxy в цикле перезапусков
CT102 oauth2-proxy-dashy 7 перезапусков
CT106 oauth2-proxy-home 7
CT107 oauth2-proxy-status 7
CT108 oauth2-proxy-nodered 11
CT108 oauth2-proxy-n8n 11
CT115 oauth2-proxy-openclaw 7
CT140 gitea-runner 6
CT155 oauth2-proxy-element 7
Это не косметика. Каждый перезапуск = кратковременная потеря входа в сервис. Если пользователь попадёт в этот момент — получит ошибку 502. И это 8 сервисов одновременно.
Вероятная причина: после отключения питания Authentik (CT114) поднимался последним, oauth2-proxy не мог получить конфиг/ключи и падал в цикле. Docker перезапускал по restart: unless-stopped, счётчик накопился.
Что делать (в этом спринте):
- Проверить логи каждого:
docker logs oauth2-proxy-* | grep -i error - Убедиться, что Authentik доступен до старта прокси (order в compose:
depends_on+ healthcheck) - Добавить в
hub-boot-recoverожиданиеhttps://authentik.buryans.ru/-/health/live/перед стартом SSO-прокси - Сбросить счётчики:
docker update --restart=unless-stoppedпосле стабилизации
2. ПЛАН ГЛУБОКОЙ ГИГИЕНЫ (5 фаз, по важности)
Фаза 1 — Стабильность SSO (сегодня)
| Шаг | Действие | Проверка |
|---|---|---|
| 1.1 | Логи всех 8 oauth2-proxy | найти общую ошибку |
| 1.2 | Ждать Authentik перед прокси | curl -sf https://authentik.../health в цикле |
| 1.3 | Перезапустить по одному, проверить вход | HTTP 200/302 без SSO-ошибок |
| 1.4 | Сбросить restart-счётчики | docker ps без "(Restarting)" |
Критерий: 0 перезапусков за час, все 8 сервисов пускают.
Фаза 2 — Перезапуски и healthchecks (следующая ночь)
- 168 контейнеров: у скольких нет healthcheck (нашлось много)
- Добавить healthcheck в compose для критичных: Authentik, Gitea, hub-core, Jellyfin, HA
- Цель: агент видит «здоров / не здоров», а не «запущен»
Фаза 3 — Плавающие теги (низкий риск, но накопительный)
Найдено много образов :latest. Каждое обновление — лотерея.
- Зафиксировать версии для критичных сервисов в compose
- Оставить
latestтолько там, где мы готовы к сюрпризам check-compose-parity.pyуже ловит расхождения
Фаза 4 — Диск и мусор
- CT с заполнением >85 % (CT107 77 %, CT134 70 % — близко)
- Docker-мусор: образы старше 180 дней (33 шт.), тома без контейнеров
- Логи >200 МБ
Фаза 5 — Документирование и закрепление
- Каждая находка → запись в
ops/hygiene/с причиной и решением - Правило: «что сломалось, почему, как проверили»
- Повторный прогон
deep_analysis.py→ сравнение с этим отчётом
3. ПУНКТ 9 ПЕРЕОСМЫСЛЕН: единая БД + Authentik для всех
Вы уточнили: не идентичность агента, а все сервисы под одной БД и единым входом через Authentik.
Что это значит практически
| Слой | Сейчас | Должно быть |
|---|---|---|
| Вход | часть сервисов за Authentik, 22 — напрямую | все веб-панели за Authentik (кроме API/плееров) |
| Базы | 43 базы в 6 СУБД (postgres ×2, mariadb ×2, sqlite) | одна PostgreSQL-кластер на CT151 + одна MariaDB, остальное — по обоснованию |
| Секреты | файлы в /root/.*, .env на CT |
Vaultwarden или Authentik-провайдеры |
Порядок (безопасный, по одному сервису)
- Инвентаризация — таблица: сервис, БД, тип, объём, SSO-статус. Уже есть в реестре, надо добить.
- SSO — начать с 5 сервисов с наибольшим риском (админки: Gitea, Uptime Kuma, Dozzle, Portainer, Node-RED).
- Базы — НЕ объединять всё в одну: это антипаттерн (один сбой = всё лежит). Правильно: один кластер, много баз с бэкапом и мониторингом.
- Проверка — после каждого сервиса вход работает, данные целы.
Важно: перенос баз — самая рискованная операция. Только со снапшотом CT и проверенным бэкапом.
4. GITEA — навести порядок
Что проверить (аудит)
| Что | Зачем |
|---|---|
| CI-прогоны | зелёные ли, что тормозит (runner перезапускался 6 раз) |
| Ветки | сколько мёртвых, что не смержено |
| Issues | дубли, устаревшие |
| Репозитории | нет ли тестовых/заброшенных |
Wiki Plan.md |
синхронизирована ли с реальностью |
| Права | кто имеет доступ к buryan-infra |
| Секреты | не попали ли ключи в историю коммитов |
Новые задачи (добавить в Issues)
- V1.1-9: резервный LLM-путь (RAG без эмбеддингов)
- V1.1-5: автозапуск docker внутри CT после сброса
- V1.1-4: приоритизация уведомлений (1–3 в день)
- HYG-1: oauth2-proxy цикл перезапусков
- HYG-2: healthchecks для критичных сервисов
- HYG-3: фиксация тегов образов
- SSO-1: 22 сервиса без единого входа
- DB-1: инвентаризация 43 баз
- V2-A: предиктивный диск/память
- V2-B: история инцидентов
5. VECTOR: куда двигаемся дальше
Уровень 1 (сейчас): «система, которая сама себя поднимает»
- Автовосстановление ✅
- Гигиена ✅
- Память ✅
Уровень 2 (V1.1): «система, которая объясняет»
- Почему упало, что было раньше, что изменится
- Отчёты с источниками и уверенностью
- Единый вход, предсказуемые обновления
Уровень 3 (V2): «система, которая предсказывает»
- Диск кончится через N дней
- Память растёт, за неделю упрёмся
- Похожий инцидент решался так-то — применяю
Уровень 4 (V3): «система, которая советует архитектуру»
- «Эти 5 сервисов едят 40 % памяти и не используются»
- «Базу X пора вынести на отдельный диск»
- «Пора добавить второй узел, нагрузка растёт»
Правило роста: каждый уровень строится только после стабилизации предыдущего. Прыгать нельзя — история падений это подтверждает.
6. ЧТО НЕ СДЕЛАНО И ПОЧЕМУ
| Что | Почему |
|---|---|
| Ссылка DeepSeek | CloudFront 403 — недоступна программно. Нужен текст из чата |
| Глубокие правки (перенос БД, массовый SSO) | требуют снапшотов + подтверждения каждого сервиса |
| V2 код | сделаны отчёты и правила; предиктивные запросы Prometheus — следующий шаг |
| Gitea Issues | подготовлены 10 задач, создание — отдельный шаг (нужен доступ к API или ручное) |
Все цифры в документе проверены командами. Отчёты: ops/hygiene/DEEP-ANALYSIS-2026-11-06.md, ops/hygiene/report-2026-11-06.md.