Files
buryan-infra/ops/audit/RETROSPECTIVE-F6.md

11 KiB
Raw Permalink Blame History

Ретроспектива спринта F6

Дата: 2026-10-14 Спринт: F6 — «Автоматизация обновлений и наблюдаемость» Итог: задачи F6-1…F6-7 выполнены. Версия зафиксирована тегом v1.4


1. Что планировалось и что получилось

Задача План Факт
F6-1 Ядро менеджера обновлений Было сломано, переписано заново
F6-2 Самостоятельная регистрация Работает, описано в ранбуке
F6-3 Слежение за версиями Работает, найдены ложные срабатывания, исправлено
F6-4 Поток одобрения обновлений Собран с нуля, проверен живым нажатием кнопки
F6-5 Проверка отката Проведена: откат за 90 секунд, задача sev:1 создана
F6-6 Проактивный мониторинг Сделан, попутно починен сбор метрик
F6-7 Ретроспектива и ранбуки Этот документ и четыре ранбука

2. Главное открытие спринта

Система трижды сообщала об успехе, ничего не сделав. Это не три разных случая, а одна закономерность в трёх формах:

Форма Как выглядело Что было на самом деле
Код возврата curl В журнале «задача в Gitea создана» Gitea вернула 422, задачи нет
Проверка здоровья «Проверка пройдена, обновлено» Контейнер работал из старого образа
Запись в журнале «ГОТОВО! Сервис обновлён» Образ скачан, контейнер не пересоздан

Отсюда правило, которое стоит перенести на всю дальнейшую работу: проверять надо результат, а не факт выполнения команды.

У каждой проверки теперь есть подтверждение: образ работающего контейнера сравнивается со скачанным, факт записи в базу проверяется, состояние фиксируется.


3. Что нашлось сломанным (и это ценнее, чем сделанное)

Данные были под угрозой

  • Резервные копии контейнеров не создавались две недели. Скрипт ротации падал каждое воскресенье из-за синтаксической ошибки, копии копились, том копий заполнился на 100%. При заполнении пула ломаются не копии, а данные.
  • Контроль пула всё это время писал CRITICAL каждые 5 минут — 15 677 записей — и никого не уведомлял. Скрипт умел только писать в базу.

Обновления не работали нигде

  • Gitea не обновлялась с июля: «обновление» 9 октября свелось к скачиванию образа. Три независимые причины: нет файла compose, нет плагина compose (в 12 контейнерах из 26!), AppArmor мешает запуску нового контейнера.
  • Медиа-сервисы, Prometheus, Syncthing, Linkwarden — та же история с плагином.

Наблюдаемость отсутствовала

  • 28 сборщиков метрик работали, а Prometheus читал данные с себя одного. Диски, процессор и память гостей не собирались вообще.
  • Диски никто не контролировал: контейнеры стояли на 86–89%, узнали случайно.
  • Сроки сертификатов никто не проверял.

Мелкое, но показательное

  • yq версии 4 не понимает empty — реестр сервисов не читался бы вовсе.
  • В расписании копирования был несуществующий контейнер CT 131.
  • Кнопка «Обновить» в Telegram была нарисована, а обработчика под ней не существовало никогда.

4. Наши собственные ошибки

Честный раздел: часть проблем спринта создали мы сами.

Ошибка Как проявилась Вывод
Заменил docker compose up -d на docker restart при переписывании Обновления перестали применяться, отчёт говорил «обновлено» Регрессию поймал владелец вопросом «а точно обновилось?»
Создал таблицу и не выдал права боту Кнопка одобрения молча не работала Новая таблица — это не только CREATE TABLE
Проверял успех curl по коду возврата Ложные записи об успехе Проверять код ответа HTTP
Проверка контейнера по вхождению имени Для dashy находился oauth2-proxy-dashy Сначала точное соответствие, потом догадки
Считал, что docker restart перезапускает сервис Версия не менялась Перезапуск ≠ пересоздание
Отложил уборку снимков «на потом» Два снимка на 14 ГБ заполнили пул Убирать сразу, а не когда-нибудь

Общее у всех: проверка «команда выполнилась» вместо «результат достигнут».


5. Что сделано в цифрах

Показатель Было Стало
Пул томов 80,65% 46%
Том резервных копий 100%, 0 байт свободно 38%
Резервные копии не создавались 2 недели работают, проверены
Целей в Prometheus 1 29
Плагин compose 14 из 26 26 из 26
Gitea 1.25.4, не обновлялась 28.1.0, управляется через compose
Контроль дисков нет ежечасно, 30 точек
Контроль сертификатов нет ежедневно, 14 доменов
Кнопка одобрения обновлений не работала проверена живым нажатием

Освобождено места: 63 ГБ копий, ~18 ГБ логов, 14 ГБ снимков.

Коммитов за день: 40.


6. Что осталось и почему это осознанно

Что Почему не сейчас
Ротация секретов Требует карты зависимостей и отдельного окна. План готов: docs/SECRETS-ROTATION-PLAN.md
Миграция SQLite на PostgreSQL Отдельное направление, затрагивает все сервисы
Графики в Grafana Данные собираются, панелей нет — работа отдельная
Alertmanager Пока уведомления шлют скрипты, этого достаточно
13 задач-артефактов в Gitea Закрыты как следы прежней версии workflow

Компромиссы, принятые сознательно:

  • security_opt: apparmor:unconfined для Gitea — контейнер и так работал в этом режиме, менять не стали;
  • права на таблицы выдаются пользователю n8n, под которым ходят и бот, и n8n, — разграничение между ними отсутствует и требует отдельной работы;
  • снимок и старый контейнер Gitea оставлены на сутки для отката — их надо удалить, иначе повторится история с заполненным пулом.

7. Правила, которые стоит унести в следующие спринты

  1. Проверять результат, а не факт выполнения. Признак успеха должен быть наблюдаемым: запись в базе, совпадение версий, файл состояния.
  2. Убирать за собой сразу. Снимки, старые контейнеры, временные файлы. Отложенная уборка уже дважды за день привела к нехватке места.
  3. Новая таблица — это права. Сразу выдавать тому, кто с ней работает.
  4. Компромисс записывать. «Временно» и «пока сойдёт» должны быть в документе с причиной, иначе через месяц никто не вспомнит, почему так.
  5. Проверять на живом сервисе. Три из четырёх дефектов нашлись только при реальном прогоне, чтение кода их не показывало.
  6. Одна роль — одно место хранения секрета. Уже применено к ботам, распространить на остальное.

8. Связанные документы

  • docs/SECRETS-ROTATION-PLAN.md — план смены секретов
  • ops/runbooks/update-manager.md — система обновлений
  • ops/runbooks/user-provisioning.md — выдача доступов
  • ops/runbooks/monitoring.md — наблюдение за инфраструктурой
  • ops/audit/F6-4-update-flow-report.md — отчёт по потоку обновлений
  • ops/audit/F6-6-monitoring-report.md — отчёт по мониторингу
  • ops/audit/GITEA-COMPOSE-MIGRATION.md — перенос Gitea на compose
  • ops/audit/SPRINT-F6-PLAN-v2.md — план спринта