# Ретроспектива спринта F6 **Дата:** 2026-10-14 **Спринт:** F6 — «Автоматизация обновлений и наблюдаемость» **Итог:** задачи F6-1…F6-7 выполнены. Версия зафиксирована тегом **v1.4** --- ## 1. Что планировалось и что получилось | Задача | План | Факт | |---|---|---| | F6-1 | Ядро менеджера обновлений | Было сломано, переписано заново | | F6-2 | Самостоятельная регистрация | Работает, описано в ранбуке | | F6-3 | Слежение за версиями | Работает, найдены ложные срабатывания, исправлено | | F6-4 | Поток одобрения обновлений | Собран с нуля, проверен живым нажатием кнопки | | F6-5 | Проверка отката | Проведена: откат за 90 секунд, задача sev:1 создана | | F6-6 | Проактивный мониторинг | Сделан, попутно починен сбор метрик | | F6-7 | Ретроспектива и ранбуки | Этот документ и четыре ранбука | --- ## 2. Главное открытие спринта **Система трижды сообщала об успехе, ничего не сделав.** Это не три разных случая, а одна закономерность в трёх формах: | Форма | Как выглядело | Что было на самом деле | |---|---|---| | Код возврата `curl` | В журнале «задача в Gitea создана» | Gitea вернула `422`, задачи нет | | Проверка здоровья | «Проверка пройдена, обновлено» | Контейнер работал из старого образа | | Запись в журнале | «ГОТОВО! Сервис обновлён» | Образ скачан, контейнер не пересоздан | Отсюда правило, которое стоит перенести на всю дальнейшую работу: **проверять надо результат, а не факт выполнения команды.** У каждой проверки теперь есть подтверждение: образ работающего контейнера сравнивается со скачанным, факт записи в базу проверяется, состояние фиксируется. --- ## 3. Что нашлось сломанным (и это ценнее, чем сделанное) ### Данные были под угрозой - **Резервные копии контейнеров не создавались две недели.** Скрипт ротации падал каждое воскресенье из-за синтаксической ошибки, копии копились, том копий заполнился на 100%. При заполнении пула ломаются не копии, а данные. - **Контроль пула всё это время писал `CRITICAL` каждые 5 минут** — 15 677 записей — и никого не уведомлял. Скрипт умел только писать в базу. ### Обновления не работали нигде - Gitea не обновлялась с июля: «обновление» 9 октября свелось к скачиванию образа. Три независимые причины: нет файла compose, **нет плагина compose** (в 12 контейнерах из 26!), AppArmor мешает запуску нового контейнера. - Медиа-сервисы, Prometheus, Syncthing, Linkwarden — та же история с плагином. ### Наблюдаемость отсутствовала - **28 сборщиков метрик работали, а Prometheus читал данные с себя одного.** Диски, процессор и память гостей не собирались вообще. - Диски никто не контролировал: контейнеры стояли на 86–89%, узнали случайно. - Сроки сертификатов никто не проверял. ### Мелкое, но показательное - `yq` версии 4 не понимает `empty` — реестр сервисов не читался бы вовсе. - В расписании копирования был несуществующий контейнер CT 131. - Кнопка «Обновить» в Telegram была нарисована, а обработчика под ней не существовало никогда. --- ## 4. Наши собственные ошибки Честный раздел: часть проблем спринта создали мы сами. | Ошибка | Как проявилась | Вывод | |---|---|---| | Заменил `docker compose up -d` на `docker restart` при переписывании | Обновления перестали применяться, отчёт говорил «обновлено» | Регрессию поймал владелец вопросом «а точно обновилось?» | | Создал таблицу и не выдал права боту | Кнопка одобрения молча не работала | Новая таблица — это не только `CREATE TABLE` | | Проверял успех `curl` по коду возврата | Ложные записи об успехе | Проверять код ответа HTTP | | Проверка контейнера по вхождению имени | Для `dashy` находился `oauth2-proxy-dashy` | Сначала точное соответствие, потом догадки | | Считал, что `docker restart` перезапускает сервис | Версия не менялась | Перезапуск ≠ пересоздание | | Отложил уборку снимков «на потом» | Два снимка на 14 ГБ заполнили пул | Убирать сразу, а не когда-нибудь | Общее у всех: **проверка «команда выполнилась» вместо «результат достигнут».** --- ## 5. Что сделано в цифрах | Показатель | Было | Стало | |---|---|---| | Пул томов | **80,65%** | **46%** | | Том резервных копий | 100%, 0 байт свободно | 38% | | Резервные копии | не создавались 2 недели | работают, проверены | | Целей в Prometheus | 1 | **29** | | Плагин compose | 14 из 26 | **26 из 26** | | Gitea | 1.25.4, не обновлялась | **28.1.0**, управляется через compose | | Контроль дисков | нет | ежечасно, 30 точек | | Контроль сертификатов | нет | ежедневно, 14 доменов | | Кнопка одобрения обновлений | не работала | проверена живым нажатием | Освобождено места: **63 ГБ** копий, **~18 ГБ** логов, **14 ГБ** снимков. Коммитов за день: **40**. --- ## 6. Что осталось и почему это осознанно | Что | Почему не сейчас | |---|---| | Ротация секретов | Требует карты зависимостей и отдельного окна. План готов: `docs/SECRETS-ROTATION-PLAN.md` | | Миграция SQLite на PostgreSQL | Отдельное направление, затрагивает все сервисы | | Графики в Grafana | Данные собираются, панелей нет — работа отдельная | | Alertmanager | Пока уведомления шлют скрипты, этого достаточно | | 13 задач-артефактов в Gitea | Закрыты как следы прежней версии workflow | **Компромиссы, принятые сознательно:** - `security_opt: apparmor:unconfined` для Gitea — контейнер и так работал в этом режиме, менять не стали; - права на таблицы выдаются пользователю `n8n`, под которым ходят и бот, и n8n, — разграничение между ними отсутствует и требует отдельной работы; - снимок и старый контейнер Gitea оставлены на сутки для отката — их **надо удалить**, иначе повторится история с заполненным пулом. --- ## 7. Правила, которые стоит унести в следующие спринты 1. **Проверять результат, а не факт выполнения.** Признак успеха должен быть наблюдаемым: запись в базе, совпадение версий, файл состояния. 2. **Убирать за собой сразу.** Снимки, старые контейнеры, временные файлы. Отложенная уборка уже дважды за день привела к нехватке места. 3. **Новая таблица — это права.** Сразу выдавать тому, кто с ней работает. 4. **Компромисс записывать.** «Временно» и «пока сойдёт» должны быть в документе с причиной, иначе через месяц никто не вспомнит, почему так. 5. **Проверять на живом сервисе.** Три из четырёх дефектов нашлись только при реальном прогоне, чтение кода их не показывало. 6. **Одна роль — одно место хранения секрета.** Уже применено к ботам, распространить на остальное. --- ## 8. Связанные документы - `docs/SECRETS-ROTATION-PLAN.md` — план смены секретов - `ops/runbooks/update-manager.md` — система обновлений - `ops/runbooks/user-provisioning.md` — выдача доступов - `ops/runbooks/monitoring.md` — наблюдение за инфраструктурой - `ops/audit/F6-4-update-flow-report.md` — отчёт по потоку обновлений - `ops/audit/F6-6-monitoring-report.md` — отчёт по мониторингу - `ops/audit/GITEA-COMPOSE-MIGRATION.md` — перенос Gitea на compose - `ops/audit/SPRINT-F6-PLAN-v2.md` — план спринта