11 KiB
Ретроспектива спринта F6
Дата: 2026-10-14 Спринт: F6 — «Автоматизация обновлений и наблюдаемость» Итог: задачи F6-1…F6-7 выполнены. Версия зафиксирована тегом v1.4
1. Что планировалось и что получилось
| Задача | План | Факт |
|---|---|---|
| F6-1 | Ядро менеджера обновлений | Было сломано, переписано заново |
| F6-2 | Самостоятельная регистрация | Работает, описано в ранбуке |
| F6-3 | Слежение за версиями | Работает, найдены ложные срабатывания, исправлено |
| F6-4 | Поток одобрения обновлений | Собран с нуля, проверен живым нажатием кнопки |
| F6-5 | Проверка отката | Проведена: откат за 90 секунд, задача sev:1 создана |
| F6-6 | Проактивный мониторинг | Сделан, попутно починен сбор метрик |
| F6-7 | Ретроспектива и ранбуки | Этот документ и четыре ранбука |
2. Главное открытие спринта
Система трижды сообщала об успехе, ничего не сделав. Это не три разных случая, а одна закономерность в трёх формах:
| Форма | Как выглядело | Что было на самом деле |
|---|---|---|
Код возврата curl |
В журнале «задача в Gitea создана» | Gitea вернула 422, задачи нет |
| Проверка здоровья | «Проверка пройдена, обновлено» | Контейнер работал из старого образа |
| Запись в журнале | «ГОТОВО! Сервис обновлён» | Образ скачан, контейнер не пересоздан |
Отсюда правило, которое стоит перенести на всю дальнейшую работу: проверять надо результат, а не факт выполнения команды.
У каждой проверки теперь есть подтверждение: образ работающего контейнера сравнивается со скачанным, факт записи в базу проверяется, состояние фиксируется.
3. Что нашлось сломанным (и это ценнее, чем сделанное)
Данные были под угрозой
- Резервные копии контейнеров не создавались две недели. Скрипт ротации падал каждое воскресенье из-за синтаксической ошибки, копии копились, том копий заполнился на 100%. При заполнении пула ломаются не копии, а данные.
- Контроль пула всё это время писал
CRITICALкаждые 5 минут — 15 677 записей — и никого не уведомлял. Скрипт умел только писать в базу.
Обновления не работали нигде
- Gitea не обновлялась с июля: «обновление» 9 октября свелось к скачиванию образа. Три независимые причины: нет файла compose, нет плагина compose (в 12 контейнерах из 26!), AppArmor мешает запуску нового контейнера.
- Медиа-сервисы, Prometheus, Syncthing, Linkwarden — та же история с плагином.
Наблюдаемость отсутствовала
- 28 сборщиков метрик работали, а Prometheus читал данные с себя одного. Диски, процессор и память гостей не собирались вообще.
- Диски никто не контролировал: контейнеры стояли на 86–89%, узнали случайно.
- Сроки сертификатов никто не проверял.
Мелкое, но показательное
yqверсии 4 не понимаетempty— реестр сервисов не читался бы вовсе.- В расписании копирования был несуществующий контейнер CT 131.
- Кнопка «Обновить» в Telegram была нарисована, а обработчика под ней не существовало никогда.
4. Наши собственные ошибки
Честный раздел: часть проблем спринта создали мы сами.
| Ошибка | Как проявилась | Вывод |
|---|---|---|
Заменил docker compose up -d на docker restart при переписывании |
Обновления перестали применяться, отчёт говорил «обновлено» | Регрессию поймал владелец вопросом «а точно обновилось?» |
| Создал таблицу и не выдал права боту | Кнопка одобрения молча не работала | Новая таблица — это не только CREATE TABLE |
Проверял успех curl по коду возврата |
Ложные записи об успехе | Проверять код ответа HTTP |
| Проверка контейнера по вхождению имени | Для dashy находился oauth2-proxy-dashy |
Сначала точное соответствие, потом догадки |
Считал, что docker restart перезапускает сервис |
Версия не менялась | Перезапуск ≠ пересоздание |
| Отложил уборку снимков «на потом» | Два снимка на 14 ГБ заполнили пул | Убирать сразу, а не когда-нибудь |
Общее у всех: проверка «команда выполнилась» вместо «результат достигнут».
5. Что сделано в цифрах
| Показатель | Было | Стало |
|---|---|---|
| Пул томов | 80,65% | 46% |
| Том резервных копий | 100%, 0 байт свободно | 38% |
| Резервные копии | не создавались 2 недели | работают, проверены |
| Целей в Prometheus | 1 | 29 |
| Плагин compose | 14 из 26 | 26 из 26 |
| Gitea | 1.25.4, не обновлялась | 28.1.0, управляется через compose |
| Контроль дисков | нет | ежечасно, 30 точек |
| Контроль сертификатов | нет | ежедневно, 14 доменов |
| Кнопка одобрения обновлений | не работала | проверена живым нажатием |
Освобождено места: 63 ГБ копий, ~18 ГБ логов, 14 ГБ снимков.
Коммитов за день: 40.
6. Что осталось и почему это осознанно
| Что | Почему не сейчас |
|---|---|
| Ротация секретов | Требует карты зависимостей и отдельного окна. План готов: docs/SECRETS-ROTATION-PLAN.md |
| Миграция SQLite на PostgreSQL | Отдельное направление, затрагивает все сервисы |
| Графики в Grafana | Данные собираются, панелей нет — работа отдельная |
| Alertmanager | Пока уведомления шлют скрипты, этого достаточно |
| 13 задач-артефактов в Gitea | Закрыты как следы прежней версии workflow |
Компромиссы, принятые сознательно:
security_opt: apparmor:unconfinedдля Gitea — контейнер и так работал в этом режиме, менять не стали;- права на таблицы выдаются пользователю
n8n, под которым ходят и бот, и n8n, — разграничение между ними отсутствует и требует отдельной работы; - снимок и старый контейнер Gitea оставлены на сутки для отката — их надо удалить, иначе повторится история с заполненным пулом.
7. Правила, которые стоит унести в следующие спринты
- Проверять результат, а не факт выполнения. Признак успеха должен быть наблюдаемым: запись в базе, совпадение версий, файл состояния.
- Убирать за собой сразу. Снимки, старые контейнеры, временные файлы. Отложенная уборка уже дважды за день привела к нехватке места.
- Новая таблица — это права. Сразу выдавать тому, кто с ней работает.
- Компромисс записывать. «Временно» и «пока сойдёт» должны быть в документе с причиной, иначе через месяц никто не вспомнит, почему так.
- Проверять на живом сервисе. Три из четырёх дефектов нашлись только при реальном прогоне, чтение кода их не показывало.
- Одна роль — одно место хранения секрета. Уже применено к ботам, распространить на остальное.
8. Связанные документы
docs/SECRETS-ROTATION-PLAN.md— план смены секретовops/runbooks/update-manager.md— система обновленийops/runbooks/user-provisioning.md— выдача доступовops/runbooks/monitoring.md— наблюдение за инфраструктуройops/audit/F6-4-update-flow-report.md— отчёт по потоку обновленийops/audit/F6-6-monitoring-report.md— отчёт по мониторингуops/audit/GITEA-COMPOSE-MIGRATION.md— перенос Gitea на composeops/audit/SPRINT-F6-PLAN-v2.md— план спринта