160 lines
11 KiB
Markdown
160 lines
11 KiB
Markdown
# Ретроспектива спринта F6
|
||
|
||
**Дата:** 2026-10-14
|
||
**Спринт:** F6 — «Автоматизация обновлений и наблюдаемость»
|
||
**Итог:** задачи F6-1…F6-7 выполнены. Версия зафиксирована тегом **v1.4**
|
||
|
||
---
|
||
|
||
## 1. Что планировалось и что получилось
|
||
|
||
| Задача | План | Факт |
|
||
|---|---|---|
|
||
| F6-1 | Ядро менеджера обновлений | Было сломано, переписано заново |
|
||
| F6-2 | Самостоятельная регистрация | Работает, описано в ранбуке |
|
||
| F6-3 | Слежение за версиями | Работает, найдены ложные срабатывания, исправлено |
|
||
| F6-4 | Поток одобрения обновлений | Собран с нуля, проверен живым нажатием кнопки |
|
||
| F6-5 | Проверка отката | Проведена: откат за 90 секунд, задача sev:1 создана |
|
||
| F6-6 | Проактивный мониторинг | Сделан, попутно починен сбор метрик |
|
||
| F6-7 | Ретроспектива и ранбуки | Этот документ и четыре ранбука |
|
||
|
||
---
|
||
|
||
## 2. Главное открытие спринта
|
||
|
||
**Система трижды сообщала об успехе, ничего не сделав.** Это не три разных
|
||
случая, а одна закономерность в трёх формах:
|
||
|
||
| Форма | Как выглядело | Что было на самом деле |
|
||
|---|---|---|
|
||
| Код возврата `curl` | В журнале «задача в Gitea создана» | Gitea вернула `422`, задачи нет |
|
||
| Проверка здоровья | «Проверка пройдена, обновлено» | Контейнер работал из старого образа |
|
||
| Запись в журнале | «ГОТОВО! Сервис обновлён» | Образ скачан, контейнер не пересоздан |
|
||
|
||
Отсюда правило, которое стоит перенести на всю дальнейшую работу:
|
||
**проверять надо результат, а не факт выполнения команды.**
|
||
|
||
У каждой проверки теперь есть подтверждение: образ работающего контейнера
|
||
сравнивается со скачанным, факт записи в базу проверяется, состояние фиксируется.
|
||
|
||
---
|
||
|
||
## 3. Что нашлось сломанным (и это ценнее, чем сделанное)
|
||
|
||
### Данные были под угрозой
|
||
|
||
- **Резервные копии контейнеров не создавались две недели.** Скрипт ротации
|
||
падал каждое воскресенье из-за синтаксической ошибки, копии копились,
|
||
том копий заполнился на 100%. При заполнении пула ломаются не копии,
|
||
а данные.
|
||
- **Контроль пула всё это время писал `CRITICAL` каждые 5 минут** — 15 677
|
||
записей — и никого не уведомлял. Скрипт умел только писать в базу.
|
||
|
||
### Обновления не работали нигде
|
||
|
||
- Gitea не обновлялась с июля: «обновление» 9 октября свелось к скачиванию
|
||
образа. Три независимые причины: нет файла compose, **нет плагина compose**
|
||
(в 12 контейнерах из 26!), AppArmor мешает запуску нового контейнера.
|
||
- Медиа-сервисы, Prometheus, Syncthing, Linkwarden — та же история с плагином.
|
||
|
||
### Наблюдаемость отсутствовала
|
||
|
||
- **28 сборщиков метрик работали, а Prometheus читал данные с себя одного.**
|
||
Диски, процессор и память гостей не собирались вообще.
|
||
- Диски никто не контролировал: контейнеры стояли на 86–89%, узнали случайно.
|
||
- Сроки сертификатов никто не проверял.
|
||
|
||
### Мелкое, но показательное
|
||
|
||
- `yq` версии 4 не понимает `empty` — реестр сервисов не читался бы вовсе.
|
||
- В расписании копирования был несуществующий контейнер CT 131.
|
||
- Кнопка «Обновить» в Telegram была нарисована, а обработчика под ней
|
||
не существовало никогда.
|
||
|
||
---
|
||
|
||
## 4. Наши собственные ошибки
|
||
|
||
Честный раздел: часть проблем спринта создали мы сами.
|
||
|
||
| Ошибка | Как проявилась | Вывод |
|
||
|---|---|---|
|
||
| Заменил `docker compose up -d` на `docker restart` при переписывании | Обновления перестали применяться, отчёт говорил «обновлено» | Регрессию поймал владелец вопросом «а точно обновилось?» |
|
||
| Создал таблицу и не выдал права боту | Кнопка одобрения молча не работала | Новая таблица — это не только `CREATE TABLE` |
|
||
| Проверял успех `curl` по коду возврата | Ложные записи об успехе | Проверять код ответа HTTP |
|
||
| Проверка контейнера по вхождению имени | Для `dashy` находился `oauth2-proxy-dashy` | Сначала точное соответствие, потом догадки |
|
||
| Считал, что `docker restart` перезапускает сервис | Версия не менялась | Перезапуск ≠ пересоздание |
|
||
| Отложил уборку снимков «на потом» | Два снимка на 14 ГБ заполнили пул | Убирать сразу, а не когда-нибудь |
|
||
|
||
Общее у всех: **проверка «команда выполнилась» вместо «результат достигнут».**
|
||
|
||
---
|
||
|
||
## 5. Что сделано в цифрах
|
||
|
||
| Показатель | Было | Стало |
|
||
|---|---|---|
|
||
| Пул томов | **80,65%** | **46%** |
|
||
| Том резервных копий | 100%, 0 байт свободно | 38% |
|
||
| Резервные копии | не создавались 2 недели | работают, проверены |
|
||
| Целей в Prometheus | 1 | **29** |
|
||
| Плагин compose | 14 из 26 | **26 из 26** |
|
||
| Gitea | 1.25.4, не обновлялась | **28.1.0**, управляется через compose |
|
||
| Контроль дисков | нет | ежечасно, 30 точек |
|
||
| Контроль сертификатов | нет | ежедневно, 14 доменов |
|
||
| Кнопка одобрения обновлений | не работала | проверена живым нажатием |
|
||
|
||
Освобождено места: **63 ГБ** копий, **~18 ГБ** логов, **14 ГБ** снимков.
|
||
|
||
Коммитов за день: **40**.
|
||
|
||
---
|
||
|
||
## 6. Что осталось и почему это осознанно
|
||
|
||
| Что | Почему не сейчас |
|
||
|---|---|
|
||
| Ротация секретов | Требует карты зависимостей и отдельного окна. План готов: `docs/SECRETS-ROTATION-PLAN.md` |
|
||
| Миграция SQLite на PostgreSQL | Отдельное направление, затрагивает все сервисы |
|
||
| Графики в Grafana | Данные собираются, панелей нет — работа отдельная |
|
||
| Alertmanager | Пока уведомления шлют скрипты, этого достаточно |
|
||
| 13 задач-артефактов в Gitea | Закрыты как следы прежней версии workflow |
|
||
|
||
**Компромиссы, принятые сознательно:**
|
||
|
||
- `security_opt: apparmor:unconfined` для Gitea — контейнер и так работал в этом
|
||
режиме, менять не стали;
|
||
- права на таблицы выдаются пользователю `n8n`, под которым ходят и бот, и n8n, —
|
||
разграничение между ними отсутствует и требует отдельной работы;
|
||
- снимок и старый контейнер Gitea оставлены на сутки для отката — их **надо
|
||
удалить**, иначе повторится история с заполненным пулом.
|
||
|
||
---
|
||
|
||
## 7. Правила, которые стоит унести в следующие спринты
|
||
|
||
1. **Проверять результат, а не факт выполнения.** Признак успеха должен быть
|
||
наблюдаемым: запись в базе, совпадение версий, файл состояния.
|
||
2. **Убирать за собой сразу.** Снимки, старые контейнеры, временные файлы.
|
||
Отложенная уборка уже дважды за день привела к нехватке места.
|
||
3. **Новая таблица — это права.** Сразу выдавать тому, кто с ней работает.
|
||
4. **Компромисс записывать.** «Временно» и «пока сойдёт» должны быть в документе
|
||
с причиной, иначе через месяц никто не вспомнит, почему так.
|
||
5. **Проверять на живом сервисе.** Три из четырёх дефектов нашлись только при
|
||
реальном прогоне, чтение кода их не показывало.
|
||
6. **Одна роль — одно место хранения секрета.** Уже применено к ботам,
|
||
распространить на остальное.
|
||
|
||
---
|
||
|
||
## 8. Связанные документы
|
||
|
||
- `docs/SECRETS-ROTATION-PLAN.md` — план смены секретов
|
||
- `ops/runbooks/update-manager.md` — система обновлений
|
||
- `ops/runbooks/user-provisioning.md` — выдача доступов
|
||
- `ops/runbooks/monitoring.md` — наблюдение за инфраструктурой
|
||
- `ops/audit/F6-4-update-flow-report.md` — отчёт по потоку обновлений
|
||
- `ops/audit/F6-6-monitoring-report.md` — отчёт по мониторингу
|
||
- `ops/audit/GITEA-COMPOSE-MIGRATION.md` — перенос Gitea на compose
|
||
- `ops/audit/SPRINT-F6-PLAN-v2.md` — план спринта
|