Files
buryan-infra/ops/audit/RETROSPECTIVE-F6.md
T

160 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Ретроспектива спринта F6
**Дата:** 2026-10-14
**Спринт:** F6 — «Автоматизация обновлений и наблюдаемость»
**Итог:** задачи F6-1…F6-7 выполнены. Версия зафиксирована тегом **v1.4**
---
## 1. Что планировалось и что получилось
| Задача | План | Факт |
|---|---|---|
| F6-1 | Ядро менеджера обновлений | Было сломано, переписано заново |
| F6-2 | Самостоятельная регистрация | Работает, описано в ранбуке |
| F6-3 | Слежение за версиями | Работает, найдены ложные срабатывания, исправлено |
| F6-4 | Поток одобрения обновлений | Собран с нуля, проверен живым нажатием кнопки |
| F6-5 | Проверка отката | Проведена: откат за 90 секунд, задача sev:1 создана |
| F6-6 | Проактивный мониторинг | Сделан, попутно починен сбор метрик |
| F6-7 | Ретроспектива и ранбуки | Этот документ и четыре ранбука |
---
## 2. Главное открытие спринта
**Система трижды сообщала об успехе, ничего не сделав.** Это не три разных
случая, а одна закономерность в трёх формах:
| Форма | Как выглядело | Что было на самом деле |
|---|---|---|
| Код возврата `curl` | В журнале «задача в Gitea создана» | Gitea вернула `422`, задачи нет |
| Проверка здоровья | «Проверка пройдена, обновлено» | Контейнер работал из старого образа |
| Запись в журнале | «ГОТОВО! Сервис обновлён» | Образ скачан, контейнер не пересоздан |
Отсюда правило, которое стоит перенести на всю дальнейшую работу:
**проверять надо результат, а не факт выполнения команды.**
У каждой проверки теперь есть подтверждение: образ работающего контейнера
сравнивается со скачанным, факт записи в базу проверяется, состояние фиксируется.
---
## 3. Что нашлось сломанным (и это ценнее, чем сделанное)
### Данные были под угрозой
- **Резервные копии контейнеров не создавались две недели.** Скрипт ротации
падал каждое воскресенье из-за синтаксической ошибки, копии копились,
том копий заполнился на 100%. При заполнении пула ломаются не копии,
а данные.
- **Контроль пула всё это время писал `CRITICAL` каждые 5 минут** — 15 677
записей — и никого не уведомлял. Скрипт умел только писать в базу.
### Обновления не работали нигде
- Gitea не обновлялась с июля: «обновление» 9 октября свелось к скачиванию
образа. Три независимые причины: нет файла compose, **нет плагина compose**
(в 12 контейнерах из 26!), AppArmor мешает запуску нового контейнера.
- Медиа-сервисы, Prometheus, Syncthing, Linkwarden — та же история с плагином.
### Наблюдаемость отсутствовала
- **28 сборщиков метрик работали, а Prometheus читал данные с себя одного.**
Диски, процессор и память гостей не собирались вообще.
- Диски никто не контролировал: контейнеры стояли на 86–89%, узнали случайно.
- Сроки сертификатов никто не проверял.
### Мелкое, но показательное
- `yq` версии 4 не понимает `empty` — реестр сервисов не читался бы вовсе.
- В расписании копирования был несуществующий контейнер CT 131.
- Кнопка «Обновить» в Telegram была нарисована, а обработчика под ней
не существовало никогда.
---
## 4. Наши собственные ошибки
Честный раздел: часть проблем спринта создали мы сами.
| Ошибка | Как проявилась | Вывод |
|---|---|---|
| Заменил `docker compose up -d` на `docker restart` при переписывании | Обновления перестали применяться, отчёт говорил «обновлено» | Регрессию поймал владелец вопросом «а точно обновилось?» |
| Создал таблицу и не выдал права боту | Кнопка одобрения молча не работала | Новая таблица — это не только `CREATE TABLE` |
| Проверял успех `curl` по коду возврата | Ложные записи об успехе | Проверять код ответа HTTP |
| Проверка контейнера по вхождению имени | Для `dashy` находился `oauth2-proxy-dashy` | Сначала точное соответствие, потом догадки |
| Считал, что `docker restart` перезапускает сервис | Версия не менялась | Перезапуск ≠ пересоздание |
| Отложил уборку снимков «на потом» | Два снимка на 14 ГБ заполнили пул | Убирать сразу, а не когда-нибудь |
Общее у всех: **проверка «команда выполнилась» вместо «результат достигнут».**
---
## 5. Что сделано в цифрах
| Показатель | Было | Стало |
|---|---|---|
| Пул томов | **80,65%** | **46%** |
| Том резервных копий | 100%, 0 байт свободно | 38% |
| Резервные копии | не создавались 2 недели | работают, проверены |
| Целей в Prometheus | 1 | **29** |
| Плагин compose | 14 из 26 | **26 из 26** |
| Gitea | 1.25.4, не обновлялась | **28.1.0**, управляется через compose |
| Контроль дисков | нет | ежечасно, 30 точек |
| Контроль сертификатов | нет | ежедневно, 14 доменов |
| Кнопка одобрения обновлений | не работала | проверена живым нажатием |
Освобождено места: **63 ГБ** копий, **~18 ГБ** логов, **14 ГБ** снимков.
Коммитов за день: **40**.
---
## 6. Что осталось и почему это осознанно
| Что | Почему не сейчас |
|---|---|
| Ротация секретов | Требует карты зависимостей и отдельного окна. План готов: `docs/SECRETS-ROTATION-PLAN.md` |
| Миграция SQLite на PostgreSQL | Отдельное направление, затрагивает все сервисы |
| Графики в Grafana | Данные собираются, панелей нет — работа отдельная |
| Alertmanager | Пока уведомления шлют скрипты, этого достаточно |
| 13 задач-артефактов в Gitea | Закрыты как следы прежней версии workflow |
**Компромиссы, принятые сознательно:**
- `security_opt: apparmor:unconfined` для Gitea — контейнер и так работал в этом
режиме, менять не стали;
- права на таблицы выдаются пользователю `n8n`, под которым ходят и бот, и n8n, —
разграничение между ними отсутствует и требует отдельной работы;
- снимок и старый контейнер Gitea оставлены на сутки для отката — их **надо
удалить**, иначе повторится история с заполненным пулом.
---
## 7. Правила, которые стоит унести в следующие спринты
1. **Проверять результат, а не факт выполнения.** Признак успеха должен быть
наблюдаемым: запись в базе, совпадение версий, файл состояния.
2. **Убирать за собой сразу.** Снимки, старые контейнеры, временные файлы.
Отложенная уборка уже дважды за день привела к нехватке места.
3. **Новая таблица — это права.** Сразу выдавать тому, кто с ней работает.
4. **Компромисс записывать.** «Временно» и «пока сойдёт» должны быть в документе
с причиной, иначе через месяц никто не вспомнит, почему так.
5. **Проверять на живом сервисе.** Три из четырёх дефектов нашлись только при
реальном прогоне, чтение кода их не показывало.
6. **Одна роль — одно место хранения секрета.** Уже применено к ботам,
распространить на остальное.
---
## 8. Связанные документы
- `docs/SECRETS-ROTATION-PLAN.md` — план смены секретов
- `ops/runbooks/update-manager.md` — система обновлений
- `ops/runbooks/user-provisioning.md` — выдача доступов
- `ops/runbooks/monitoring.md` — наблюдение за инфраструктурой
- `ops/audit/F6-4-update-flow-report.md` — отчёт по потоку обновлений
- `ops/audit/F6-6-monitoring-report.md` — отчёт по мониторингу
- `ops/audit/GITEA-COMPOSE-MIGRATION.md` — перенос Gitea на compose
- `ops/audit/SPRINT-F6-PLAN-v2.md` — план спринта