Files
buryan-infra/ops/audit/F6-4-update-flow-report.md
T

257 lines
16 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# F6-4: поток одобрения обновлений — отчёт о сборке
**Дата:** 2026-10-14
**Задача:** F6-4 «Approval-поток обновлений» (план `SPRINT-F6-PLAN-v2.md`)
**Критерий приёмки по плану:** одобренное обновление прошло end-to-end, результат в Telegram
**Статус:** ✅ выполнен, критерий приёмки подтверждён живым обновлением
---
## 1. Почему кнопка раньше не работала
Workflow F6-3 рисовал в сообщении три кнопки — «Обновить сейчас», «Отложить до 03:00»,
«Игнорировать», — но **обработчика под ними не существовало**. Проверка по всем семи
workflow показала: строка `update_now` встречается ровно один раз, в описании самой кнопки.
Дальше по цепочке из плана не было ничего:
| Звено | Состояние до |
|---|---|
| Кнопки в сообщении | нарисованы |
| Обработчик нажатия | **отсутствовал** |
| Таблица `update_queue` | **не существовала** |
| `update-runner.sh` | **не существовал** |
| Расписание раннера | **отсутствовало** |
| `safe-update.sh` | был, с шестью дефектами |
---
## 2. Что собрано
| Часть | Где | Назначение |
|---|---|---|
| Таблица `update_queue` | PostgreSQL, `buryan_monitoring` | заявка, решение человека, состояние, результат |
| Обработчик кнопок | `comms-agent` (CT 108) | `update_now` / `update_defer` / `update_ignore` → запись решения |
| `update-runner.sh` | cron на pve, раз в минуту | забирает одобренное, вызывает исполнитель, пишет результат |
| `safe-update.sh` v3 | pve | снимок → обновление → проверка → откат |
| Реестр `services.yaml` | Git | 28 сервисов, у 26 указан контейнер |
| Сопоставление имён | `apply-containers.sh` | уведомления приходят с именами контейнеров, реестр — с именами сервисов |
**Ключевое решение:** кнопки обрабатывает бот, а не n8n. Бот опрашивает Telegram,
поэтому нажатие доходит до него без вебхука — а вебхук закреплён за ботом доступов
и трогать его нельзя. Это следует из правила: кнопки работают только у того бота,
который получает обновления.
---
## 3. Что исправлено в `safe-update.sh`
| # | Было | Стало |
|---|---|---|
| 1 | Версия определялась как «первый контейнер в списке»: vaultwarden числился как mariadb, matrix как coturn | Контейнер ищется по объявленному образу, затем по имени сервиса из реестра |
| 2 | HTTP 403 считался успешной проверкой здоровья | Коды 401/403 принимаются только у сервисов с явным `auth_required: true` |
| 3 | После коммита не делался `git push` — фиксация оставалась только на сервере | Добавлена отправка в репозиторий |
| 4 | Откат вызывал `pct rollback` на работающем контейнере, а Proxmox требует остановленный — откат не срабатывал | Контейнер останавливается, откатывается, запускается |
| 5 | **Снимок не удалялся после успешного обновления и оставался в пуле навсегда** | Снимок удаляется и при успехе, и после отката |
| 6 | Свободное место в пуле не проверялось | При заполнении пула выше 75% обновление отменяется: снимок может добить пул |
Пункт 5 объясняет происхождение двух снимков на 14 ГБ, удалённых 14.10.2026:
их создал этот скрипт и не убрал за собой.
**Отдельно:** `yq` версии 4 не понимает `empty`, а скрипт использовал `// empty`
в четырёх местах. Из-за этого реестр не читался бы вовсе.
---
## 4. Проверка конвейера
| Шаг | Результат |
|---|---|
| Задача поставлена в очередь | заявка №2 создана |
| Раннер её забрал | запись в журнале, состояние `running` |
| Сервис не найден в реестре | состояние `failed`, текст результата записан |
| Уведомление в Telegram | отправлено боту алертов |
Проверка выполнена на заведомо несуществующем сервисе — работающие сервисы не затронуты.
### Финальный прогон: dashy (CT 102)
Сервис выбран как наименее зависимый — дашборд-портал.
**Первый прогон выявил настоящую ошибку.** Исполнитель выбрал не тот контейнер:
```
📦 Снимок: pre-update-20261014-150402
⬆️ Пересоздаём контейнер oauth2-proxy-dashy ← не тот
🎉 dashy обновлён: quay.io/oauth2-proxy/... ← и версия не та
```
Поиск контейнера шёл по вхождению имени сервиса в имя контейнера, и для `dashy`
первым нашёлся `oauth2-proxy-dashy`. Исправлено: контейнер теперь берётся из поля
`container` в реестре, а поиск по вхождению убран вовсе — именно он и давал осечку.
**Второй прогон после исправления:**
| Шаг | Результат |
|---|---|
| Снимок создан | `pre-update-20261014-150702` |
| Обновлён нужный контейнер | `dashy` |
| Проверка здоровья | код 200, пройдена |
| Снимок удалён | ✅ снимков не осталось |
| Версия зафиксирована | `lissy93/dashy:latest`, CT 102, с отметкой времени |
| Запись отправлена в Git | ✅ |
| Состояние сервиса | `Up (healthy)`, дашборд отвечает 200 |
| Уведомление в Telegram | ✅ |
Критерий приёмки выполнен: одобренное обновление прошло весь путь от кнопки
до результата, снимок за собой убрало, состояние зафиксировано.
Ценность проверки в том, что она нашла дефект, который чтением кода не виден:
оба варианта поиска выглядели разумно, а на живом сервисе один из них ошибся.
---
## 6. Дефекты, найденные при проверке
Все три нашлись только на живых прогонах. Ни один не виден при чтении кода.
### 6.1 Не тот контейнер (исправлено)
Поиск контейнера шёл по вхождению имени сервиса в имя контейнера. Для `dashy`
первым нашёлся `oauth2-proxy-dashy`, и версия была записана от прокси, а не от
дашборда. Теперь контейнер берётся из поля `container` в реестре, а поиск
по вхождению убран.
### 6.2 У бота не было прав на таблицу очереди (исправлено)
**Это и была причина, по которой F6-4 «не выполнялся».** Кнопка нажималась,
бот пытался записать решение и получал отказ:
```
asyncpg.exceptions.InsufficientPrivilegeError: permission denied for table update_queue
```
Таблицу создал пользователь `buryan_monitor`, а бот ходит под `n8n`. Права выданы,
дополнительно настроена выдача прав на будущие таблицы — иначе каждая новая
таблица ломала бы бота так же.
Вывод на будущее: **новая таблица в базе — это не только `CREATE TABLE`.**
Нужно сразу выдать права тем, кто с ней работает.
### 6.3 Задача в Gitea не создавалась (исправлено)
Две ошибки сразу:
- Gitea принимает метки **только по номеру**. Передача `["sev:1"]` возвращает
`422: cannot unmarshal ... of type int64`. Теперь номер метки запрашивается.
- Проверка успеха шла по коду возврата `curl`, а он равен нулю даже при ошибке
сервера. Из-за этого в журнале появлялась запись «задача создана», хотя задачи
не было. Теперь проверяется код ответа HTTP.
---
### 6.4 Обновление не применялось — только перезапуск (исправлено)
**Самый серьёзный дефект. Найден владельцем по вопросу «а обновление точно
произошло или это просто команда».**
Проверка образа, из которого работает контейнер, и образа, который лежит
в хранилище после скачивания:
```
работает: sha256:cab27aa8... ← контейнер создан 4 июля
скачан: sha256:a877dd3d... ← образ скачан сегодня
```
**Разные.** Исполнитель делал `docker pull`, а затем `docker restart`.
Перезапуск поднимает **тот же самый контейнер из прежнего образа** — скачанный
новый остаётся лежать рядом. Проверка здоровья при этом проходила (сервис жив),
версия в реестр записывалась новая, отчёт говорил «обновлено». Фактически
не менялось ничего, кроме времени запуска.
Это регрессия, внесённая при переписывании скрипта: в прежней версии обновление
шло через `docker compose up -d`, который контейнер пересоздаёт, а в новой
остался только перезапуск.
**Что сделано:**
1. Обновление снова идёт через compose: `docker compose pull` и
`docker compose up -d` в каталоге из поля `compose_path`.
2. Добавлена **проверка применения образа**: сравнивается `{{.Image}}`
работающего контейнера с номером скачанного образа. Не совпало —
обновление считается неуспешным, выполняется откат.
3. Если каталог compose не найден, скрипт честно сообщает, что пересоздать
контейнер автоматически нельзя, вместо изображения успеха.
**Результат после исправления:**
| | До | После |
|---|---|---|
| Образ контейнера | `cab27aa8…` | `a877dd3d…` |
| Скачанный образ | `a877dd3d…` | `a877dd3d…` |
| Совпадают | нет | **да** |
| Контейнер создан | 4 июля 2026 | 14 октября 2026 |
Вывод на будущее: **проверять надо не факт выполнения команды, а результат.**
Успешный код возврата и пройденная проверка здоровья ничего не говорят о том,
что версия действительно сменилась.
---
## 7. Замечания по workflow F6-3
### 7.1 Задачи с необработанным шаблоном — артефакты, не дефект
В трекере найдено 13 задач с текстом-заготовкой в заголовке вместо имени сервиса
(`{{ $json.gitea_title }}`, `{{ $json.service }}`) — номера 151–165.
Проверка показала: **все они созданы 13 октября**, а сегодняшние задачи (166, 168)
оформлены правильно. Узел создания задачи в текущей версии workflow корректен:
```
"jsonBody": "={{ { title: $json.gitea_title, body: $json.gitea_body } }}"
```
Значит, это следы прежней версии, а не действующий дефект. Осталось прибрать:
из 13 задач открыта одна (151), остальные уже закрыты.
### 7.2 Токен Gitea лежит прямо в workflow
В узле создания задачи токен записан значением заголовка `Authorization`, а сам
workflow выгружается в репозиторий (`infra/n8n/workflows/workflow-current.json`).
То есть **действующий токен Gitea хранится в Git открытым текстом**.
Это относится к группе A плана ротации секретов: сначала вынести значение
в учётные данные n8n, затем сменить сам токен.
---
## 8. Что осталось
1. **Финальный прогон на реальном сервисе.** Нужен, чтобы подтвердить критерий приёмки
целиком: обновление, проверка здоровья, фиксация версии, удаление снимка.
Требуется выбрать сервис с низкими зависимостями.
2. **Проверка кнопки из Telegram.** Обработчик в коде есть, но нажатие руками
ещё не проверялось: старые сообщения с кнопками остались в переписке.
3. **Отложенные обновления** запускаются в 03:00 — механика есть, но ни разу
не срабатывала по расписанию.
---
## 6. Как этим пользоваться
Когда `version-watch` найдёт новую версию, в Telegram придёт сообщение с кнопками.
Нажатие «Обновить сейчас» ставит заявку в очередь, и в течение минуты её забирает
раннер. Результат приходит отдельным сообщением.
```bash
# состояние очереди
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -c 'SELECT * FROM update_queue_summary;'
# журнал исполнения
tail -20 /root/buryan-infra/ops/update-manager/runner.log
# ручная постановка задачи
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -f /root/test-queue.sql
```