257 lines
16 KiB
Markdown
257 lines
16 KiB
Markdown
# F6-4: поток одобрения обновлений — отчёт о сборке
|
||
|
||
**Дата:** 2026-10-14
|
||
**Задача:** F6-4 «Approval-поток обновлений» (план `SPRINT-F6-PLAN-v2.md`)
|
||
**Критерий приёмки по плану:** одобренное обновление прошло end-to-end, результат в Telegram
|
||
**Статус:** ✅ выполнен, критерий приёмки подтверждён живым обновлением
|
||
|
||
---
|
||
|
||
## 1. Почему кнопка раньше не работала
|
||
|
||
Workflow F6-3 рисовал в сообщении три кнопки — «Обновить сейчас», «Отложить до 03:00»,
|
||
«Игнорировать», — но **обработчика под ними не существовало**. Проверка по всем семи
|
||
workflow показала: строка `update_now` встречается ровно один раз, в описании самой кнопки.
|
||
|
||
Дальше по цепочке из плана не было ничего:
|
||
|
||
| Звено | Состояние до |
|
||
|---|---|
|
||
| Кнопки в сообщении | нарисованы |
|
||
| Обработчик нажатия | **отсутствовал** |
|
||
| Таблица `update_queue` | **не существовала** |
|
||
| `update-runner.sh` | **не существовал** |
|
||
| Расписание раннера | **отсутствовало** |
|
||
| `safe-update.sh` | был, с шестью дефектами |
|
||
|
||
---
|
||
|
||
## 2. Что собрано
|
||
|
||
| Часть | Где | Назначение |
|
||
|---|---|---|
|
||
| Таблица `update_queue` | PostgreSQL, `buryan_monitoring` | заявка, решение человека, состояние, результат |
|
||
| Обработчик кнопок | `comms-agent` (CT 108) | `update_now` / `update_defer` / `update_ignore` → запись решения |
|
||
| `update-runner.sh` | cron на pve, раз в минуту | забирает одобренное, вызывает исполнитель, пишет результат |
|
||
| `safe-update.sh` v3 | pve | снимок → обновление → проверка → откат |
|
||
| Реестр `services.yaml` | Git | 28 сервисов, у 26 указан контейнер |
|
||
| Сопоставление имён | `apply-containers.sh` | уведомления приходят с именами контейнеров, реестр — с именами сервисов |
|
||
|
||
**Ключевое решение:** кнопки обрабатывает бот, а не n8n. Бот опрашивает Telegram,
|
||
поэтому нажатие доходит до него без вебхука — а вебхук закреплён за ботом доступов
|
||
и трогать его нельзя. Это следует из правила: кнопки работают только у того бота,
|
||
который получает обновления.
|
||
|
||
---
|
||
|
||
## 3. Что исправлено в `safe-update.sh`
|
||
|
||
| # | Было | Стало |
|
||
|---|---|---|
|
||
| 1 | Версия определялась как «первый контейнер в списке»: vaultwarden числился как mariadb, matrix как coturn | Контейнер ищется по объявленному образу, затем по имени сервиса из реестра |
|
||
| 2 | HTTP 403 считался успешной проверкой здоровья | Коды 401/403 принимаются только у сервисов с явным `auth_required: true` |
|
||
| 3 | После коммита не делался `git push` — фиксация оставалась только на сервере | Добавлена отправка в репозиторий |
|
||
| 4 | Откат вызывал `pct rollback` на работающем контейнере, а Proxmox требует остановленный — откат не срабатывал | Контейнер останавливается, откатывается, запускается |
|
||
| 5 | **Снимок не удалялся после успешного обновления и оставался в пуле навсегда** | Снимок удаляется и при успехе, и после отката |
|
||
| 6 | Свободное место в пуле не проверялось | При заполнении пула выше 75% обновление отменяется: снимок может добить пул |
|
||
|
||
Пункт 5 объясняет происхождение двух снимков на 14 ГБ, удалённых 14.10.2026:
|
||
их создал этот скрипт и не убрал за собой.
|
||
|
||
**Отдельно:** `yq` версии 4 не понимает `empty`, а скрипт использовал `// empty`
|
||
в четырёх местах. Из-за этого реестр не читался бы вовсе.
|
||
|
||
---
|
||
|
||
## 4. Проверка конвейера
|
||
|
||
| Шаг | Результат |
|
||
|---|---|
|
||
| Задача поставлена в очередь | заявка №2 создана |
|
||
| Раннер её забрал | запись в журнале, состояние `running` |
|
||
| Сервис не найден в реестре | состояние `failed`, текст результата записан |
|
||
| Уведомление в Telegram | отправлено боту алертов |
|
||
|
||
Проверка выполнена на заведомо несуществующем сервисе — работающие сервисы не затронуты.
|
||
|
||
### Финальный прогон: dashy (CT 102)
|
||
|
||
Сервис выбран как наименее зависимый — дашборд-портал.
|
||
|
||
**Первый прогон выявил настоящую ошибку.** Исполнитель выбрал не тот контейнер:
|
||
|
||
```
|
||
📦 Снимок: pre-update-20261014-150402
|
||
⬆️ Пересоздаём контейнер oauth2-proxy-dashy ← не тот
|
||
🎉 dashy обновлён: quay.io/oauth2-proxy/... ← и версия не та
|
||
```
|
||
|
||
Поиск контейнера шёл по вхождению имени сервиса в имя контейнера, и для `dashy`
|
||
первым нашёлся `oauth2-proxy-dashy`. Исправлено: контейнер теперь берётся из поля
|
||
`container` в реестре, а поиск по вхождению убран вовсе — именно он и давал осечку.
|
||
|
||
**Второй прогон после исправления:**
|
||
|
||
| Шаг | Результат |
|
||
|---|---|
|
||
| Снимок создан | `pre-update-20261014-150702` |
|
||
| Обновлён нужный контейнер | `dashy` |
|
||
| Проверка здоровья | код 200, пройдена |
|
||
| Снимок удалён | ✅ снимков не осталось |
|
||
| Версия зафиксирована | `lissy93/dashy:latest`, CT 102, с отметкой времени |
|
||
| Запись отправлена в Git | ✅ |
|
||
| Состояние сервиса | `Up (healthy)`, дашборд отвечает 200 |
|
||
| Уведомление в Telegram | ✅ |
|
||
|
||
Критерий приёмки выполнен: одобренное обновление прошло весь путь от кнопки
|
||
до результата, снимок за собой убрало, состояние зафиксировано.
|
||
|
||
Ценность проверки в том, что она нашла дефект, который чтением кода не виден:
|
||
оба варианта поиска выглядели разумно, а на живом сервисе один из них ошибся.
|
||
|
||
---
|
||
|
||
## 6. Дефекты, найденные при проверке
|
||
|
||
Все три нашлись только на живых прогонах. Ни один не виден при чтении кода.
|
||
|
||
### 6.1 Не тот контейнер (исправлено)
|
||
|
||
Поиск контейнера шёл по вхождению имени сервиса в имя контейнера. Для `dashy`
|
||
первым нашёлся `oauth2-proxy-dashy`, и версия была записана от прокси, а не от
|
||
дашборда. Теперь контейнер берётся из поля `container` в реестре, а поиск
|
||
по вхождению убран.
|
||
|
||
### 6.2 У бота не было прав на таблицу очереди (исправлено)
|
||
|
||
**Это и была причина, по которой F6-4 «не выполнялся».** Кнопка нажималась,
|
||
бот пытался записать решение и получал отказ:
|
||
|
||
```
|
||
asyncpg.exceptions.InsufficientPrivilegeError: permission denied for table update_queue
|
||
```
|
||
|
||
Таблицу создал пользователь `buryan_monitor`, а бот ходит под `n8n`. Права выданы,
|
||
дополнительно настроена выдача прав на будущие таблицы — иначе каждая новая
|
||
таблица ломала бы бота так же.
|
||
|
||
Вывод на будущее: **новая таблица в базе — это не только `CREATE TABLE`.**
|
||
Нужно сразу выдать права тем, кто с ней работает.
|
||
|
||
### 6.3 Задача в Gitea не создавалась (исправлено)
|
||
|
||
Две ошибки сразу:
|
||
|
||
- Gitea принимает метки **только по номеру**. Передача `["sev:1"]` возвращает
|
||
`422: cannot unmarshal ... of type int64`. Теперь номер метки запрашивается.
|
||
- Проверка успеха шла по коду возврата `curl`, а он равен нулю даже при ошибке
|
||
сервера. Из-за этого в журнале появлялась запись «задача создана», хотя задачи
|
||
не было. Теперь проверяется код ответа HTTP.
|
||
|
||
---
|
||
|
||
### 6.4 Обновление не применялось — только перезапуск (исправлено)
|
||
|
||
**Самый серьёзный дефект. Найден владельцем по вопросу «а обновление точно
|
||
произошло или это просто команда».**
|
||
|
||
Проверка образа, из которого работает контейнер, и образа, который лежит
|
||
в хранилище после скачивания:
|
||
|
||
```
|
||
работает: sha256:cab27aa8... ← контейнер создан 4 июля
|
||
скачан: sha256:a877dd3d... ← образ скачан сегодня
|
||
```
|
||
|
||
**Разные.** Исполнитель делал `docker pull`, а затем `docker restart`.
|
||
Перезапуск поднимает **тот же самый контейнер из прежнего образа** — скачанный
|
||
новый остаётся лежать рядом. Проверка здоровья при этом проходила (сервис жив),
|
||
версия в реестр записывалась новая, отчёт говорил «обновлено». Фактически
|
||
не менялось ничего, кроме времени запуска.
|
||
|
||
Это регрессия, внесённая при переписывании скрипта: в прежней версии обновление
|
||
шло через `docker compose up -d`, который контейнер пересоздаёт, а в новой
|
||
остался только перезапуск.
|
||
|
||
**Что сделано:**
|
||
|
||
1. Обновление снова идёт через compose: `docker compose pull` и
|
||
`docker compose up -d` в каталоге из поля `compose_path`.
|
||
2. Добавлена **проверка применения образа**: сравнивается `{{.Image}}`
|
||
работающего контейнера с номером скачанного образа. Не совпало —
|
||
обновление считается неуспешным, выполняется откат.
|
||
3. Если каталог compose не найден, скрипт честно сообщает, что пересоздать
|
||
контейнер автоматически нельзя, вместо изображения успеха.
|
||
|
||
**Результат после исправления:**
|
||
|
||
| | До | После |
|
||
|---|---|---|
|
||
| Образ контейнера | `cab27aa8…` | `a877dd3d…` |
|
||
| Скачанный образ | `a877dd3d…` | `a877dd3d…` |
|
||
| Совпадают | нет | **да** |
|
||
| Контейнер создан | 4 июля 2026 | 14 октября 2026 |
|
||
|
||
Вывод на будущее: **проверять надо не факт выполнения команды, а результат.**
|
||
Успешный код возврата и пройденная проверка здоровья ничего не говорят о том,
|
||
что версия действительно сменилась.
|
||
|
||
---
|
||
|
||
## 7. Замечания по workflow F6-3
|
||
|
||
### 7.1 Задачи с необработанным шаблоном — артефакты, не дефект
|
||
|
||
В трекере найдено 13 задач с текстом-заготовкой в заголовке вместо имени сервиса
|
||
(`{{ $json.gitea_title }}`, `{{ $json.service }}`) — номера 151–165.
|
||
|
||
Проверка показала: **все они созданы 13 октября**, а сегодняшние задачи (166, 168)
|
||
оформлены правильно. Узел создания задачи в текущей версии workflow корректен:
|
||
|
||
```
|
||
"jsonBody": "={{ { title: $json.gitea_title, body: $json.gitea_body } }}"
|
||
```
|
||
|
||
Значит, это следы прежней версии, а не действующий дефект. Осталось прибрать:
|
||
из 13 задач открыта одна (151), остальные уже закрыты.
|
||
|
||
### 7.2 Токен Gitea лежит прямо в workflow
|
||
|
||
В узле создания задачи токен записан значением заголовка `Authorization`, а сам
|
||
workflow выгружается в репозиторий (`infra/n8n/workflows/workflow-current.json`).
|
||
То есть **действующий токен Gitea хранится в Git открытым текстом**.
|
||
|
||
Это относится к группе A плана ротации секретов: сначала вынести значение
|
||
в учётные данные n8n, затем сменить сам токен.
|
||
|
||
---
|
||
|
||
## 8. Что осталось
|
||
|
||
1. **Финальный прогон на реальном сервисе.** Нужен, чтобы подтвердить критерий приёмки
|
||
целиком: обновление, проверка здоровья, фиксация версии, удаление снимка.
|
||
Требуется выбрать сервис с низкими зависимостями.
|
||
2. **Проверка кнопки из Telegram.** Обработчик в коде есть, но нажатие руками
|
||
ещё не проверялось: старые сообщения с кнопками остались в переписке.
|
||
3. **Отложенные обновления** запускаются в 03:00 — механика есть, но ни разу
|
||
не срабатывала по расписанию.
|
||
|
||
---
|
||
|
||
## 6. Как этим пользоваться
|
||
|
||
Когда `version-watch` найдёт новую версию, в Telegram придёт сообщение с кнопками.
|
||
Нажатие «Обновить сейчас» ставит заявку в очередь, и в течение минуты её забирает
|
||
раннер. Результат приходит отдельным сообщением.
|
||
|
||
```bash
|
||
# состояние очереди
|
||
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -c 'SELECT * FROM update_queue_summary;'
|
||
|
||
# журнал исполнения
|
||
tail -20 /root/buryan-infra/ops/update-manager/runner.log
|
||
|
||
# ручная постановка задачи
|
||
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -f /root/test-queue.sql
|
||
```
|