# Runbook: система обновлений **Относится к:** F6-1 (ядро), F6-3 (обнаружение версий), F6-4 (одобрение), F6-5 (откат) **Расположение:** pve, `/root/buryan-infra/ops/update-manager/` --- ## 1. Как это устроено ``` version-watch.sh (cron каждые 6 часов) │ находит новые версии образов ▼ Gitea issue + сообщение в Telegram с кнопками │ человек нажимает «Обновить сейчас» ▼ comms-agent (CT 108) пишет решение в таблицу update_queue │ ▼ update-runner.sh (cron каждую минуту на pve) │ забирает одобренную задачу ▼ safe-update.sh <сервис> │ снимок → обновление → проверка здоровья → проверка образа ▼ успех: версия в реестр, снимок удалён, коммит в Git провал: откат из снимка, задача в Gitea с меткой sev:1 ``` **Кнопки нажимает бот `@Adm_buryans_bot`** — тот, который опрашивает Telegram. Кнопки работают только у того бота, который получает обновления. --- ## 2. Ежедневное использование Ничего делать не нужно. При появлении новой версии придёт сообщение с кнопками. ### Посмотреть очередь ```bash psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring \ -c 'SELECT id, service, action, status, requested_by FROM update_queue ORDER BY id;' ``` Состояния: `pending` → `approved` → `running` → `done` / `failed` / `cancelled` / `deferred`. ### Обновить сервис вручную ```bash /root/buryan-infra/ops/update-manager/safe-update.sh <сервис> ``` Список сервисов: `yq -r '.services | keys[]' /root/buryan-infra/ops/update-manager/services.yaml` ### Посмотреть журнал ```bash tail -30 /root/buryan-infra/ops/update-manager/runner.log # решения и результаты tail -30 /root/buryan-infra/ops/update-manager/update.log # что делал исполнитель ``` --- ## 3. Проверка, что система жива ```bash # раннер в расписании crontab -l | grep update-runner # задача выполняется, а не висит psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring \ -c "SELECT * FROM update_queue_summary;" # ночной отчёт приходил (в Telegram в 03:05) tail -3 /root/buryan-infra/ops/update-manager/runner.log ``` --- ## 4. Что ломается и как это выглядит Все случаи ниже реально происходили 14.10.2026. Общая черта — **система сообщала об успехе, ничего не сделав**. ### Кнопка нажата, ничего не происходит **Причина:** у бота нет прав на таблицу `update_queue`. Бот ходит под пользователем `n8n`, а таблицу создаёт `buryan_monitor`. ```bash pct exec 108 -- docker logs --tail 50 tg-admin-bot | grep -i 'решение\|privilege' # лечится: psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring <<'SQL' GRANT SELECT, INSERT, UPDATE ON update_queue TO n8n; GRANT USAGE, SELECT ON SEQUENCE update_queue_id_seq TO n8n; SQL ``` **Запомнить:** новая таблица в базе — это не только `CREATE TABLE`. Нужно сразу выдать права тем, кто с ней работает. ### Задача висит в состоянии running Признак того, что исполнитель упал между началом и записью результата. ```bash psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring \ -c "UPDATE update_queue SET status='failed', finished_at=now(), result='прервано' WHERE status='running';" ``` ### В журнале «обновлено», а версия не изменилась **Причина:** контейнер перезапущен, но не пересоздан. `docker restart` поднимает тот же контейнер из **старого** образа. ```bash # проверить: образ контейнера против скачанного pct exec -- docker inspect <контейнер> --format '{{.Image}}' pct exec -- docker images --no-trunc --format '{{.ID}}' <образ>:latest ``` Если различаются — обновление не применилось. Причины и лечение: | Причина | Признак | Лечение | |---|---|---| | Нет файла compose | `compose_path` в реестре ведёт в пустоту | составить compose-файл | | **Нет плагина compose** | `docker: unknown command: docker compose` | `apt-get install -y docker-compose-v2` | | Контейнер создан через `docker run` | нет меток `com.docker.compose.*` | составить compose-файл | | AppArmor мешает старту | `docker-default profile could not be loaded` | `security_opt: [apparmor:unconfined]` | Здоровый прогон содержит строку `✅ Контейнер работает из актуального образа`. ### Задача в Gitea не создаётся при откате Две ловушки разом: Gitea принимает метки **только по номеру** (передача имени даёт `422`), а `curl` возвращает код 0 даже при ошибке сервера. Поэтому проверяется код ответа HTTP, а номер метки запрашивается заранее. ### Уведомление об обновлении приходит, но не о том сервисе Проверить соответствие имён: ```bash bash /root/buryan-infra/ops/update-manager/map-containers.sh ``` Уведомления приходят с именами контейнеров, реестр оперирует именами сервисов. Соответствие хранится в поле `container`. Автоподбор по вхождению ошибается: для `dashy` он находил `oauth2-proxy-dashy`. --- ## 5. Отложенные обновления Кнопка «Отложить до 03:00» ставит статус `deferred`. Раннер переводит такие задачи в `approved`, когда наступает час `DEFER_HOUR` (по умолчанию 03). Проверить механику, не дожидаясь ночи: ```bash DEFER_HOUR=$(date +%H) bash /root/buryan-infra/ops/update-manager/update-runner.sh ``` Ночной отчёт приходит в Telegram в 03:05 и показывает, сколько отложенных дождалось своего часа. --- ## 6. Проверка отката Сценарий намеренно ломает обновление тестового сервиса и смотрит, что откат сработал за 5 минут: ```bash bash /root/buryan-infra/ops/update-manager/rollback-drill.sh ``` Скрипт подставляет в реестр сервис с нерабочим адресом проверки здоровья, ждёт результат, проверяет отсутствие снимков и прибирает за собой. Использует контейнер CT 160, который никому не нужен. **Результат 14.10.2026:** откат за 90 секунд, задача в Gitea с меткой `sev:1`. --- ## 7. Важное про снимки `safe-update.sh` снимает снимок контейнера перед обновлением и **обязан его удалить**. В версии до 14.10.2026 снимок не удалялся никогда — так накопились два снимка на 14 ГБ, которые заполнили пул томов. Проверить, не осталось ли лишних: ```bash for id in $(pct list | awk 'NR>1{print $1}'); do pct listsnapshot "$id" | grep pre-update && echo " ^ CT $id" done ``` Если исполнитель отказался от обновления, снимок удаляется тоже. Если снимок остался после провала — удалить вручную: ```bash pct delsnapshot <имя-снимка> ```