8.8 KiB
Runbook: система обновлений
Относится к: F6-1 (ядро), F6-3 (обнаружение версий), F6-4 (одобрение), F6-5 (откат)
Расположение: pve, /root/buryan-infra/ops/update-manager/
1. Как это устроено
version-watch.sh (cron каждые 6 часов)
│ находит новые версии образов
▼
Gitea issue + сообщение в Telegram с кнопками
│ человек нажимает «Обновить сейчас»
▼
comms-agent (CT 108) пишет решение в таблицу update_queue
│
▼
update-runner.sh (cron каждую минуту на pve)
│ забирает одобренную задачу
▼
safe-update.sh <сервис>
│ снимок → обновление → проверка здоровья → проверка образа
▼
успех: версия в реестр, снимок удалён, коммит в Git
провал: откат из снимка, задача в Gitea с меткой sev:1
Кнопки нажимает бот @Adm_buryans_bot — тот, который опрашивает Telegram.
Кнопки работают только у того бота, который получает обновления.
2. Ежедневное использование
Ничего делать не нужно. При появлении новой версии придёт сообщение с кнопками.
Посмотреть очередь
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring \
-c 'SELECT id, service, action, status, requested_by FROM update_queue ORDER BY id;'
Состояния: pending → approved → running → done / failed / cancelled / deferred.
Обновить сервис вручную
/root/buryan-infra/ops/update-manager/safe-update.sh <сервис>
Список сервисов: yq -r '.services | keys[]' /root/buryan-infra/ops/update-manager/services.yaml
Посмотреть журнал
tail -30 /root/buryan-infra/ops/update-manager/runner.log # решения и результаты
tail -30 /root/buryan-infra/ops/update-manager/update.log # что делал исполнитель
3. Проверка, что система жива
# раннер в расписании
crontab -l | grep update-runner
# задача выполняется, а не висит
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring \
-c "SELECT * FROM update_queue_summary;"
# ночной отчёт приходил (в Telegram в 03:05)
tail -3 /root/buryan-infra/ops/update-manager/runner.log
4. Что ломается и как это выглядит
Все случаи ниже реально происходили 14.10.2026. Общая черта — система сообщала об успехе, ничего не сделав.
Кнопка нажата, ничего не происходит
Причина: у бота нет прав на таблицу update_queue. Бот ходит под
пользователем n8n, а таблицу создаёт buryan_monitor.
pct exec 108 -- docker logs --tail 50 tg-admin-bot | grep -i 'решение\|privilege'
# лечится:
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring <<'SQL'
GRANT SELECT, INSERT, UPDATE ON update_queue TO n8n;
GRANT USAGE, SELECT ON SEQUENCE update_queue_id_seq TO n8n;
SQL
Запомнить: новая таблица в базе — это не только CREATE TABLE. Нужно
сразу выдать права тем, кто с ней работает.
Задача висит в состоянии running
Признак того, что исполнитель упал между началом и записью результата.
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring \
-c "UPDATE update_queue SET status='failed', finished_at=now(), result='прервано' WHERE status='running';"
В журнале «обновлено», а версия не изменилась
Причина: контейнер перезапущен, но не пересоздан. docker restart
поднимает тот же контейнер из старого образа.
# проверить: образ контейнера против скачанного
pct exec <CT> -- docker inspect <контейнер> --format '{{.Image}}'
pct exec <CT> -- docker images --no-trunc --format '{{.ID}}' <образ>:latest
Если различаются — обновление не применилось. Причины и лечение:
| Причина | Признак | Лечение |
|---|---|---|
| Нет файла compose | compose_path в реестре ведёт в пустоту |
составить compose-файл |
| Нет плагина compose | docker: unknown command: docker compose |
apt-get install -y docker-compose-v2 |
Контейнер создан через docker run |
нет меток com.docker.compose.* |
составить compose-файл |
| AppArmor мешает старту | docker-default profile could not be loaded |
security_opt: [apparmor:unconfined] |
Здоровый прогон содержит строку ✅ Контейнер работает из актуального образа.
Задача в Gitea не создаётся при откате
Две ловушки разом: Gitea принимает метки только по номеру (передача имени
даёт 422), а curl возвращает код 0 даже при ошибке сервера. Поэтому
проверяется код ответа HTTP, а номер метки запрашивается заранее.
Уведомление об обновлении приходит, но не о том сервисе
Проверить соответствие имён:
bash /root/buryan-infra/ops/update-manager/map-containers.sh
Уведомления приходят с именами контейнеров, реестр оперирует именами сервисов.
Соответствие хранится в поле container. Автоподбор по вхождению ошибается:
для dashy он находил oauth2-proxy-dashy.
5. Отложенные обновления
Кнопка «Отложить до 03:00» ставит статус deferred. Раннер переводит такие
задачи в approved, когда наступает час DEFER_HOUR (по умолчанию 03).
Проверить механику, не дожидаясь ночи:
DEFER_HOUR=$(date +%H) bash /root/buryan-infra/ops/update-manager/update-runner.sh
Ночной отчёт приходит в Telegram в 03:05 и показывает, сколько отложенных дождалось своего часа.
6. Проверка отката
Сценарий намеренно ломает обновление тестового сервиса и смотрит, что откат сработал за 5 минут:
bash /root/buryan-infra/ops/update-manager/rollback-drill.sh
Скрипт подставляет в реестр сервис с нерабочим адресом проверки здоровья, ждёт результат, проверяет отсутствие снимков и прибирает за собой. Использует контейнер CT 160, который никому не нужен.
Результат 14.10.2026: откат за 90 секунд, задача в Gitea с меткой sev:1.
7. Важное про снимки
safe-update.sh снимает снимок контейнера перед обновлением и обязан его
удалить. В версии до 14.10.2026 снимок не удалялся никогда — так накопились
два снимка на 14 ГБ, которые заполнили пул томов.
Проверить, не осталось ли лишних:
for id in $(pct list | awk 'NR>1{print $1}'); do
pct listsnapshot "$id" | grep pre-update && echo " ^ CT $id"
done
Если исполнитель отказался от обновления, снимок удаляется тоже. Если снимок остался после провала — удалить вручную:
pct delsnapshot <CT> <имя-снимка>