From d4b452c947fa88265617cbb5e2d3720149add65b Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Wed, 14 Oct 2026 15:13:04 +0300 Subject: [PATCH] =?UTF-8?q?feat(F6-4):=20=D0=BD=D0=BE=D1=87=D0=BD=D0=BE?= =?UTF-8?q?=D0=B9=20=D0=BE=D1=82=D1=87=D1=91=D1=82=20=D0=BE=20=D1=80=D0=B0?= =?UTF-8?q?=D0=B1=D0=BE=D1=82=D0=B5=20=D0=BF=D0=BE=D1=82=D0=BE=D0=BA=D0=B0?= =?UTF-8?q?=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=BB=D0=B5=D0=BD=D0=B8=D0=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/update-manager/nightly-report.sh | 73 ++++++++++++++++++++++++++++ ops/update-manager/runner.log | 3 ++ 2 files changed, 76 insertions(+) create mode 100755 ops/update-manager/nightly-report.sh diff --git a/ops/update-manager/nightly-report.sh b/ops/update-manager/nightly-report.sh new file mode 100755 index 0000000..d6da585 --- /dev/null +++ b/ops/update-manager/nightly-report.sh @@ -0,0 +1,73 @@ +#!/bin/bash +# ============================================================ +# nightly-report.sh — отчёт о ночной работе потока обновлений +# ============================================================ +# Запускается по расписанию в 03:05, через пять минут после того, +# как раннер переводит отложенные задачи в одобренные. +# +# Зачем: кнопка «Отложить до 03:00» срабатывает ночью, когда никто +# не смотрит. Без отчёта проверить это можно только утром вручную, +# а сбой ночью остался бы незамеченным. +# +# Отчёт отвечает на три вопроса: +# 1. сколько отложенных задач дождалось своего часа; +# 2. сколько обновлений прошло и сколько провалилось за сутки; +# 3. остались ли задачи, застрявшие в работе. +# +# Запуск: bash nightly-report.sh +# ============================================================ +set -uo pipefail + +PG_HOST="${PG_HOST:-192.168.1.151}" +PG_DB="${PG_DB:-buryan_monitoring}" +PG_USER="${PG_USER:-buryan_monitor}" +TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}" +ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}" + +[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env +if [ -z "${PGPASSWORD:-}" ]; then + echo "нет пароля базы в /root/.buryan-monitor.env" >&2 + exit 1 +fi +export PGPASSWORD + +q() { psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>/dev/null; } + +moved=$(q "SELECT count(*) FROM update_queue + WHERE status IN ('approved','running','done','failed') + AND action = 'defer' + AND decided_at >= date_trunc('day', now())") +left=$(q "SELECT count(*) FROM update_queue WHERE status = 'deferred'") +done24=$(q "SELECT count(*) FROM update_queue WHERE status = 'done' + AND finished_at > now() - interval '24 hours'") +fail24=$(q "SELECT count(*) FROM update_queue WHERE status = 'failed' + AND finished_at > now() - interval '24 hours'") +stuck=$(q "SELECT count(*) FROM update_queue WHERE status = 'running' + AND started_at < now() - interval '30 minutes'") + +last=$(q "SELECT coalesce(service || ' — ' || status, 'нет записей') + FROM update_queue ORDER BY id DESC LIMIT 1") + +text="🌙 Ночной отчёт обновлений%0A%0A" +text+="Отложенных запущено сегодня: ${moved:-0}%0A" +text+="Осталось ждать своего часа: ${left:-0}%0A" +text+="За сутки: успешно ${done24:-0}, с ошибкой ${fail24:-0}%0A" +text+="Последняя задача: ${last}" + +if [ "${stuck:-0}" -gt 0 ]; then + text+="%0A%0A⚠️ Застряли в работе дольше 30 минут: ${stuck}" +fi + +token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-) +if [ -z "$token" ]; then + echo "нет токена бота алертов — отчёт не отправлен" >&2 + exit 1 +fi + +curl -s -m 25 -x "$TG_PROXY" -X POST \ + --data-urlencode "chat_id=${ALERT_CHAT_ID}" \ + --data-urlencode "text=${text//%0A/$'\n'}" \ + --data-urlencode "parse_mode=HTML" \ + "https://api.telegram.org/bot${token}/sendMessage" >/dev/null + +echo "[$(date '+%F %T')] отчёт отправлен: отложенных ${moved:-0}, успешно ${done24:-0}, ошибок ${fail24:-0}, застряло ${stuck:-0}" diff --git a/ops/update-manager/runner.log b/ops/update-manager/runner.log index a8c549a..cdf3be7 100644 --- a/ops/update-manager/runner.log +++ b/ops/update-manager/runner.log @@ -11,3 +11,6 @@ LINE 1: ...ue SET status='failed', finished_at=now(), result=:'res' WHE... [2026-10-14 15:04:33] задача 3 выполнена [2026-10-14 15:07:01] взята задача 4: dashy -> (CT 102) [2026-10-14 15:07:40] задача 4 выполнена +[2026-10-14 15:12:55] отложенных переведено в одобренные: 2 +[2026-10-14 15:12:55] взята задача 5: самопроверка-отложенного -> (CT ) +[2026-10-14 15:12:56] не удалось сопоставить 'самопроверка-отложенного' с реестром