Files
buryan-infra/ops/update-manager/nightly-report.sh
T

74 lines
3.6 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# nightly-report.sh — отчёт о ночной работе потока обновлений
# ============================================================
# Запускается по расписанию в 03:05, через пять минут после того,
# как раннер переводит отложенные задачи в одобренные.
#
# Зачем: кнопка «Отложить до 03:00» срабатывает ночью, когда никто
# не смотрит. Без отчёта проверить это можно только утром вручную,
# а сбой ночью остался бы незамеченным.
#
# Отчёт отвечает на три вопроса:
# 1. сколько отложенных задач дождалось своего часа;
# 2. сколько обновлений прошло и сколько провалилось за сутки;
# 3. остались ли задачи, застрявшие в работе.
#
# Запуск: bash nightly-report.sh
# ============================================================
set -uo pipefail
PG_HOST="${PG_HOST:-192.168.1.151}"
PG_DB="${PG_DB:-buryan_monitoring}"
PG_USER="${PG_USER:-buryan_monitor}"
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
if [ -z "${PGPASSWORD:-}" ]; then
echo "нет пароля базы в /root/.buryan-monitor.env" >&2
exit 1
fi
export PGPASSWORD
q() { psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>/dev/null; }
moved=$(q "SELECT count(*) FROM update_queue
WHERE status IN ('approved','running','done','failed')
AND action = 'defer'
AND decided_at >= date_trunc('day', now())")
left=$(q "SELECT count(*) FROM update_queue WHERE status = 'deferred'")
done24=$(q "SELECT count(*) FROM update_queue WHERE status = 'done'
AND finished_at > now() - interval '24 hours'")
fail24=$(q "SELECT count(*) FROM update_queue WHERE status = 'failed'
AND finished_at > now() - interval '24 hours'")
stuck=$(q "SELECT count(*) FROM update_queue WHERE status = 'running'
AND started_at < now() - interval '30 minutes'")
last=$(q "SELECT coalesce(service || ' — ' || status, 'нет записей')
FROM update_queue ORDER BY id DESC LIMIT 1")
text="🌙 <b>Ночной отчёт обновлений</b>%0A%0A"
text+="Отложенных запущено сегодня: <b>${moved:-0}</b>%0A"
text+="Осталось ждать своего часа: <b>${left:-0}</b>%0A"
text+="За сутки: успешно <b>${done24:-0}</b>, с ошибкой <b>${fail24:-0}</b>%0A"
text+="Последняя задача: ${last}"
if [ "${stuck:-0}" -gt 0 ]; then
text+="%0A%0A⚠️ Застряли в работе дольше 30 минут: <b>${stuck}</b>"
fi
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
if [ -z "$token" ]; then
echo "нет токена бота алертов — отчёт не отправлен" >&2
exit 1
fi
curl -s -m 25 -x "$TG_PROXY" -X POST \
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
--data-urlencode "text=${text//%0A/$'\n'}" \
--data-urlencode "parse_mode=HTML" \
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null
echo "[$(date '+%F %T')] отчёт отправлен: отложенных ${moved:-0}, успешно ${done24:-0}, ошибок ${fail24:-0}, застряло ${stuck:-0}"