#!/bin/bash # ============================================================ # nightly-report.sh — отчёт о ночной работе потока обновлений # ============================================================ # Запускается по расписанию в 03:05, через пять минут после того, # как раннер переводит отложенные задачи в одобренные. # # Зачем: кнопка «Отложить до 03:00» срабатывает ночью, когда никто # не смотрит. Без отчёта проверить это можно только утром вручную, # а сбой ночью остался бы незамеченным. # # Отчёт отвечает на три вопроса: # 1. сколько отложенных задач дождалось своего часа; # 2. сколько обновлений прошло и сколько провалилось за сутки; # 3. остались ли задачи, застрявшие в работе. # # Запуск: bash nightly-report.sh # ============================================================ set -uo pipefail PG_HOST="${PG_HOST:-192.168.1.151}" PG_DB="${PG_DB:-buryan_monitoring}" PG_USER="${PG_USER:-buryan_monitor}" TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}" ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}" [ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env if [ -z "${PGPASSWORD:-}" ]; then echo "нет пароля базы в /root/.buryan-monitor.env" >&2 exit 1 fi export PGPASSWORD q() { psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>/dev/null; } moved=$(q "SELECT count(*) FROM update_queue WHERE status IN ('approved','running','done','failed') AND action = 'defer' AND decided_at >= date_trunc('day', now())") left=$(q "SELECT count(*) FROM update_queue WHERE status = 'deferred'") done24=$(q "SELECT count(*) FROM update_queue WHERE status = 'done' AND finished_at > now() - interval '24 hours'") fail24=$(q "SELECT count(*) FROM update_queue WHERE status = 'failed' AND finished_at > now() - interval '24 hours'") stuck=$(q "SELECT count(*) FROM update_queue WHERE status = 'running' AND started_at < now() - interval '30 minutes'") last=$(q "SELECT coalesce(service || ' — ' || status, 'нет записей') FROM update_queue ORDER BY id DESC LIMIT 1") text="🌙 Ночной отчёт обновлений%0A%0A" text+="Отложенных запущено сегодня: ${moved:-0}%0A" text+="Осталось ждать своего часа: ${left:-0}%0A" text+="За сутки: успешно ${done24:-0}, с ошибкой ${fail24:-0}%0A" text+="Последняя задача: ${last}" if [ "${stuck:-0}" -gt 0 ]; then text+="%0A%0A⚠️ Застряли в работе дольше 30 минут: ${stuck}" fi token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-) if [ -z "$token" ]; then echo "нет токена бота алертов — отчёт не отправлен" >&2 exit 1 fi curl -s -m 25 -x "$TG_PROXY" -X POST \ --data-urlencode "chat_id=${ALERT_CHAT_ID}" \ --data-urlencode "text=${text//%0A/$'\n'}" \ --data-urlencode "parse_mode=HTML" \ "https://api.telegram.org/bot${token}/sendMessage" >/dev/null echo "[$(date '+%F %T')] отчёт отправлен: отложенных ${moved:-0}, успешно ${done24:-0}, ошибок ${fail24:-0}, застряло ${stuck:-0}"