#!/bin/bash # Предполётная проверка перед окном обновлений. # Запуск: bash pre-update-check.sh # Код возврата: 0 — GO, 1 — есть блокирующие проблемы. set -uo pipefail FAIL=0 ok() { printf " \033[32mOK\033[0m %s\n" "$1"; } warn() { printf " \033[33mWARN\033[0m %s\n" "$1"; } bad() { printf " \033[31mFAIL\033[0m %s\n" "$1"; FAIL=$((FAIL+1)); } echo "=== 1. Место на дисках ===" for m in / /mnt/media /mnt/archive; do use=$(df --output=pcent "$m" | tail -1 | tr -d ' %') if [ "$use" -ge 85 ]; then bad "$m занят ${use}%"; else ok "$m занят ${use}%"; fi done echo "=== 2. Свежесть бэкапов (сутки) ===" check_age() { # $1 описание, $2 glob f=$(ls -t $2 2>/dev/null | head -1) if [ -z "$f" ]; then bad "$1: файлов нет"; return; fi age=$(( ( $(date +%s) - $(stat -c %Y "$f") ) / 3600 )) if [ "$age" -le 30 ]; then ok "$1: ${age} ч, $(basename "$f")"; else bad "$1: ${age} ч — старше суток"; fi } check_age "дампы CT" "/mnt/archive/backups/dump/*.tar.zst" check_age "конфиги" "/mnt/archive/backups/configs/*.tar.gz" check_age "дампы БД" "/mnt/archive/backups/db/*.gz" echo "=== 3. Очередь обновлений ===" set -a; . /root/.buryan-monitor.env 2>/dev/null; set +a pending=$(psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -t -A \ -c "select count(*) from update_queue where status in ('pending','approved','running')" 2>/dev/null) if [ -z "$pending" ]; then warn "не достучался до очереди обновлений" elif [ "$pending" -gt 0 ]; then warn "в очереди активных задач: $pending (раннер применит их в окне)" else ok "очередь пуста" fi echo "=== 4. Снапшоты: где невозможны ===" nosnap="" for ct in $(pct list | awk 'NR>1{print $1}'); do if pct config "$ct" 2>/dev/null | grep -qE "^mp[0-9]+:"; then nosnap="$nosnap $ct"; fi done if [ -n "$nosnap" ]; then warn "снапшот недоступен:$nosnap → делать vzdump или копию конфига"; else ok "снапшоты доступны везде"; fi echo "=== 5. Хаб и наблюдаемость ===" # хаб изредка не отвечает с первого раза (наблюдали 3 раза за день) — пробуем трижды up="" for attempt in 1 2 3; do curl -s --max-time 15 http://127.0.0.1:9120/status.json -o /tmp/puc.json 2>/dev/null up=$(python3 -c "import json;d=json.load(open('/tmp/puc.json'));print(d.get('up'))" 2>/dev/null || echo "") [ -n "$up" ] && break sleep 2 done total=$(python3 -c "import json;d=json.load(open('/tmp/puc.json'));print(d.get('total'))" 2>/dev/null || echo "") if [ -z "$up" ]; then bad "хаб не отдал /status.json"; elif [ "$up" = "$total" ]; then ok "хаб: $up/$total"; else bad "хаб: $up/$total"; fi down=$(curl -s --max-time 10 'http://192.168.1.134:9090/api/v1/targets?state=active' \ | python3 -c "import json,sys;d=json.load(sys.stdin);t=d['data']['activeTargets'];print(len([x for x in t if x['health']!='up']))" 2>/dev/null || echo "") [ -z "$down" ] && warn "prometheus не ответил" || { [ "$down" = "0" ] && ok "prometheus: 0 не up" || bad "prometheus: $down не up"; } kd=$(curl -s --max-time 10 http://192.168.1.107:3010/metrics | grep -E "^kuma_monitors_down" | awk '{print $2}') [ -z "$kd" ] && warn "kuma не ответила" || { [ "$kd" = "0" ] && ok "kuma: 0 down" || bad "kuma: $kd down"; } echo if [ "$FAIL" -eq 0 ]; then echo "ИТОГ: GO — блокирующих проблем нет" exit 0 else echo "ИТОГ: NO-GO — проблем: $FAIL" exit 1 fi