#!/bin/bash # ============================================================ # prometheus-targets.sh — включает сбор метрик со всех гостей (F6-6) # ============================================================ # Что было: сборщики метрик (node_exporter) работали во всех 28 контейнерах, # но Prometheus собирал данные только с самого себя — одна цель из тридцати. # Диски, процессор и память гостей не собирались вообще, поэтому в Grafana # по ним нечего было показать. # # Что делает: собирает адреса работающих гостей, у которых слушает сборщик # на порту 9100, формирует конфигурацию и перезапускает Prometheus. # # Оповещения о порогах здесь НЕ настраиваются: Prometheus сам по себе # уведомления не отправляет, для этого нужен Alertmanager, которого нет. # Уведомления шлют скрипты check_disk.py и check_certs.py. Prometheus даёт # историю и графики. # # Запуск: bash prometheus-targets.sh # ============================================================ set -uo pipefail PROM_CT=134 PROM_CONTAINER=prometheus OUT=/root/prometheus-new.yml echo "=== СБОР АДРЕСОВ ===" { cat <<'HEADER' # Конфигурация Prometheus для buryan-hub. # Сформирована автоматически скриптом ops/scripts/prometheus-targets.sh. # Правки вручную будут перезаписаны при следующем запуске. global: scrape_interval: 15s evaluation_interval: 15s scrape_timeout: 10s scrape_configs: # Сам Prometheus - job_name: prometheus static_configs: - targets: ["localhost:9090"] labels: app: prometheus # Сборщики метрик во всех гостях - job_name: node static_configs: HEADER count=0 for id in $(pct list | awk 'NR>1{print $1}'); do state=$(pct status "$id" 2>/dev/null | awk '{print $2}') [ "$state" = "running" ] || continue ip=$(pct exec "$id" -- hostname -I 2>/dev/null | awk '{print $1}') [ -n "$ip" ] || continue listens=$(pct exec "$id" -- bash -c 'ss -tln 2>/dev/null | grep -qc 9100 && echo yes' 2>/dev/null) [ "$listens" = "yes" ] || continue name=$(pct config "$id" 2>/dev/null | awk '/^hostname/{print $2}') printf ' - targets: ["%s:9100"]\n' "$ip" printf ' labels:\n' printf ' ct: "%s"\n' "$id" printf ' host: "%s"\n' "${name:-ct-$id}" count=$((count + 1)) echo " CT $id ${name:-} — $ip" >&2 done } > "$OUT" echo "собрано целей: $count" echo if [ "$count" -eq 0 ]; then echo "ни одной цели не найдено — конфигурация не менялась" exit 1 fi echo "=== ПРОВЕРКА КОНФИГУРАЦИИ ===" pct push "$PROM_CT" "$OUT" /tmp/prometheus-new.yml pct exec "$PROM_CT" -- docker cp /tmp/prometheus-new.yml "${PROM_CONTAINER}:/tmp/prometheus-new.yml" >/dev/null 2>&1 if pct exec "$PROM_CT" -- docker exec "$PROM_CONTAINER" \ promtool check config /tmp/prometheus-new.yml 2>&1 | tail -3; then echo "конфигурация принята" else echo "конфигурация отклонена — ничего не меняю" exit 1 fi echo echo "=== ПРИМЕНЕНИЕ ===" pct exec "$PROM_CT" -- docker cp "/tmp/prometheus-new.yml" \ "${PROM_CONTAINER}:/etc/prometheus/prometheus.yml" >/dev/null 2>&1 pct exec "$PROM_CT" -- docker restart "$PROM_CONTAINER" >/dev/null 2>&1 echo "Prometheus перезапущен, ожидание 20 секунд" sleep 20 echo echo "=== ПРОВЕРКА РЕЗУЛЬТАТА ===" curl -s -m 15 "http://192.168.1.134:9090/api/v1/targets?state=active" -o /tmp/targets-after.json total=$(jq -r '.data.activeTargets | length' /tmp/targets-after.json 2>/dev/null) up=$(jq -r '[.data.activeTargets[] | select(.health == "up")] | length' /tmp/targets-after.json 2>/dev/null) down=$(jq -r '[.data.activeTargets[] | select(.health != "up")] | length' /tmp/targets-after.json 2>/dev/null) echo "целей: ${total:-?}, отвечают: ${up:-?}, молчат: ${down:-?}"