Files
buryan-infra/ops/scripts/prometheus-targets.sh

109 lines
4.5 KiB
Bash
Executable File

#!/bin/bash
# ============================================================
# prometheus-targets.sh — включает сбор метрик со всех гостей (F6-6)
# ============================================================
# Что было: сборщики метрик (node_exporter) работали во всех 28 контейнерах,
# но Prometheus собирал данные только с самого себя — одна цель из тридцати.
# Диски, процессор и память гостей не собирались вообще, поэтому в Grafana
# по ним нечего было показать.
#
# Что делает: собирает адреса работающих гостей, у которых слушает сборщик
# на порту 9100, формирует конфигурацию и перезапускает Prometheus.
#
# Оповещения о порогах здесь НЕ настраиваются: Prometheus сам по себе
# уведомления не отправляет, для этого нужен Alertmanager, которого нет.
# Уведомления шлют скрипты check_disk.py и check_certs.py. Prometheus даёт
# историю и графики.
#
# Запуск: bash prometheus-targets.sh
# ============================================================
set -uo pipefail
PROM_CT=134
PROM_CONTAINER=prometheus
OUT=/root/prometheus-new.yml
echo "=== СБОР АДРЕСОВ ==="
{
cat <<'HEADER'
# Конфигурация Prometheus для buryan-hub.
# Сформирована автоматически скриптом ops/scripts/prometheus-targets.sh.
# Правки вручную будут перезаписаны при следующем запуске.
global:
scrape_interval: 15s
evaluation_interval: 15s
scrape_timeout: 10s
scrape_configs:
# Сам Prometheus
- job_name: prometheus
static_configs:
- targets: ["localhost:9090"]
labels:
app: prometheus
# Сборщики метрик во всех гостях
- job_name: node
static_configs:
HEADER
count=0
for id in $(pct list | awk 'NR>1{print $1}'); do
state=$(pct status "$id" 2>/dev/null | awk '{print $2}')
[ "$state" = "running" ] || continue
ip=$(pct exec "$id" -- hostname -I 2>/dev/null | awk '{print $1}')
[ -n "$ip" ] || continue
listens=$(pct exec "$id" -- bash -c 'ss -tln 2>/dev/null | grep -qc 9100 && echo yes' 2>/dev/null)
[ "$listens" = "yes" ] || continue
name=$(pct config "$id" 2>/dev/null | awk '/^hostname/{print $2}')
printf ' - targets: ["%s:9100"]\n' "$ip"
printf ' labels:\n'
printf ' ct: "%s"\n' "$id"
printf ' host: "%s"\n' "${name:-ct-$id}"
count=$((count + 1))
echo " CT $id ${name:-} — $ip" >&2
done
} > "$OUT"
echo "собрано целей: $count"
echo
if [ "$count" -eq 0 ]; then
echo "ни одной цели не найдено — конфигурация не менялась"
exit 1
fi
echo "=== ПРОВЕРКА КОНФИГУРАЦИИ ==="
pct push "$PROM_CT" "$OUT" /tmp/prometheus-new.yml
pct exec "$PROM_CT" -- docker cp /tmp/prometheus-new.yml "${PROM_CONTAINER}:/tmp/prometheus-new.yml" >/dev/null 2>&1
if pct exec "$PROM_CT" -- docker exec "$PROM_CONTAINER" \
promtool check config /tmp/prometheus-new.yml 2>&1 | tail -3; then
echo "конфигурация принята"
else
echo "конфигурация отклонена — ничего не меняю"
exit 1
fi
echo
echo "=== ПРИМЕНЕНИЕ ==="
pct exec "$PROM_CT" -- docker cp "/tmp/prometheus-new.yml" \
"${PROM_CONTAINER}:/etc/prometheus/prometheus.yml" >/dev/null 2>&1
pct exec "$PROM_CT" -- docker restart "$PROM_CONTAINER" >/dev/null 2>&1
echo "Prometheus перезапущен, ожидание 20 секунд"
sleep 20
echo
echo "=== ПРОВЕРКА РЕЗУЛЬТАТА ==="
curl -s -m 15 "http://192.168.1.134:9090/api/v1/targets?state=active" -o /tmp/targets-after.json
total=$(jq -r '.data.activeTargets | length' /tmp/targets-after.json 2>/dev/null)
up=$(jq -r '[.data.activeTargets[] | select(.health == "up")] | length' /tmp/targets-after.json 2>/dev/null)
down=$(jq -r '[.data.activeTargets[] | select(.health != "up")] | length' /tmp/targets-after.json 2>/dev/null)
echo "целей: ${total:-?}, отвечают: ${up:-?}, молчат: ${down:-?}"