109 lines
4.5 KiB
Bash
Executable File
109 lines
4.5 KiB
Bash
Executable File
#!/bin/bash
|
|
# ============================================================
|
|
# prometheus-targets.sh — включает сбор метрик со всех гостей (F6-6)
|
|
# ============================================================
|
|
# Что было: сборщики метрик (node_exporter) работали во всех 28 контейнерах,
|
|
# но Prometheus собирал данные только с самого себя — одна цель из тридцати.
|
|
# Диски, процессор и память гостей не собирались вообще, поэтому в Grafana
|
|
# по ним нечего было показать.
|
|
#
|
|
# Что делает: собирает адреса работающих гостей, у которых слушает сборщик
|
|
# на порту 9100, формирует конфигурацию и перезапускает Prometheus.
|
|
#
|
|
# Оповещения о порогах здесь НЕ настраиваются: Prometheus сам по себе
|
|
# уведомления не отправляет, для этого нужен Alertmanager, которого нет.
|
|
# Уведомления шлют скрипты check_disk.py и check_certs.py. Prometheus даёт
|
|
# историю и графики.
|
|
#
|
|
# Запуск: bash prometheus-targets.sh
|
|
# ============================================================
|
|
set -uo pipefail
|
|
|
|
PROM_CT=134
|
|
PROM_CONTAINER=prometheus
|
|
OUT=/root/prometheus-new.yml
|
|
|
|
echo "=== СБОР АДРЕСОВ ==="
|
|
|
|
{
|
|
cat <<'HEADER'
|
|
# Конфигурация Prometheus для buryan-hub.
|
|
# Сформирована автоматически скриптом ops/scripts/prometheus-targets.sh.
|
|
# Правки вручную будут перезаписаны при следующем запуске.
|
|
|
|
global:
|
|
scrape_interval: 15s
|
|
evaluation_interval: 15s
|
|
scrape_timeout: 10s
|
|
|
|
scrape_configs:
|
|
# Сам Prometheus
|
|
- job_name: prometheus
|
|
static_configs:
|
|
- targets: ["localhost:9090"]
|
|
labels:
|
|
app: prometheus
|
|
|
|
# Сборщики метрик во всех гостях
|
|
- job_name: node
|
|
static_configs:
|
|
HEADER
|
|
|
|
count=0
|
|
for id in $(pct list | awk 'NR>1{print $1}'); do
|
|
state=$(pct status "$id" 2>/dev/null | awk '{print $2}')
|
|
[ "$state" = "running" ] || continue
|
|
|
|
ip=$(pct exec "$id" -- hostname -I 2>/dev/null | awk '{print $1}')
|
|
[ -n "$ip" ] || continue
|
|
|
|
listens=$(pct exec "$id" -- bash -c 'ss -tln 2>/dev/null | grep -qc 9100 && echo yes' 2>/dev/null)
|
|
[ "$listens" = "yes" ] || continue
|
|
|
|
name=$(pct config "$id" 2>/dev/null | awk '/^hostname/{print $2}')
|
|
|
|
printf ' - targets: ["%s:9100"]\n' "$ip"
|
|
printf ' labels:\n'
|
|
printf ' ct: "%s"\n' "$id"
|
|
printf ' host: "%s"\n' "${name:-ct-$id}"
|
|
|
|
count=$((count + 1))
|
|
echo " CT $id ${name:-} — $ip" >&2
|
|
done
|
|
} > "$OUT"
|
|
|
|
echo "собрано целей: $count"
|
|
echo
|
|
|
|
if [ "$count" -eq 0 ]; then
|
|
echo "ни одной цели не найдено — конфигурация не менялась"
|
|
exit 1
|
|
fi
|
|
|
|
echo "=== ПРОВЕРКА КОНФИГУРАЦИИ ==="
|
|
pct push "$PROM_CT" "$OUT" /tmp/prometheus-new.yml
|
|
pct exec "$PROM_CT" -- docker cp /tmp/prometheus-new.yml "${PROM_CONTAINER}:/tmp/prometheus-new.yml" >/dev/null 2>&1
|
|
if pct exec "$PROM_CT" -- docker exec "$PROM_CONTAINER" \
|
|
promtool check config /tmp/prometheus-new.yml 2>&1 | tail -3; then
|
|
echo "конфигурация принята"
|
|
else
|
|
echo "конфигурация отклонена — ничего не меняю"
|
|
exit 1
|
|
fi
|
|
|
|
echo
|
|
echo "=== ПРИМЕНЕНИЕ ==="
|
|
pct exec "$PROM_CT" -- docker cp "/tmp/prometheus-new.yml" \
|
|
"${PROM_CONTAINER}:/etc/prometheus/prometheus.yml" >/dev/null 2>&1
|
|
pct exec "$PROM_CT" -- docker restart "$PROM_CONTAINER" >/dev/null 2>&1
|
|
echo "Prometheus перезапущен, ожидание 20 секунд"
|
|
sleep 20
|
|
|
|
echo
|
|
echo "=== ПРОВЕРКА РЕЗУЛЬТАТА ==="
|
|
curl -s -m 15 "http://192.168.1.134:9090/api/v1/targets?state=active" -o /tmp/targets-after.json
|
|
total=$(jq -r '.data.activeTargets | length' /tmp/targets-after.json 2>/dev/null)
|
|
up=$(jq -r '[.data.activeTargets[] | select(.health == "up")] | length' /tmp/targets-after.json 2>/dev/null)
|
|
down=$(jq -r '[.data.activeTargets[] | select(.health != "up")] | length' /tmp/targets-after.json 2>/dev/null)
|
|
echo "целей: ${total:-?}, отвечают: ${up:-?}, молчат: ${down:-?}"
|