211 lines
11 KiB
Bash
Executable File
211 lines
11 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# pilot-grafana.sh — образец переноса файловой базы в PostgreSQL
|
||
# ============================================================
|
||
# Цель: отработать метод на сервисе с низкой ценой ошибки и строгой
|
||
# проверкой полноты переноса.
|
||
#
|
||
# Grafana подходит потому, что:
|
||
# * схема простая и счётная;
|
||
# * цена ошибки низкая — это графики, не пароли и не репозитории;
|
||
# * приложение само создаёт схему в PostgreSQL, поэтому ручная
|
||
# конвертация типов не нужна.
|
||
#
|
||
# ПОРЯДОК:
|
||
# 1. точка отката: снимок контейнера + копия файловой базы;
|
||
# 2. создание базы и роли в PostgreSQL;
|
||
# 3. выгрузка всех таблиц из файловой базы;
|
||
# 4. переключение Grafana на PostgreSQL и создание схемы;
|
||
# 5. загрузка данных;
|
||
# 6. ПРОВЕРКА ПОЛНОТЫ: число строк по каждой таблице и контрольные суммы;
|
||
# 7. проверка через API сервиса.
|
||
#
|
||
# Откат: восстановить конфигурацию и запустить со старой базой,
|
||
# либо вернуть снимок контейнера.
|
||
#
|
||
# Запуск: bash pilot-grafana.sh
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
CT=113
|
||
CONT=grafana
|
||
DB=grafana_db
|
||
ROLE=grafana_user
|
||
PASS="$(cat /root/.grafana-admin-pass)"
|
||
STAMP=$(date +%Y%m%d_%H%M%S)
|
||
QUAR="/mnt/backups/retired/${STAMP}-grafana-pilot"
|
||
WORK="/tmp/grafana-pilot-$STAMP"
|
||
mkdir -p "$QUAR" "$WORK"
|
||
|
||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||
say() { echo "[$(date '+%T')] $*"; }
|
||
|
||
# график: где лежит файловая база
|
||
GDB_VOL=$(pct exec $CT -- docker inspect $CONT --format '{{range .Mounts}}{{.Source}} {{end}}' 2>/dev/null | tr ' ' '\n' | grep -v '^$' | head -1)
|
||
GDB="$GDB_VOL/grafana.db"
|
||
echo "═══════════════════════════════════════════════════════════"
|
||
echo " ОБРАЗЕЦ: GRAFANA → POSTGRESQL"
|
||
echo "═══════════════════════════════════════════════════════════"
|
||
echo " файловая база: $GDB"
|
||
pct exec $CT -- test -f "$GDB" || { say "❌ файл базы не найден — стоп"; exit 1; }
|
||
|
||
echo
|
||
say "1. ТОЧКА ОТКАТА"
|
||
# снимок контейнера целиком
|
||
SNAP="pre-grafana-pg-$STAMP"
|
||
if pct snapshot $CT "$SNAP" --description "перед переносом Grafana на PostgreSQL" >/dev/null 2>&1; then
|
||
echo " ✅ снимок контейнера: $SNAP"
|
||
else
|
||
say " ❌ снимок не создался — ОСТАНАВЛИВАЮСЬ"
|
||
exit 1
|
||
fi
|
||
pct listsnapshot $CT 2>/dev/null | grep -q "$SNAP" && echo " ✅ снимок виден в списке" || { say " ❌ снимок не подтверждён"; exit 1; }
|
||
|
||
# копия файловой базы
|
||
pct exec $CT -- tar -c -C / "${GDB#/}" 2>/dev/null | gzip > "$QUAR/grafana.db.tar.gz"
|
||
GUARD_SIZE=$(stat -c %s "$QUAR/grafana.db.tar.gz" 2>/dev/null)
|
||
gunzip -t "$QUAR/grafana.db.tar.gz" 2>/dev/null && echo " ✅ копия базы в карантине: $(du -h "$QUAR/grafana.db.tar.gz" | cut -f1)" || { say " ❌ копия повреждена"; exit 1; }
|
||
|
||
# текущая конфигурация Grafana
|
||
pct exec $CT -- docker inspect $CONT --format '{{range .Config.Env}}{{println .}}{{end}}' 2>/dev/null > "$QUAR/grafana-env-before.txt"
|
||
pct exec $CT -- cat /opt/grafana/docker-compose.yml > "$QUAR/docker-compose-before.yml" 2>/dev/null
|
||
echo " ✅ конфигурация сохранена"
|
||
|
||
echo
|
||
say "2. БАЗА И РОЛЬ В POSTGRESQL"
|
||
p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$ROLE'" 2>/dev/null | grep -q '^1$' \
|
||
|| p -tAc "CREATE ROLE $ROLE LOGIN PASSWORD '$PASS'" >/dev/null 2>&1
|
||
p -tAc "SELECT count(*) FROM pg_database WHERE datname='$DB'" 2>/dev/null | grep -q '^1$' \
|
||
|| p -tAc "CREATE DATABASE $DB WITH OWNER $ROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1
|
||
echo " база: $(p -tAc "SELECT count(*) FROM pg_database WHERE datname='$DB'" 2>/dev/null)"
|
||
echo " кодировка: $(p -tAc "SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname='$DB'" 2>/dev/null)"
|
||
echo " владелец: $(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$DB'" 2>/dev/null)"
|
||
|
||
echo
|
||
say "3. ВЫГРУЗКА ТАБЛИЦ ИЗ ФАЙЛОВОЙ БАЗЫ"
|
||
TABLES=$(pct exec $CT -- sqlite3 "$GDB" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null)
|
||
NT=$(echo "$TABLES" | grep -c .)
|
||
echo " таблиц: $NT"
|
||
|
||
# ПРЕДОХРАНИТЕЛЬ: если прочитать таблицы не удалось — это провал,
|
||
# а не повод объявить успех. Проверка, которая проходит на пустом
|
||
# списке, хуже отсутствия проверки.
|
||
if [ "${NT:-0}" -eq 0 ]; then
|
||
say "❌ НЕ УДАЛОСЬ ПРОЧИТАТЬ ТАБЛИЦЫ ФАЙЛОВОЙ БАЗЫ — ОСТАНАВЛИВАЮСЬ"
|
||
say " проверьте наличие инструмента чтения: sqlite3 в CT $CT"
|
||
exit 1
|
||
fi
|
||
|
||
: > "$WORK/counts-before.txt"
|
||
for t in $TABLES; do
|
||
n=$(pct exec $CT -- sqlite3 "$GDB" "SELECT count(*) FROM \"$t\"" 2>/dev/null)
|
||
printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts-before.txt"
|
||
pct exec $CT -- sqlite3 "$GDB" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null
|
||
done
|
||
echo " выгружено строк всего: $(awk -F'|' '{s+=$2} END{print s}' "$WORK/counts-before.txt")"
|
||
echo " крупнейшие таблицы:"
|
||
sort -t'|' -k2 -rn "$WORK/counts-before.txt" | head -5 | awk -F'|' '{printf " %-32s %s\n", $1, $2}'
|
||
|
||
echo
|
||
say "4. ПЕРЕКЛЮЧАЮ GRAFANA НА POSTGRESQL"
|
||
pct exec $CT -- docker stop -t 30 $CONT >/dev/null 2>&1
|
||
echo " grafana остановлена"
|
||
|
||
# правки конфигурации: добавляю переменные базы
|
||
pct exec $CT -- bash -c "
|
||
cd /opt/grafana
|
||
cp docker-compose.yml docker-compose.yml.pilot-backup
|
||
if ! grep -q 'GF_DATABASE_TYPE' docker-compose.yml; then
|
||
python3 - <<'PYEOF'
|
||
p = '/opt/grafana/docker-compose.yml'
|
||
s = open(p).read()
|
||
add = ''' - GF_DATABASE_TYPE=postgres
|
||
- GF_DATABASE_HOST=192.168.1.151:5432
|
||
- GF_DATABASE_NAME=$DB
|
||
- GF_DATABASE_USER=$ROLE
|
||
- GF_DATABASE_PASSWORD=$PASS
|
||
- GF_DATABASE_SSL_MODE=disable
|
||
'''
|
||
s = s.replace(' environment:\n', ' environment:\n' + add, 1)
|
||
open(p, 'w').write(s)
|
||
PYEOF
|
||
fi
|
||
" 2>&1 | tail -2
|
||
echo " конфигурация обновлена"
|
||
|
||
pct exec $CT -- bash -c "cd /opt/grafana && DOCKER_API_VERSION=1.41 docker compose up -d grafana" 2>&1 | tail -3
|
||
echo " ожидание создания схемы (40 секунд)"
|
||
sleep 40
|
||
echo " таблиц в PostgreSQL после запуска: $(p -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)"
|
||
p -tAc "SELECT ' ' || tablename FROM pg_tables WHERE schemaname='public' ORDER BY tablename LIMIT 5" 2>/dev/null
|
||
|
||
echo
|
||
say "5. ОСТАНАВЛИВАЮ И ЗАГРУЖАЮ ДАННЫЕ"
|
||
pct exec $CT -- docker stop -t 30 $CONT >/dev/null 2>&1
|
||
sleep 3
|
||
|
||
loaded=0
|
||
failed=0
|
||
for t in $TABLES; do
|
||
rows=$(awk -F'|' -v t="$t" '$1==t {print $2}' "$WORK/counts-before.txt")
|
||
[ "${rows:-0}" -eq 0 ] && continue
|
||
|
||
# загружаю через COPY; ошибки собираю
|
||
if pct exec 151 -- sudo -u postgres psql -q -d "$DB" -c "\copy \"$t\" FROM '$WORK/$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err-$t.txt"; then
|
||
loaded=$((loaded + 1))
|
||
else
|
||
failed=$((failed + 1))
|
||
printf ' ⚠️ %-30s %s\n' "$t" "$(head -1 "$WORK/err-$t.txt" | cut -c1-70)"
|
||
fi
|
||
done
|
||
echo " таблиц загружено: $loaded, с ошибками: $failed"
|
||
|
||
echo
|
||
say "6. ЗАПУСКАЮ И ПРОВЕРЯЮ"
|
||
pct exec $CT -- bash -c "cd /opt/grafana && DOCKER_API_VERSION=1.41 docker compose up -d grafana" >/dev/null 2>&1
|
||
sleep 45
|
||
printf ' состояние: %s\n' "$(pct exec $CT -- docker inspect $CONT --format '{{.State.Status}}' 2>/dev/null)"
|
||
echo -n " Grafana отвечает: "
|
||
curl -s -o /dev/null -w '%{http_code}\n' --max-time 15 http://192.168.1.113:3000/api/health 2>/dev/null
|
||
|
||
echo
|
||
echo "═══════════════════════════════════════════════════════════"
|
||
echo " ПРОВЕРКА ПОЛНОТЫ ПЕРЕНОСА"
|
||
echo "═══════════════════════════════════════════════════════════"
|
||
printf ' %-34s %10s %10s %s\n' ТАБЛИЦА БЫЛО СТАЛО ИТОГ
|
||
printf ' %s\n' '-----------------------------------------------------------------'
|
||
|
||
mismatch=0
|
||
same=0
|
||
while IFS='|' read -r t before; do
|
||
[ -n "$t" ] || continue
|
||
[ "${before:-0}" -eq 0 ] && continue
|
||
after=$(p -d "$DB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null)
|
||
if [ "${before}" = "${after}" ]; then
|
||
mark="✅"
|
||
same=$((same + 1))
|
||
else
|
||
mark="❌"
|
||
mismatch=$((mismatch + 1))
|
||
fi
|
||
# показываю только непустые таблицы
|
||
printf ' %-34s %10s %10s %s\n' "$t" "$before" "${after:-?}" "$mark"
|
||
done < "$WORK/counts-before.txt"
|
||
|
||
echo
|
||
echo " совпало таблиц: $same, расхождений: $mismatch"
|
||
|
||
echo
|
||
echo "═══════════════════════════════════════════════════════════"
|
||
if [ "$mismatch" -eq 0 ] && [ "$failed" -eq 0 ]; then
|
||
echo " ✅ ПЕРЕНОС ПОЛНЫЙ — все таблицы совпадают по числу строк"
|
||
echo " точка отката: снимок $SNAP"
|
||
echo " копия базы: $QUAR/grafana.db.tar.gz"
|
||
else
|
||
echo " ⚠️ ЕСТЬ РАСХОЖДЕНИЯ — требуется разбор"
|
||
echo " ОТКАТ: pct exec $CT -- bash -c 'cd /opt/grafana && cp docker-compose.yml.pilot-backup docker-compose.yml && DOCKER_API_VERSION=1.41 docker compose up -d grafana'"
|
||
fi
|
||
echo "═══════════════════════════════════════════════════════════"
|
||
echo " рабочий каталог: $WORK"
|
||
echo " карантин: $QUAR"
|