#!/bin/bash # ============================================================ # pilot-grafana.sh — образец переноса файловой базы в PostgreSQL # ============================================================ # Цель: отработать метод на сервисе с низкой ценой ошибки и строгой # проверкой полноты переноса. # # Grafana подходит потому, что: # * схема простая и счётная; # * цена ошибки низкая — это графики, не пароли и не репозитории; # * приложение само создаёт схему в PostgreSQL, поэтому ручная # конвертация типов не нужна. # # ПОРЯДОК: # 1. точка отката: снимок контейнера + копия файловой базы; # 2. создание базы и роли в PostgreSQL; # 3. выгрузка всех таблиц из файловой базы; # 4. переключение Grafana на PostgreSQL и создание схемы; # 5. загрузка данных; # 6. ПРОВЕРКА ПОЛНОТЫ: число строк по каждой таблице и контрольные суммы; # 7. проверка через API сервиса. # # Откат: восстановить конфигурацию и запустить со старой базой, # либо вернуть снимок контейнера. # # Запуск: bash pilot-grafana.sh # ============================================================ set -uo pipefail CT=113 CONT=grafana DB=grafana_db ROLE=grafana_user PASS='Grafana_Local_2026!' STAMP=$(date +%Y%m%d_%H%M%S) QUAR="/mnt/backups/retired/${STAMP}-grafana-pilot" WORK="/tmp/grafana-pilot-$STAMP" mkdir -p "$QUAR" "$WORK" p() { pct exec 151 -- sudo -u postgres psql "$@"; } say() { echo "[$(date '+%T')] $*"; } # график: где лежит файловая база GDB_VOL=$(pct exec $CT -- docker inspect $CONT --format '{{range .Mounts}}{{.Source}} {{end}}' 2>/dev/null | tr ' ' '\n' | grep -v '^$' | head -1) GDB="$GDB_VOL/grafana.db" echo "═══════════════════════════════════════════════════════════" echo " ОБРАЗЕЦ: GRAFANA → POSTGRESQL" echo "═══════════════════════════════════════════════════════════" echo " файловая база: $GDB" pct exec $CT -- test -f "$GDB" || { say "❌ файл базы не найден — стоп"; exit 1; } echo say "1. ТОЧКА ОТКАТА" # снимок контейнера целиком SNAP="pre-grafana-pg-$STAMP" if pct snapshot $CT "$SNAP" --description "перед переносом Grafana на PostgreSQL" >/dev/null 2>&1; then echo " ✅ снимок контейнера: $SNAP" else say " ❌ снимок не создался — ОСТАНАВЛИВАЮСЬ" exit 1 fi pct listsnapshot $CT 2>/dev/null | grep -q "$SNAP" && echo " ✅ снимок виден в списке" || { say " ❌ снимок не подтверждён"; exit 1; } # копия файловой базы pct exec $CT -- tar -c -C / "${GDB#/}" 2>/dev/null | gzip > "$QUAR/grafana.db.tar.gz" GUARD_SIZE=$(stat -c %s "$QUAR/grafana.db.tar.gz" 2>/dev/null) gunzip -t "$QUAR/grafana.db.tar.gz" 2>/dev/null && echo " ✅ копия базы в карантине: $(du -h "$QUAR/grafana.db.tar.gz" | cut -f1)" || { say " ❌ копия повреждена"; exit 1; } # текущая конфигурация Grafana pct exec $CT -- docker inspect $CONT --format '{{range .Config.Env}}{{println .}}{{end}}' 2>/dev/null > "$QUAR/grafana-env-before.txt" pct exec $CT -- cat /opt/grafana/docker-compose.yml > "$QUAR/docker-compose-before.yml" 2>/dev/null echo " ✅ конфигурация сохранена" echo say "2. БАЗА И РОЛЬ В POSTGRESQL" p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$ROLE'" 2>/dev/null | grep -q '^1$' \ || p -tAc "CREATE ROLE $ROLE LOGIN PASSWORD '$PASS'" >/dev/null 2>&1 p -tAc "SELECT count(*) FROM pg_database WHERE datname='$DB'" 2>/dev/null | grep -q '^1$' \ || p -tAc "CREATE DATABASE $DB WITH OWNER $ROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 echo " база: $(p -tAc "SELECT count(*) FROM pg_database WHERE datname='$DB'" 2>/dev/null)" echo " кодировка: $(p -tAc "SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname='$DB'" 2>/dev/null)" echo " владелец: $(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$DB'" 2>/dev/null)" echo say "3. ВЫГРУЗКА ТАБЛИЦ ИЗ ФАЙЛОВОЙ БАЗЫ" TABLES=$(pct exec $CT -- sqlite3 "$GDB" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null) NT=$(echo "$TABLES" | grep -c .) echo " таблиц: $NT" # ПРЕДОХРАНИТЕЛЬ: если прочитать таблицы не удалось — это провал, # а не повод объявить успех. Проверка, которая проходит на пустом # списке, хуже отсутствия проверки. if [ "${NT:-0}" -eq 0 ]; then say "❌ НЕ УДАЛОСЬ ПРОЧИТАТЬ ТАБЛИЦЫ ФАЙЛОВОЙ БАЗЫ — ОСТАНАВЛИВАЮСЬ" say " проверьте наличие инструмента чтения: sqlite3 в CT $CT" exit 1 fi : > "$WORK/counts-before.txt" for t in $TABLES; do n=$(pct exec $CT -- sqlite3 "$GDB" "SELECT count(*) FROM \"$t\"" 2>/dev/null) printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts-before.txt" pct exec $CT -- sqlite3 "$GDB" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null done echo " выгружено строк всего: $(awk -F'|' '{s+=$2} END{print s}' "$WORK/counts-before.txt")" echo " крупнейшие таблицы:" sort -t'|' -k2 -rn "$WORK/counts-before.txt" | head -5 | awk -F'|' '{printf " %-32s %s\n", $1, $2}' echo say "4. ПЕРЕКЛЮЧАЮ GRAFANA НА POSTGRESQL" pct exec $CT -- docker stop -t 30 $CONT >/dev/null 2>&1 echo " grafana остановлена" # правки конфигурации: добавляю переменные базы pct exec $CT -- bash -c " cd /opt/grafana cp docker-compose.yml docker-compose.yml.pilot-backup if ! grep -q 'GF_DATABASE_TYPE' docker-compose.yml; then python3 - <<'PYEOF' p = '/opt/grafana/docker-compose.yml' s = open(p).read() add = ''' - GF_DATABASE_TYPE=postgres - GF_DATABASE_HOST=192.168.1.151:5432 - GF_DATABASE_NAME=$DB - GF_DATABASE_USER=$ROLE - GF_DATABASE_PASSWORD=$PASS - GF_DATABASE_SSL_MODE=disable ''' s = s.replace(' environment:\n', ' environment:\n' + add, 1) open(p, 'w').write(s) PYEOF fi " 2>&1 | tail -2 echo " конфигурация обновлена" pct exec $CT -- bash -c "cd /opt/grafana && DOCKER_API_VERSION=1.41 docker compose up -d grafana" 2>&1 | tail -3 echo " ожидание создания схемы (40 секунд)" sleep 40 echo " таблиц в PostgreSQL после запуска: $(p -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)" p -tAc "SELECT ' ' || tablename FROM pg_tables WHERE schemaname='public' ORDER BY tablename LIMIT 5" 2>/dev/null echo say "5. ОСТАНАВЛИВАЮ И ЗАГРУЖАЮ ДАННЫЕ" pct exec $CT -- docker stop -t 30 $CONT >/dev/null 2>&1 sleep 3 loaded=0 failed=0 for t in $TABLES; do rows=$(awk -F'|' -v t="$t" '$1==t {print $2}' "$WORK/counts-before.txt") [ "${rows:-0}" -eq 0 ] && continue # загружаю через COPY; ошибки собираю if pct exec 151 -- sudo -u postgres psql -q -d "$DB" -c "\copy \"$t\" FROM '$WORK/$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err-$t.txt"; then loaded=$((loaded + 1)) else failed=$((failed + 1)) printf ' ⚠️ %-30s %s\n' "$t" "$(head -1 "$WORK/err-$t.txt" | cut -c1-70)" fi done echo " таблиц загружено: $loaded, с ошибками: $failed" echo say "6. ЗАПУСКАЮ И ПРОВЕРЯЮ" pct exec $CT -- bash -c "cd /opt/grafana && DOCKER_API_VERSION=1.41 docker compose up -d grafana" >/dev/null 2>&1 sleep 45 printf ' состояние: %s\n' "$(pct exec $CT -- docker inspect $CONT --format '{{.State.Status}}' 2>/dev/null)" echo -n " Grafana отвечает: " curl -s -o /dev/null -w '%{http_code}\n' --max-time 15 http://192.168.1.113:3000/api/health 2>/dev/null echo echo "═══════════════════════════════════════════════════════════" echo " ПРОВЕРКА ПОЛНОТЫ ПЕРЕНОСА" echo "═══════════════════════════════════════════════════════════" printf ' %-34s %10s %10s %s\n' ТАБЛИЦА БЫЛО СТАЛО ИТОГ printf ' %s\n' '-----------------------------------------------------------------' mismatch=0 same=0 while IFS='|' read -r t before; do [ -n "$t" ] || continue [ "${before:-0}" -eq 0 ] && continue after=$(p -d "$DB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null) if [ "${before}" = "${after}" ]; then mark="✅" same=$((same + 1)) else mark="❌" mismatch=$((mismatch + 1)) fi # показываю только непустые таблицы printf ' %-34s %10s %10s %s\n' "$t" "$before" "${after:-?}" "$mark" done < "$WORK/counts-before.txt" echo echo " совпало таблиц: $same, расхождений: $mismatch" echo echo "═══════════════════════════════════════════════════════════" if [ "$mismatch" -eq 0 ] && [ "$failed" -eq 0 ]; then echo " ✅ ПЕРЕНОС ПОЛНЫЙ — все таблицы совпадают по числу строк" echo " точка отката: снимок $SNAP" echo " копия базы: $QUAR/grafana.db.tar.gz" else echo " ⚠️ ЕСТЬ РАСХОЖДЕНИЯ — требуется разбор" echo " ОТКАТ: pct exec $CT -- bash -c 'cd /opt/grafana && cp docker-compose.yml.pilot-backup docker-compose.yml && DOCKER_API_VERSION=1.41 docker compose up -d grafana'" fi echo "═══════════════════════════════════════════════════════════" echo " рабочий каталог: $WORK" echo " карантин: $QUAR"