Grafana перенесена на PostgreSQL: 28 из 28 таблиц, двоичные ключи проверены побайтово
This commit is contained in:
1 parent
655f54d588
commit
755bbf95f3
4 files changed
+597
No files matched your search
Executable
+152
@@ -0,0 +1,152 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# load-blob-table.sh — загрузка таблицы с учётом типов PostgreSQL
|
||||
# ============================================================
|
||||
# История исправлений:
|
||||
# 1. Генерация команд средствами sqlite3 давала ПУСТОЙ файл, а psql на
|
||||
# пустом файле возвращает успех — загрузка засчитывалась ложно.
|
||||
# 2. Разбор строки средствами bash давал СДВИГ ПОЛЕЙ.
|
||||
# 3. Выражение выборки начиналось с разделителя — «SELECT || ...».
|
||||
# 4. Типы не совпадают: в файловой базе active целое 0/1, а PostgreSQL
|
||||
# создаёт это поле ЛОГИЧЕСКИМ. Вставка числа в логическое поле падает.
|
||||
#
|
||||
# Поэтому типы берутся ИЗ POSTGRESQL, и значение подставляется по типу:
|
||||
# bytea — из шестнадцатеричного вида
|
||||
# boolean — TRUE/FALSE (0/1 из файловой базы преобразуются)
|
||||
# числовые — без кавычек
|
||||
# остальные — строкой в кавычках
|
||||
#
|
||||
# Использование: load-blob-table.sh <таблица> <файл-базы> <CT> <база-PG>
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
T="${1:?таблица}"
|
||||
GDB="${2:?путь к файловой базе}"
|
||||
CT="${3:?CT}"
|
||||
PGDB="${4:?база PostgreSQL}"
|
||||
WORK=$(mktemp -d)
|
||||
SEP='~~'
|
||||
|
||||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||||
|
||||
COLS=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(name, ',') FROM pragma_table_info('$T')" 2>/dev/null)
|
||||
NCOL=$(echo "$COLS" | awk -F',' '{print NF}')
|
||||
echo " столбцов: $NCOL"
|
||||
|
||||
# Типы из PostgreSQL — основа для правильной подстановки значений
|
||||
p -d "$PGDB" -tAc "SELECT column_name || ':' || data_type FROM information_schema.columns WHERE table_name='$T' AND table_schema='public' ORDER BY ordinal_position" 2>/dev/null > "$WORK/pgtypes.txt"
|
||||
echo " типы из PostgreSQL:"
|
||||
sed 's/^/ /' "$WORK/pgtypes.txt"
|
||||
|
||||
PGTYPES=$(paste -sd, "$WORK/pgtypes.txt")
|
||||
|
||||
# Выражение выборки: двоичные — hex, остальные как есть
|
||||
EXPR=""
|
||||
IFS=',' read -ra CN <<< "$COLS"
|
||||
for c in "${CN[@]}"; do
|
||||
t=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: -v c="$c" '$1==c {print $2}')
|
||||
if [ "$t" = "bytea" ]; then
|
||||
term="coalesce(hex(\"$c\"),'')"
|
||||
else
|
||||
term="coalesce(\"$c\",'')"
|
||||
fi
|
||||
if [ -z "$EXPR" ]; then EXPR="$term"; else EXPR="$EXPR || '$SEP' || $term"; fi
|
||||
done
|
||||
|
||||
pct exec "$CT" -- sqlite3 "$GDB" "SELECT $EXPR FROM \"$T\"" 2>/dev/null > "$WORK/rows.txt"
|
||||
NROWS=$(grep -c . "$WORK/rows.txt" 2>/dev/null || echo 0)
|
||||
echo " строк извлечено: $NROWS"
|
||||
[ "$NROWS" -gt 0 ] || { echo " ❌ строк не извлечено"; rm -rf "$WORK"; exit 1; }
|
||||
|
||||
BAD=$(awk -F"$SEP" -v n="$NCOL" 'NF != n {c++} END {print c+0}' "$WORK/rows.txt")
|
||||
[ "$BAD" -eq 0 ] || { echo " ❌ разбор строк ненадёжен ($BAD строк)"; rm -rf "$WORK"; exit 1; }
|
||||
|
||||
# Генерация команд на awk с учётом типов PostgreSQL.
|
||||
# Символ кавычки передаётся параметром Q — так надёжнее, чем экранировать
|
||||
# его внутри awk-программы (на этом я уже ошибался).
|
||||
awk -F"$SEP" -v Q="'" -v DQ='"' -v HX="hex" -v t="$T" -v cols="$COLS" -v pgtypes="$PGTYPES" '
|
||||
function esc(s) { gsub(Q, Q Q, s); return s }
|
||||
function ptype(colname, i, arr, kv) {
|
||||
n = split(pgtypes, arr, ",")
|
||||
for (i = 1; i <= n; i++) { split(arr[i], kv, ":"); if (kv[1] == colname) return kv[2] }
|
||||
return "text"
|
||||
}
|
||||
BEGIN {
|
||||
n = split(cols, C, ",")
|
||||
collist = ""
|
||||
for (i = 1; i <= n; i++) collist = collist (i > 1 ? ", " : "") DQ C[i] DQ
|
||||
}
|
||||
{
|
||||
vals = ""
|
||||
for (i = 1; i <= n; i++) {
|
||||
v = $i
|
||||
ty = ptype(C[i])
|
||||
if (v == "") {
|
||||
item = "NULL"
|
||||
} else if (ty == "bytea") {
|
||||
item = "decode(" Q v Q "," Q HX Q ")"
|
||||
} else if (ty == "boolean") {
|
||||
item = (v == "0" || v == "false" || v == "f") ? "FALSE" : "TRUE"
|
||||
} else if (ty == "integer" || ty == "bigint" || ty == "smallint" || ty == "numeric" || ty == "double precision" || ty == "real") {
|
||||
item = v
|
||||
} else {
|
||||
item = Q esc(v) Q
|
||||
}
|
||||
vals = vals (i > 1 ? ", " : "") item
|
||||
}
|
||||
printf "INSERT INTO %s (%s) VALUES (%s);\n", t, collist, vals
|
||||
}' "$WORK/rows.txt" > "$WORK/insert.sql"
|
||||
|
||||
NSTMT=$(grep -c '^INSERT' "$WORK/insert.sql" 2>/dev/null || echo 0)
|
||||
echo " команд сформировано: $NSTMT"
|
||||
if [ "$NSTMT" -ne "$NROWS" ]; then
|
||||
echo " ❌ команд $NSTMT при $NROWS строках"; rm -rf "$WORK"; exit 1
|
||||
fi
|
||||
|
||||
# Показываю первую команду — для контроля
|
||||
echo " первая команда (начало):"
|
||||
head -1 "$WORK/insert.sql" | cut -c1-140 | sed 's/^/ /'
|
||||
|
||||
pct push 151 "$WORK/insert.sql" "/tmp/blob-load.sql" >/dev/null 2>&1
|
||||
ERRTXT=$(pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -f /tmp/blob-load.sql 2>&1)
|
||||
pct exec 151 -- rm -f /tmp/blob-load.sql >/dev/null 2>&1
|
||||
# ВНИМАНИЕ: grep -c возвращает код 1, когда совпадений ноль. Конструкция
|
||||
# «|| echo 0» добавляла второй ноль, получалось "0\n0", и сравнение ниже
|
||||
# не проходило — при полностью успешной загрузке. Поэтому без «|| echo».
|
||||
ERR=$(echo "$ERRTXT" | grep -ci error)
|
||||
ERR=${ERR:-0}
|
||||
LOADED=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$T\"" 2>/dev/null)
|
||||
LOADED=${LOADED:-0}
|
||||
printf ' ошибок: %s, строк в базе: %s\n' "$ERR" "${LOADED:-0}"
|
||||
[ "$ERR" -gt 0 ] && echo "$ERRTXT" | head -3 | sed 's/^/ /'
|
||||
|
||||
# Сверка содержимого побайтово
|
||||
BCOL=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: '$2=="bytea" {print $1; exit}')
|
||||
IDX=0
|
||||
i=0
|
||||
for c in "${CN[@]}"; do
|
||||
i=$((i + 1))
|
||||
[ "$c" = "$BCOL" ] && IDX=$i
|
||||
done
|
||||
MISMATCH=0
|
||||
if [ -n "$BCOL" ] && [ "$IDX" -gt 0 ]; then
|
||||
echo " сверка двоичного поля '$BCOL' побайтово:"
|
||||
while IFS= read -r line; do
|
||||
key=$(echo "$line" | awk -F"$SEP" '{print $1}')
|
||||
fhex=$(echo "$line" | awk -F"$SEP" -v i="$IDX" '{print tolower($i)}')
|
||||
pghex=$(p -d "$PGDB" -tAc "SELECT encode(\"$BCOL\",'hex') FROM \"$T\" WHERE name='$(echo "$key" | sed "s/'/''/g")'" 2>/dev/null | tr 'A-F' 'a-f')
|
||||
if [ -n "$pghex" ] && [ "$fhex" = "$pghex" ]; then
|
||||
printf ' %-24s совпадает (%s байт)\n' "$key" "$(( ${#fhex} / 2 ))"
|
||||
else
|
||||
printf ' %-24s ❌\n' "$key"; MISMATCH=$((MISMATCH + 1))
|
||||
fi
|
||||
done < "$WORK/rows.txt"
|
||||
fi
|
||||
|
||||
echo
|
||||
if [ "${LOADED:-0}" = "$NROWS" ] && [ "$MISMATCH" -eq 0 ] && [ "$ERR" = "0" ]; then
|
||||
echo " ✅ ТАБЛИЦА $T ЗАГРУЖЕНА ПОЛНОСТЬЮ"; rm -rf "$WORK"; exit 0
|
||||
else
|
||||
echo " ❌ ТАБЛИЦА $T: загружено $LOADED из $NROWS, расхождений $MISMATCH, ошибок $ERR"
|
||||
rm -rf "$WORK"; exit 1
|
||||
fi
|
||||
Executable
+292
@@ -0,0 +1,292 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# migrate-grafana-v2.sh — перенос Grafana на PostgreSQL (исправленный)
|
||||
# ============================================================
|
||||
# Учтены все три препятствия, найденные 14.10.2026:
|
||||
#
|
||||
# 1. ДВОИЧНЫЕ ДАННЫЕ. Таблица data_keys.encrypted_data — тип BLOB.
|
||||
# Через CSV такие данные не проходят («invalid byte sequence»).
|
||||
# Решение: для неё формируются готовые команды INSERT со значением
|
||||
# в шестнадцатеричном виде и функцией decode.
|
||||
#
|
||||
# 2. НАЧАЛЬНЫЕ ЗАПИСИ СЛУЖБЫ. Grafana при создании схемы создаёт
|
||||
# роли, организацию и пользователя — они конфликтуют с переносимыми
|
||||
# по уникальным ключам. Решение: после создания схемы служба
|
||||
# ОСТАНАВЛИВАЕТСЯ и ПРОВЕРЯЕТСЯ, что действительно остановлена,
|
||||
# затем таблицы очищаются, и только потом идёт загрузка.
|
||||
#
|
||||
# 3. РАСХОЖДЕНИЕ СХЕМЫ. В Grafana 12 дэшборды хранятся не в таблице
|
||||
# dashboard, а в едином хранилище: resource и resource_history.
|
||||
# Поэтому переносятся ВСЕ таблицы с данными, а не только «понятные».
|
||||
# Проверка идёт по каждой таблице, и потеря resource видна сразу.
|
||||
#
|
||||
# Служебные таблицы (cache_data, server_lock) пропускаются: это кэш
|
||||
# и временные блокировки, они создаются службой заново.
|
||||
#
|
||||
# Запуск: bash migrate-grafana-v2.sh
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
CT=113
|
||||
CONT=grafana
|
||||
DIR=/opt/grafana
|
||||
GDB=/var/lib/docker/volumes/bb96ab0c4792f406a1d68f4935ff151e8da041c0bbcacb3262de776fd0428df5/_data/grafana.db
|
||||
PGDB=grafana_db
|
||||
PGROLE=grafana_user
|
||||
PGPASS='Grafana_Local_2026!'
|
||||
STAMP=$(date +%Y%m%d_%H%M%S)
|
||||
QUAR="/mnt/backups/retired/${STAMP}-grafana-v2"
|
||||
WORK="/tmp/grafana-v2-$STAMP"
|
||||
mkdir -p "$QUAR" "$WORK"
|
||||
|
||||
SKIP="cache_data server_lock"
|
||||
|
||||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||||
say() { echo "[$(date '+%T')] $*"; }
|
||||
API_VER=$(pct exec "$CT" -- docker version --format '{{.Server.APIVersion}}' 2>/dev/null)
|
||||
|
||||
rollback() {
|
||||
say "⟲ ВОЗВРАТ"
|
||||
pct exec "$CT" -- bash -c "cd '$DIR' && cp docker-compose.yml.migr-backup docker-compose.yml 2>/dev/null" >/dev/null 2>&1
|
||||
pct exec "$CT" -- bash -c "cd '$DIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1
|
||||
sleep 30
|
||||
printf ' состояние: %s\n' "$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)"
|
||||
echo -n ' health: '; curl -s -m 10 http://192.168.1.113:3000/api/health 2>/dev/null | jq -r '.database' 2>/dev/null
|
||||
echo -n ' дэшбордов: '; curl -s -m 10 'http://192.168.1.113:3000/api/search?type=dash-db' 2>/dev/null | jq -r 'length' 2>/dev/null
|
||||
p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1
|
||||
p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1
|
||||
say " база и роль удалены"
|
||||
}
|
||||
|
||||
echo "╔══════════════════════════════════════════════════════════╗"
|
||||
echo "║ GRAFANA → POSTGRESQL (исправленный перенос) ║"
|
||||
echo "╚══════════════════════════════════════════════════════════╝"
|
||||
|
||||
# ── 0-1. Проверки и точка отката ─────────────────────────────
|
||||
say "0. точка отката"
|
||||
SNAP="pre-grafana-pg2-$STAMP"
|
||||
pct snapshot "$CT" "$SNAP" --description "перед переносом Grafana на PostgreSQL" >/dev/null 2>&1
|
||||
pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; }
|
||||
pct exec "$CT" -- tar -c -C / "${GDB#/}" 2>/dev/null | gzip > "$QUAR/base.tar.gz"
|
||||
gunzip -t "$QUAR/base.tar.gz" 2>/dev/null || { say "❌ копия повреждена"; exit 1; }
|
||||
pct exec "$CT" -- cp "$DIR/docker-compose.yml" "$DIR/docker-compose.yml.migr-backup" 2>/dev/null
|
||||
echo " снимок $SNAP, копия базы $(du -h "$QUAR/base.tar.gz" | cut -f1), конфигурация сохранена"
|
||||
|
||||
# ── 2. Разведка ──────────────────────────────────────────────
|
||||
say "1. читаю файловую базу"
|
||||
pct exec "$CT" -- sqlite3 "$GDB" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt"
|
||||
NT=$(grep -c . "$WORK/tables.txt")
|
||||
[ "$NT" -gt 0 ] || { say "❌ таблиц не прочитано — стоп"; exit 1; }
|
||||
echo " таблиц всего: $NT"
|
||||
|
||||
: > "$WORK/counts.txt"
|
||||
: > "$WORK/blobtables.txt"
|
||||
while read -r t; do
|
||||
[ -n "$t" ] || continue
|
||||
n=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT count(*) FROM \"$t\"" 2>/dev/null)
|
||||
printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts.txt"
|
||||
blobs=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(name) FROM pragma_table_info('$t') WHERE type LIKE '%BLOB%'" 2>/dev/null)
|
||||
[ -n "$blobs" ] && [ "${n:-0}" -gt 0 ] && printf '%s|%s\n' "$t" "$blobs" >> "$WORK/blobtables.txt"
|
||||
done < "$WORK/tables.txt"
|
||||
|
||||
WITH_DATA=$(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l)
|
||||
TOTAL=$(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt")
|
||||
echo " таблиц с данными: $WITH_DATA, строк всего: $TOTAL"
|
||||
echo " таблицы с двоичными данными и строками:"
|
||||
cat "$WORK/blobtables.txt" 2>/dev/null | sed 's/^/ /' || echo " нет"
|
||||
|
||||
# ── 3. База ──────────────────────────────────────────────────
|
||||
say "2. создаю базу и роль"
|
||||
p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \
|
||||
p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1
|
||||
p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \
|
||||
p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1
|
||||
echo " база $PGDB готова"
|
||||
|
||||
# ── 4. Создание схемы службой ────────────────────────────────
|
||||
say "3. переключаю Grafana на PostgreSQL (схему создаёт сама)"
|
||||
pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1
|
||||
pct exec "$CT" -- bash -c "
|
||||
cd '$DIR'
|
||||
python3 - <<'PYEOF'
|
||||
p = '$DIR/docker-compose.yml'
|
||||
s = open(p).read()
|
||||
add = ''' - GF_DATABASE_TYPE=postgres
|
||||
- GF_DATABASE_HOST=192.168.1.151:5432
|
||||
- GF_DATABASE_NAME=$PGDB
|
||||
- GF_DATABASE_USER=$PGROLE
|
||||
- GF_DATABASE_PASSWORD=$PGPASS
|
||||
- GF_DATABASE_SSL_MODE=disable
|
||||
'''
|
||||
if 'GF_DATABASE_TYPE' not in s:
|
||||
s = s.replace(' environment:\n', ' environment:\n' + add, 1)
|
||||
open(p, 'w').write(s)
|
||||
PYEOF
|
||||
" >/dev/null 2>&1
|
||||
pct exec "$CT" -- bash -c "cd '$DIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1
|
||||
|
||||
say " жду создания схемы"
|
||||
created=0
|
||||
for i in $(seq 1 36); do
|
||||
sleep 5
|
||||
created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
|
||||
if [ "${created:-0}" -gt 50 ]; then break; fi
|
||||
# если контейнер не работает — ждать бессмысленно, показываю причину
|
||||
cst=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
|
||||
if [ -n "$cst" ] && [ "$cst" != "running" ] && [ "$cst" != "created" ]; then
|
||||
say " контейнер в состоянии '$cst' — ждать бессмысленно"
|
||||
break
|
||||
fi
|
||||
done
|
||||
echo " таблиц создано: ${created:-0}"
|
||||
if [ "${created:-0}" -le 50 ]; then
|
||||
say "❌ схема не создана — возврат"
|
||||
echo " журнал Grafana (последние строки):"
|
||||
pct exec "$CT" -- docker logs --tail 12 "$CONT" 2>&1 | tail -12 | sed 's/^/ /'
|
||||
rollback; exit 1
|
||||
fi
|
||||
|
||||
# ── 5. Остановка и очистка ───────────────────────────────────
|
||||
say "4. убираю контейнер с пути на время загрузки"
|
||||
pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1
|
||||
for i in $(seq 1 12); do
|
||||
st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
|
||||
[ "$st" = "exited" ] && break
|
||||
sleep 3
|
||||
done
|
||||
echo " состояние после остановки: $st"
|
||||
if [ "$st" != "exited" ]; then
|
||||
say "❌ не удалось остановить"
|
||||
rollback; exit 1
|
||||
fi
|
||||
|
||||
# КОНТЕЙНЕР УДАЛЯЕТСЯ. Проверка «exited» недостаточна: на практике служба
|
||||
# поднималась снова и перезаписывала загруженные данные своими начальными
|
||||
# (роли 115 → 7, пользователь 2 → 1). Пока контейнера нет — писать некому.
|
||||
# Удаление повторяется: с первой попытки иногда не проходит.
|
||||
removed=no
|
||||
for i in 1 2 3 4 5; do
|
||||
pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1
|
||||
sleep 2
|
||||
if ! pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1; then
|
||||
removed=yes; break
|
||||
fi
|
||||
echo " попытка $i: контейнер ещё на месте, повторяю"
|
||||
done
|
||||
echo " контейнер удалён: $removed"
|
||||
if [ "$removed" != "yes" ]; then
|
||||
say "❌ контейнер не удалился — загрузка была бы перезаписана"
|
||||
rollback; exit 1
|
||||
fi
|
||||
|
||||
say "5. очищаю таблицы, созданные службой"
|
||||
TR=$(p -d "$PGDB" -tAc "
|
||||
DO \$\$ DECLARE r record; BEGIN
|
||||
FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' LOOP
|
||||
EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE';
|
||||
END LOOP;
|
||||
END \$\$;" 2>&1 | grep -ci error || echo 0)
|
||||
echo " ошибок очистки: $TR"
|
||||
|
||||
# ещё раз убеждаюсь, что таблицы пусты
|
||||
left=$(p -d "$PGDB" -tAc "SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null)
|
||||
echo " строк в базе после очистки: ${left:-?}"
|
||||
|
||||
# ── 6. Загрузка ──────────────────────────────────────────────
|
||||
say "6. загружаю данные"
|
||||
loaded=0; skipped=0; failed=0
|
||||
: > "$WORK/failed.txt"
|
||||
is_skip() { for s in $SKIP; do [ "$1" = "$s" ] && return 0; done; return 1; }
|
||||
|
||||
while IFS='|' read -r t before; do
|
||||
[ -n "$t" ] || continue
|
||||
[ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; }
|
||||
is_skip "$t" && { printf ' · %-26s пропущена (служебная)\n' "$t"; skipped=$((skipped + 1)); continue; }
|
||||
|
||||
has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null)
|
||||
if [ "${has:-0}" = "0" ]; then
|
||||
printf ' ⚠️ %-26s нет в PostgreSQL\n' "$t"; failed=$((failed + 1))
|
||||
printf '%s|нет в PostgreSQL\n' "$t" >> "$WORK/failed.txt"; continue
|
||||
fi
|
||||
|
||||
blobs=$(awk -F'|' -v t="$t" '$1==t {print $2}' "$WORK/blobtables.txt")
|
||||
|
||||
if [ -n "$blobs" ]; then
|
||||
# ДВОИЧНЫЕ: отдельный проверяемый загрузчик.
|
||||
# Разбор строки средствами bash давал СДВИГ ПОЛЕЙ (scope получал
|
||||
# значение active), поэтому генерация команд там построена на awk,
|
||||
# а содержимое сверяется с файловой базой побайтово.
|
||||
if bash /root/load-blob-table.sh "$t" "$GDB" "$CT" "$PGDB" 2>&1 | sed 's/^/ /'; then
|
||||
loaded=$((loaded + 1))
|
||||
else
|
||||
failed=$((failed + 1))
|
||||
printf '%s|загрузчик двоичных данных вернул ошибку\n' "$t" >> "$WORK/failed.txt"
|
||||
fi
|
||||
else
|
||||
# ТЕКСТОВЫЕ: CSV через COPY
|
||||
pct exec "$CT" -- sqlite3 "$GDB" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null
|
||||
pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1
|
||||
if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then
|
||||
loaded=$((loaded + 1))
|
||||
else
|
||||
failed=$((failed + 1))
|
||||
printf ' ⚠️ %-26s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-60)"
|
||||
printf '%s|%s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-60)" >> "$WORK/failed.txt"
|
||||
fi
|
||||
pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1
|
||||
fi
|
||||
done < "$WORK/counts.txt"
|
||||
echo " загружено: $loaded, пропущено: $skipped, ошибок: $failed"
|
||||
|
||||
# ── 7. Проверка ──────────────────────────────────────────────
|
||||
say "7. ПРОВЕРКА ПОЛНОТЫ ПО КАЖДОЙ ТАБЛИЦЕ"
|
||||
printf ' %-32s %8s %8s %s\n' ТАБЛИЦА БЫЛО СТАЛО ИТОГ
|
||||
printf ' %s\n' '-----------------------------------------------------------'
|
||||
same=0; differ=0; missing=0
|
||||
while IFS='|' read -r t before; do
|
||||
[ -n "$t" ] || continue
|
||||
[ "${before:-0}" -eq 0 ] && continue
|
||||
if is_skip "$t"; then
|
||||
printf ' %-32s %8s %8s · пропущена\n' "$t" "$before" "—"
|
||||
continue
|
||||
fi
|
||||
after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null)
|
||||
if [ "${before}" = "${after}" ]; then
|
||||
same=$((same + 1))
|
||||
elif [ -z "$after" ]; then
|
||||
printf ' %-32s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1))
|
||||
else
|
||||
printf ' %-32s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1))
|
||||
fi
|
||||
done < "$WORK/counts.txt"
|
||||
|
||||
echo
|
||||
printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing"
|
||||
|
||||
# ── 8. Запуск и проверка службы ──────────────────────────────
|
||||
say "8. запускаю Grafana"
|
||||
pct exec "$CT" -- bash -c "cd '$DIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1
|
||||
sleep 45
|
||||
ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
|
||||
HL=$(curl -s -m 15 http://192.168.1.113:3000/api/health 2>/dev/null | jq -r '.database' 2>/dev/null)
|
||||
DB_CNT=$(curl -s -m 15 'http://192.168.1.113:3000/api/search?type=dash-db' 2>/dev/null | jq -r 'length' 2>/dev/null)
|
||||
US_CNT=$(curl -s -m 15 http://192.168.1.113:3000/api/users 2>/dev/null | jq -r 'length' 2>/dev/null)
|
||||
DS_CNT=$(curl -s -m 15 http://192.168.1.113:3000/api/datasources 2>/dev/null | jq -r 'length' 2>/dev/null)
|
||||
printf ' состояние: %s | health: %s | дэшбордов: %s | пользователей: %s | источников: %s\n' \
|
||||
"$ST" "${HL:-?}" "${DB_CNT:-?}" "${US_CNT:-?}" "${DS_CNT:-?}"
|
||||
|
||||
# ── 9. Итог ──────────────────────────────────────────────────
|
||||
echo
|
||||
if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] \
|
||||
&& [ "${DB_CNT:-0}" -ge 5 ] && [ "${US_CNT:-0}" -ge 5 ]; then
|
||||
echo " ✅ GRAFANA ПЕРЕНЕСЁН НА POSTGRESQL"
|
||||
echo " таблиц совпало: $same"
|
||||
echo " дэшбордов: $DB_CNT, пользователей: $US_CNT, источников: $DS_CNT"
|
||||
echo " точка отката: $SNAP"
|
||||
else
|
||||
echo " ⚠️ ПЕРЕНОС НЕ ПОДТВЕРЖДЁН — расхождений $differ, отсутствует $missing, ошибок $failed"
|
||||
echo " дэшбордов $DB_CNT (ожидалось 5), пользователей $US_CNT (ожидалось 5)"
|
||||
echo " возвращаю Grafana на файловую базу"
|
||||
rollback
|
||||
fi
|
||||
echo " карантин: $QUAR, рабочий каталог: $WORK"
|
||||
Executable
+89
@@ -0,0 +1,89 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# verify-grafana-final.sh — независимая проверка переноса Grafana
|
||||
# ============================================================
|
||||
# Проверяю не то, что Grafana запустилась, а что она РАБОТАЕТ с данными:
|
||||
# * подключения к PostgreSQL идут от Grafana;
|
||||
# * дэшборды открываются и содержат панели;
|
||||
# * источники данных отвечают (значит, ключи шифрования перенеслись);
|
||||
# * в файловую базу запись больше не идёт.
|
||||
#
|
||||
# Запуск: bash verify-grafana-final.sh
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||||
GDB=/var/lib/docker/volumes/bb96ab0c4792f406a1d68f4935ff151e8da041c0bbcacb3262de776fd0428df5/_data/grafana.db
|
||||
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 1. GRAFANA РАБОТАЕТ С POSTGRESQL"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo -n " health: "; curl -s -m 12 http://192.168.1.113:3000/api/health 2>/dev/null | jq -r '"\(.database), версия \(.version)"' 2>/dev/null
|
||||
echo -n " подключений от Grafana: "
|
||||
p -tAc "SELECT count(*) FROM pg_stat_activity WHERE datname='grafana_db'" 2>/dev/null
|
||||
echo " кто подключён:"
|
||||
p -tAc "SELECT ' ' || usename || ' с ' || client_addr FROM pg_stat_activity WHERE datname='grafana_db' LIMIT 3" 2>/dev/null
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 2. ДАННЫЕ НА МЕСТЕ (в PostgreSQL)"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
p -d grafana_db -tAc "
|
||||
SELECT ' ' || rpad(t,28) || n FROM (
|
||||
SELECT 'дэшборды (resource)' t, count(*) n FROM resource
|
||||
UNION ALL SELECT 'версии (history)', count(*) FROM resource_history
|
||||
UNION ALL SELECT 'пользователи', count(*) FROM \"user\"
|
||||
UNION ALL SELECT 'организации', count(*) FROM org
|
||||
UNION ALL SELECT 'участие в орг.', count(*) FROM org_user
|
||||
UNION ALL SELECT 'источники данных', count(*) FROM data_source
|
||||
UNION ALL SELECT 'ключи шифрования', count(*) FROM data_keys
|
||||
UNION ALL SELECT 'права', count(*) FROM permission
|
||||
) x" 2>/dev/null
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 3. ДЭШБОРДЫ ДЕЙСТВИТЕЛЬНО ОТКРЫВАЮТСЯ"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
curl -s -m 12 'http://192.168.1.113:3000/api/search?type=dash-db' 2>/dev/null | \
|
||||
jq -r '.[] | " " + .title + " (uid: " + .uid + ")"' 2>/dev/null | head -6
|
||||
|
||||
echo
|
||||
echo " проверяю содержимое первого дэшборда:"
|
||||
UID_FIRST=$(curl -s -m 12 'http://192.168.1.113:3000/api/search?type=dash-db' 2>/dev/null | jq -r '.[0].uid' 2>/dev/null)
|
||||
if [ -n "$UID_FIRST" ] && [ "$UID_FIRST" != "null" ]; then
|
||||
PANELS=$(curl -s -m 12 "http://192.168.1.113:3000/api/dashboards/uid/$UID_FIRST" 2>/dev/null | jq -r '[.dashboard.panels[]?] | length' 2>/dev/null)
|
||||
TITLE=$(curl -s -m 12 "http://192.168.1.113:3000/api/dashboards/uid/$UID_FIRST" 2>/dev/null | jq -r '.dashboard.title' 2>/dev/null)
|
||||
echo " «$TITLE»: панелей $PANELS"
|
||||
[ "${PANELS:-0}" -gt 0 ] && echo " ✅ дэшборд содержит панели — данные читаются" || echo " ⚠️ панелей нет"
|
||||
else
|
||||
echo " не удалось получить uid"
|
||||
fi
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 4. ИСТОЧНИКИ ДАННЫХ ОТВЕЧАЮТ (проверка ключей шифрования)"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
curl -s -m 12 http://192.168.1.113:3000/api/datasources 2>/dev/null | \
|
||||
jq -r '.[] | " " + .name + " (" + .type + ") → " + (.url // "без адреса")' 2>/dev/null
|
||||
|
||||
echo " проверка доступности источника (значит, ключ расшифровался):"
|
||||
DS_ID=$(curl -s -m 12 http://192.168.1.113:3000/api/datasources 2>/dev/null | jq -r '.[0].id' 2>/dev/null)
|
||||
if [ -n "$DS_ID" ] && [ "$DS_ID" != "null" ]; then
|
||||
RES=$(curl -s -m 20 "http://192.168.1.113:3000/api/datasources/$DS_ID/health" 2>/dev/null | jq -r '"\(.status): \(.message)"' 2>/dev/null)
|
||||
echo " ответ источника: ${RES:-нет ответа}"
|
||||
fi
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 5. ФАЙЛОВАЯ БАЗА БОЛЬШЕ НЕ ИСПОЛЬЗУЕТСЯ"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
pct exec 113 -- stat -c ' изменена: %y' "$GDB" 2>/dev/null | cut -d. -f1
|
||||
echo " (время не должно меняться — запись идёт в PostgreSQL)"
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 6. СЛУЖБА В ЦЕЛОМ"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
printf ' контейнер: %s\n' "$(pct exec 113 -- docker inspect grafana --format '{{.State.Status}}' 2>/dev/null)"
|
||||
echo -n " переменные базы: "
|
||||
pct exec 113 -- docker inspect grafana --format '{{range .Config.Env}}{{println .}}{{end}}' 2>/dev/null | grep -c 'GF_DATABASE'
|
||||
Reference in new issue
Block a user