diff --git a/docs/NIGHT-JOURNAL.md b/docs/NIGHT-JOURNAL.md index f21b143..265c874 100644 --- a/docs/NIGHT-JOURNAL.md +++ b/docs/NIGHT-JOURNAL.md @@ -274,3 +274,67 @@ Grafana действительно подключилась к PostgreSQL (4 с Это не тупик, а конкретный список работ. Тот же список нужно составить для каждого следующего сервиса **до** попытки переноса. + +--- + +## ✅ ПЕРЕНОС GRAFANA ЗАВЕРШЁН (15.10.2026) + +**Результат:** Grafana работает на центральной PostgreSQL. + +``` +таблиц с данными: 28 из 28 — совпали по числу строк +ошибок загрузки: 0 +двоичные ключи: 9 из 9, содержимое совпадает ПОБАЙТОВО (52 байта) +дэшборды: 5 пользователи: 5 источники: 5 +подключений к PostgreSQL от Grafana: 4 +``` + +### Как проверялось + +Не «служба запустилась», а четыре независимые проверки: + +1. **Число строк по каждой таблице** — 28 таблиц, расхождений нет. +2. **Содержимое двоичных полей** — 9 ключей шифрования сверены побайтово + с файловой базой. +3. **Данные внутри базы** — в таблице `resource` лежит дэшборд + `buryan-health` вместе с содержимым (`{"kind":"Dashboard",...}`). +4. **Подключения** — 4 соединения от 192.168.1.113 под ролью `grafana_user`. + +Отдельно отмечу: API Grafana возвращает имена дэшбордов пустыми, потому что +запрос идёт без входа. Это свойство API, а не потеря данных — содержимое +проверено напрямую в базе. + +### Четыре ошибки, найденные и исправленные по ходу + +| # | Ошибка | Как проявилась | +|---|---|---| +| 1 | Пустой файл команд засчитан как загрузка | `psql` на пустом файле возвращает успех | +| 2 | Сдвиг полей при разборе строки средствами bash | scope получал значение active; генерацию перевели на awk | +| 3 | Выражение выборки начиналось с разделителя | «SELECT || coalesce(...)» — синтаксическая ошибка | +| 4 | **Несовпадение типов** | в файловой базе `active` целое 0/1, PostgreSQL создаёт его ЛОГИЧЕСКИМ; типы теперь берутся из PostgreSQL | +| 5 | Одинарные кавычки для имён столбцов | в SQL имена требуют двойных | +| 6 | `grep -c` возвращает код 1 при нуле совпадений | «\|\| echo 0» добавлял второй ноль, и вердикт ложно проваливался при успешной загрузке | + +### Главное открытие метода + +**Контейнер службы нужно УДАЛЯТЬ на время загрузки, а не просто +останавливать.** Проверка «служба остановлена» показывала `exited`, но +Grafana поднималась снова и перезаписывала перенос своими начальными +данными: роли 115 → 7, пользователь 2 → 1. Пока контейнера нет — писать +некому, и совпадение стало 28 из 28. + +### Исправленные инструменты (в ops/scripts) + +- `migrate-grafana-v2.sh` — перенос со всеми предохранителями; +- `load-blob-table.sh` — загрузка таблиц с двоичными полями, + с учётом типов PostgreSQL и побайтовой сверкой. + +### Порядок для следующих сервисов (проверен на Grafana) + +1. Разведка: таблицы, строки, **двоичные поля**, где лежат ключевые данные. +2. Точка отката: снимок, копия базы, копия конфигурации. +3. Дать службе создать схему в PostgreSQL. +4. **Удалить контейнер**, очистить таблицы, не давая службе перезапуститься. +5. Загрузить: текст — через CSV, двоичные — через hex с учётом типов. +6. Проверять: число строк по каждой таблице, содержимое двоичных полей. +7. Запустить службу, проверить через API и напрямую в базе. diff --git a/ops/scripts/load-blob-table.sh b/ops/scripts/load-blob-table.sh new file mode 100755 index 0000000..c6ecf45 --- /dev/null +++ b/ops/scripts/load-blob-table.sh @@ -0,0 +1,152 @@ +#!/bin/bash +# ============================================================ +# load-blob-table.sh — загрузка таблицы с учётом типов PostgreSQL +# ============================================================ +# История исправлений: +# 1. Генерация команд средствами sqlite3 давала ПУСТОЙ файл, а psql на +# пустом файле возвращает успех — загрузка засчитывалась ложно. +# 2. Разбор строки средствами bash давал СДВИГ ПОЛЕЙ. +# 3. Выражение выборки начиналось с разделителя — «SELECT || ...». +# 4. Типы не совпадают: в файловой базе active целое 0/1, а PostgreSQL +# создаёт это поле ЛОГИЧЕСКИМ. Вставка числа в логическое поле падает. +# +# Поэтому типы берутся ИЗ POSTGRESQL, и значение подставляется по типу: +# bytea — из шестнадцатеричного вида +# boolean — TRUE/FALSE (0/1 из файловой базы преобразуются) +# числовые — без кавычек +# остальные — строкой в кавычках +# +# Использование: load-blob-table.sh <таблица> <файл-базы> <база-PG> +# ============================================================ +set -uo pipefail + +T="${1:?таблица}" +GDB="${2:?путь к файловой базе}" +CT="${3:?CT}" +PGDB="${4:?база PostgreSQL}" +WORK=$(mktemp -d) +SEP='~~' + +p() { pct exec 151 -- sudo -u postgres psql "$@"; } + +COLS=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(name, ',') FROM pragma_table_info('$T')" 2>/dev/null) +NCOL=$(echo "$COLS" | awk -F',' '{print NF}') +echo " столбцов: $NCOL" + +# Типы из PostgreSQL — основа для правильной подстановки значений +p -d "$PGDB" -tAc "SELECT column_name || ':' || data_type FROM information_schema.columns WHERE table_name='$T' AND table_schema='public' ORDER BY ordinal_position" 2>/dev/null > "$WORK/pgtypes.txt" +echo " типы из PostgreSQL:" +sed 's/^/ /' "$WORK/pgtypes.txt" + +PGTYPES=$(paste -sd, "$WORK/pgtypes.txt") + +# Выражение выборки: двоичные — hex, остальные как есть +EXPR="" +IFS=',' read -ra CN <<< "$COLS" +for c in "${CN[@]}"; do + t=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: -v c="$c" '$1==c {print $2}') + if [ "$t" = "bytea" ]; then + term="coalesce(hex(\"$c\"),'')" + else + term="coalesce(\"$c\",'')" + fi + if [ -z "$EXPR" ]; then EXPR="$term"; else EXPR="$EXPR || '$SEP' || $term"; fi +done + +pct exec "$CT" -- sqlite3 "$GDB" "SELECT $EXPR FROM \"$T\"" 2>/dev/null > "$WORK/rows.txt" +NROWS=$(grep -c . "$WORK/rows.txt" 2>/dev/null || echo 0) +echo " строк извлечено: $NROWS" +[ "$NROWS" -gt 0 ] || { echo " ❌ строк не извлечено"; rm -rf "$WORK"; exit 1; } + +BAD=$(awk -F"$SEP" -v n="$NCOL" 'NF != n {c++} END {print c+0}' "$WORK/rows.txt") +[ "$BAD" -eq 0 ] || { echo " ❌ разбор строк ненадёжен ($BAD строк)"; rm -rf "$WORK"; exit 1; } + +# Генерация команд на awk с учётом типов PostgreSQL. +# Символ кавычки передаётся параметром Q — так надёжнее, чем экранировать +# его внутри awk-программы (на этом я уже ошибался). +awk -F"$SEP" -v Q="'" -v DQ='"' -v HX="hex" -v t="$T" -v cols="$COLS" -v pgtypes="$PGTYPES" ' +function esc(s) { gsub(Q, Q Q, s); return s } +function ptype(colname, i, arr, kv) { + n = split(pgtypes, arr, ",") + for (i = 1; i <= n; i++) { split(arr[i], kv, ":"); if (kv[1] == colname) return kv[2] } + return "text" +} +BEGIN { + n = split(cols, C, ",") + collist = "" + for (i = 1; i <= n; i++) collist = collist (i > 1 ? ", " : "") DQ C[i] DQ +} +{ + vals = "" + for (i = 1; i <= n; i++) { + v = $i + ty = ptype(C[i]) + if (v == "") { + item = "NULL" + } else if (ty == "bytea") { + item = "decode(" Q v Q "," Q HX Q ")" + } else if (ty == "boolean") { + item = (v == "0" || v == "false" || v == "f") ? "FALSE" : "TRUE" + } else if (ty == "integer" || ty == "bigint" || ty == "smallint" || ty == "numeric" || ty == "double precision" || ty == "real") { + item = v + } else { + item = Q esc(v) Q + } + vals = vals (i > 1 ? ", " : "") item + } + printf "INSERT INTO %s (%s) VALUES (%s);\n", t, collist, vals +}' "$WORK/rows.txt" > "$WORK/insert.sql" + +NSTMT=$(grep -c '^INSERT' "$WORK/insert.sql" 2>/dev/null || echo 0) +echo " команд сформировано: $NSTMT" +if [ "$NSTMT" -ne "$NROWS" ]; then + echo " ❌ команд $NSTMT при $NROWS строках"; rm -rf "$WORK"; exit 1 +fi + +# Показываю первую команду — для контроля +echo " первая команда (начало):" +head -1 "$WORK/insert.sql" | cut -c1-140 | sed 's/^/ /' + +pct push 151 "$WORK/insert.sql" "/tmp/blob-load.sql" >/dev/null 2>&1 +ERRTXT=$(pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -f /tmp/blob-load.sql 2>&1) +pct exec 151 -- rm -f /tmp/blob-load.sql >/dev/null 2>&1 +# ВНИМАНИЕ: grep -c возвращает код 1, когда совпадений ноль. Конструкция +# «|| echo 0» добавляла второй ноль, получалось "0\n0", и сравнение ниже +# не проходило — при полностью успешной загрузке. Поэтому без «|| echo». +ERR=$(echo "$ERRTXT" | grep -ci error) +ERR=${ERR:-0} +LOADED=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$T\"" 2>/dev/null) +LOADED=${LOADED:-0} +printf ' ошибок: %s, строк в базе: %s\n' "$ERR" "${LOADED:-0}" +[ "$ERR" -gt 0 ] && echo "$ERRTXT" | head -3 | sed 's/^/ /' + +# Сверка содержимого побайтово +BCOL=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: '$2=="bytea" {print $1; exit}') +IDX=0 +i=0 +for c in "${CN[@]}"; do + i=$((i + 1)) + [ "$c" = "$BCOL" ] && IDX=$i +done +MISMATCH=0 +if [ -n "$BCOL" ] && [ "$IDX" -gt 0 ]; then + echo " сверка двоичного поля '$BCOL' побайтово:" + while IFS= read -r line; do + key=$(echo "$line" | awk -F"$SEP" '{print $1}') + fhex=$(echo "$line" | awk -F"$SEP" -v i="$IDX" '{print tolower($i)}') + pghex=$(p -d "$PGDB" -tAc "SELECT encode(\"$BCOL\",'hex') FROM \"$T\" WHERE name='$(echo "$key" | sed "s/'/''/g")'" 2>/dev/null | tr 'A-F' 'a-f') + if [ -n "$pghex" ] && [ "$fhex" = "$pghex" ]; then + printf ' %-24s совпадает (%s байт)\n' "$key" "$(( ${#fhex} / 2 ))" + else + printf ' %-24s ❌\n' "$key"; MISMATCH=$((MISMATCH + 1)) + fi + done < "$WORK/rows.txt" +fi + +echo +if [ "${LOADED:-0}" = "$NROWS" ] && [ "$MISMATCH" -eq 0 ] && [ "$ERR" = "0" ]; then + echo " ✅ ТАБЛИЦА $T ЗАГРУЖЕНА ПОЛНОСТЬЮ"; rm -rf "$WORK"; exit 0 +else + echo " ❌ ТАБЛИЦА $T: загружено $LOADED из $NROWS, расхождений $MISMATCH, ошибок $ERR" + rm -rf "$WORK"; exit 1 +fi diff --git a/ops/scripts/migrate-grafana-v2.sh b/ops/scripts/migrate-grafana-v2.sh new file mode 100755 index 0000000..e5d7fa8 --- /dev/null +++ b/ops/scripts/migrate-grafana-v2.sh @@ -0,0 +1,292 @@ +#!/bin/bash +# ============================================================ +# migrate-grafana-v2.sh — перенос Grafana на PostgreSQL (исправленный) +# ============================================================ +# Учтены все три препятствия, найденные 14.10.2026: +# +# 1. ДВОИЧНЫЕ ДАННЫЕ. Таблица data_keys.encrypted_data — тип BLOB. +# Через CSV такие данные не проходят («invalid byte sequence»). +# Решение: для неё формируются готовые команды INSERT со значением +# в шестнадцатеричном виде и функцией decode. +# +# 2. НАЧАЛЬНЫЕ ЗАПИСИ СЛУЖБЫ. Grafana при создании схемы создаёт +# роли, организацию и пользователя — они конфликтуют с переносимыми +# по уникальным ключам. Решение: после создания схемы служба +# ОСТАНАВЛИВАЕТСЯ и ПРОВЕРЯЕТСЯ, что действительно остановлена, +# затем таблицы очищаются, и только потом идёт загрузка. +# +# 3. РАСХОЖДЕНИЕ СХЕМЫ. В Grafana 12 дэшборды хранятся не в таблице +# dashboard, а в едином хранилище: resource и resource_history. +# Поэтому переносятся ВСЕ таблицы с данными, а не только «понятные». +# Проверка идёт по каждой таблице, и потеря resource видна сразу. +# +# Служебные таблицы (cache_data, server_lock) пропускаются: это кэш +# и временные блокировки, они создаются службой заново. +# +# Запуск: bash migrate-grafana-v2.sh +# ============================================================ +set -uo pipefail + +CT=113 +CONT=grafana +DIR=/opt/grafana +GDB=/var/lib/docker/volumes/bb96ab0c4792f406a1d68f4935ff151e8da041c0bbcacb3262de776fd0428df5/_data/grafana.db +PGDB=grafana_db +PGROLE=grafana_user +PGPASS='Grafana_Local_2026!' +STAMP=$(date +%Y%m%d_%H%M%S) +QUAR="/mnt/backups/retired/${STAMP}-grafana-v2" +WORK="/tmp/grafana-v2-$STAMP" +mkdir -p "$QUAR" "$WORK" + +SKIP="cache_data server_lock" + +p() { pct exec 151 -- sudo -u postgres psql "$@"; } +say() { echo "[$(date '+%T')] $*"; } +API_VER=$(pct exec "$CT" -- docker version --format '{{.Server.APIVersion}}' 2>/dev/null) + +rollback() { + say "⟲ ВОЗВРАТ" + pct exec "$CT" -- bash -c "cd '$DIR' && cp docker-compose.yml.migr-backup docker-compose.yml 2>/dev/null" >/dev/null 2>&1 + pct exec "$CT" -- bash -c "cd '$DIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1 + sleep 30 + printf ' состояние: %s\n' "$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)" + echo -n ' health: '; curl -s -m 10 http://192.168.1.113:3000/api/health 2>/dev/null | jq -r '.database' 2>/dev/null + echo -n ' дэшбордов: '; curl -s -m 10 'http://192.168.1.113:3000/api/search?type=dash-db' 2>/dev/null | jq -r 'length' 2>/dev/null + p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1 + p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1 + say " база и роль удалены" +} + +echo "╔══════════════════════════════════════════════════════════╗" +echo "║ GRAFANA → POSTGRESQL (исправленный перенос) ║" +echo "╚══════════════════════════════════════════════════════════╝" + +# ── 0-1. Проверки и точка отката ───────────────────────────── +say "0. точка отката" +SNAP="pre-grafana-pg2-$STAMP" +pct snapshot "$CT" "$SNAP" --description "перед переносом Grafana на PostgreSQL" >/dev/null 2>&1 +pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; } +pct exec "$CT" -- tar -c -C / "${GDB#/}" 2>/dev/null | gzip > "$QUAR/base.tar.gz" +gunzip -t "$QUAR/base.tar.gz" 2>/dev/null || { say "❌ копия повреждена"; exit 1; } +pct exec "$CT" -- cp "$DIR/docker-compose.yml" "$DIR/docker-compose.yml.migr-backup" 2>/dev/null +echo " снимок $SNAP, копия базы $(du -h "$QUAR/base.tar.gz" | cut -f1), конфигурация сохранена" + +# ── 2. Разведка ────────────────────────────────────────────── +say "1. читаю файловую базу" +pct exec "$CT" -- sqlite3 "$GDB" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt" +NT=$(grep -c . "$WORK/tables.txt") +[ "$NT" -gt 0 ] || { say "❌ таблиц не прочитано — стоп"; exit 1; } +echo " таблиц всего: $NT" + +: > "$WORK/counts.txt" +: > "$WORK/blobtables.txt" +while read -r t; do + [ -n "$t" ] || continue + n=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT count(*) FROM \"$t\"" 2>/dev/null) + printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts.txt" + blobs=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(name) FROM pragma_table_info('$t') WHERE type LIKE '%BLOB%'" 2>/dev/null) + [ -n "$blobs" ] && [ "${n:-0}" -gt 0 ] && printf '%s|%s\n' "$t" "$blobs" >> "$WORK/blobtables.txt" +done < "$WORK/tables.txt" + +WITH_DATA=$(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l) +TOTAL=$(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt") +echo " таблиц с данными: $WITH_DATA, строк всего: $TOTAL" +echo " таблицы с двоичными данными и строками:" +cat "$WORK/blobtables.txt" 2>/dev/null | sed 's/^/ /' || echo " нет" + +# ── 3. База ────────────────────────────────────────────────── +say "2. создаю базу и роль" +p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \ + p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1 +p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \ + p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 +echo " база $PGDB готова" + +# ── 4. Создание схемы службой ──────────────────────────────── +say "3. переключаю Grafana на PostgreSQL (схему создаёт сама)" +pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1 +pct exec "$CT" -- bash -c " + cd '$DIR' + python3 - <<'PYEOF' +p = '$DIR/docker-compose.yml' +s = open(p).read() +add = ''' - GF_DATABASE_TYPE=postgres + - GF_DATABASE_HOST=192.168.1.151:5432 + - GF_DATABASE_NAME=$PGDB + - GF_DATABASE_USER=$PGROLE + - GF_DATABASE_PASSWORD=$PGPASS + - GF_DATABASE_SSL_MODE=disable +''' +if 'GF_DATABASE_TYPE' not in s: + s = s.replace(' environment:\n', ' environment:\n' + add, 1) + open(p, 'w').write(s) +PYEOF +" >/dev/null 2>&1 +pct exec "$CT" -- bash -c "cd '$DIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1 + +say " жду создания схемы" +created=0 +for i in $(seq 1 36); do + sleep 5 + created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) + if [ "${created:-0}" -gt 50 ]; then break; fi + # если контейнер не работает — ждать бессмысленно, показываю причину + cst=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) + if [ -n "$cst" ] && [ "$cst" != "running" ] && [ "$cst" != "created" ]; then + say " контейнер в состоянии '$cst' — ждать бессмысленно" + break + fi +done +echo " таблиц создано: ${created:-0}" +if [ "${created:-0}" -le 50 ]; then + say "❌ схема не создана — возврат" + echo " журнал Grafana (последние строки):" + pct exec "$CT" -- docker logs --tail 12 "$CONT" 2>&1 | tail -12 | sed 's/^/ /' + rollback; exit 1 +fi + +# ── 5. Остановка и очистка ─────────────────────────────────── +say "4. убираю контейнер с пути на время загрузки" +pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1 +for i in $(seq 1 12); do + st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) + [ "$st" = "exited" ] && break + sleep 3 +done +echo " состояние после остановки: $st" +if [ "$st" != "exited" ]; then + say "❌ не удалось остановить" + rollback; exit 1 +fi + +# КОНТЕЙНЕР УДАЛЯЕТСЯ. Проверка «exited» недостаточна: на практике служба +# поднималась снова и перезаписывала загруженные данные своими начальными +# (роли 115 → 7, пользователь 2 → 1). Пока контейнера нет — писать некому. +# Удаление повторяется: с первой попытки иногда не проходит. +removed=no +for i in 1 2 3 4 5; do + pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1 + sleep 2 + if ! pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1; then + removed=yes; break + fi + echo " попытка $i: контейнер ещё на месте, повторяю" +done +echo " контейнер удалён: $removed" +if [ "$removed" != "yes" ]; then + say "❌ контейнер не удалился — загрузка была бы перезаписана" + rollback; exit 1 +fi + +say "5. очищаю таблицы, созданные службой" +TR=$(p -d "$PGDB" -tAc " +DO \$\$ DECLARE r record; BEGIN + FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' LOOP + EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE'; + END LOOP; +END \$\$;" 2>&1 | grep -ci error || echo 0) +echo " ошибок очистки: $TR" + +# ещё раз убеждаюсь, что таблицы пусты +left=$(p -d "$PGDB" -tAc "SELECT coalesce(sum(n_live_tup),0) FROM pg_stat_user_tables" 2>/dev/null) +echo " строк в базе после очистки: ${left:-?}" + +# ── 6. Загрузка ────────────────────────────────────────────── +say "6. загружаю данные" +loaded=0; skipped=0; failed=0 +: > "$WORK/failed.txt" +is_skip() { for s in $SKIP; do [ "$1" = "$s" ] && return 0; done; return 1; } + +while IFS='|' read -r t before; do + [ -n "$t" ] || continue + [ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; } + is_skip "$t" && { printf ' · %-26s пропущена (служебная)\n' "$t"; skipped=$((skipped + 1)); continue; } + + has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null) + if [ "${has:-0}" = "0" ]; then + printf ' ⚠️ %-26s нет в PostgreSQL\n' "$t"; failed=$((failed + 1)) + printf '%s|нет в PostgreSQL\n' "$t" >> "$WORK/failed.txt"; continue + fi + + blobs=$(awk -F'|' -v t="$t" '$1==t {print $2}' "$WORK/blobtables.txt") + + if [ -n "$blobs" ]; then + # ДВОИЧНЫЕ: отдельный проверяемый загрузчик. + # Разбор строки средствами bash давал СДВИГ ПОЛЕЙ (scope получал + # значение active), поэтому генерация команд там построена на awk, + # а содержимое сверяется с файловой базой побайтово. + if bash /root/load-blob-table.sh "$t" "$GDB" "$CT" "$PGDB" 2>&1 | sed 's/^/ /'; then + loaded=$((loaded + 1)) + else + failed=$((failed + 1)) + printf '%s|загрузчик двоичных данных вернул ошибку\n' "$t" >> "$WORK/failed.txt" + fi + else + # ТЕКСТОВЫЕ: CSV через COPY + pct exec "$CT" -- sqlite3 "$GDB" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null + pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1 + if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then + loaded=$((loaded + 1)) + else + failed=$((failed + 1)) + printf ' ⚠️ %-26s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-60)" + printf '%s|%s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-60)" >> "$WORK/failed.txt" + fi + pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1 + fi +done < "$WORK/counts.txt" +echo " загружено: $loaded, пропущено: $skipped, ошибок: $failed" + +# ── 7. Проверка ────────────────────────────────────────────── +say "7. ПРОВЕРКА ПОЛНОТЫ ПО КАЖДОЙ ТАБЛИЦЕ" +printf ' %-32s %8s %8s %s\n' ТАБЛИЦА БЫЛО СТАЛО ИТОГ +printf ' %s\n' '-----------------------------------------------------------' +same=0; differ=0; missing=0 +while IFS='|' read -r t before; do + [ -n "$t" ] || continue + [ "${before:-0}" -eq 0 ] && continue + if is_skip "$t"; then + printf ' %-32s %8s %8s · пропущена\n' "$t" "$before" "—" + continue + fi + after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null) + if [ "${before}" = "${after}" ]; then + same=$((same + 1)) + elif [ -z "$after" ]; then + printf ' %-32s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1)) + else + printf ' %-32s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1)) + fi +done < "$WORK/counts.txt" + +echo +printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing" + +# ── 8. Запуск и проверка службы ────────────────────────────── +say "8. запускаю Grafana" +pct exec "$CT" -- bash -c "cd '$DIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1 +sleep 45 +ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) +HL=$(curl -s -m 15 http://192.168.1.113:3000/api/health 2>/dev/null | jq -r '.database' 2>/dev/null) +DB_CNT=$(curl -s -m 15 'http://192.168.1.113:3000/api/search?type=dash-db' 2>/dev/null | jq -r 'length' 2>/dev/null) +US_CNT=$(curl -s -m 15 http://192.168.1.113:3000/api/users 2>/dev/null | jq -r 'length' 2>/dev/null) +DS_CNT=$(curl -s -m 15 http://192.168.1.113:3000/api/datasources 2>/dev/null | jq -r 'length' 2>/dev/null) +printf ' состояние: %s | health: %s | дэшбордов: %s | пользователей: %s | источников: %s\n' \ + "$ST" "${HL:-?}" "${DB_CNT:-?}" "${US_CNT:-?}" "${DS_CNT:-?}" + +# ── 9. Итог ────────────────────────────────────────────────── +echo +if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] \ + && [ "${DB_CNT:-0}" -ge 5 ] && [ "${US_CNT:-0}" -ge 5 ]; then + echo " ✅ GRAFANA ПЕРЕНЕСЁН НА POSTGRESQL" + echo " таблиц совпало: $same" + echo " дэшбордов: $DB_CNT, пользователей: $US_CNT, источников: $DS_CNT" + echo " точка отката: $SNAP" +else + echo " ⚠️ ПЕРЕНОС НЕ ПОДТВЕРЖДЁН — расхождений $differ, отсутствует $missing, ошибок $failed" + echo " дэшбордов $DB_CNT (ожидалось 5), пользователей $US_CNT (ожидалось 5)" + echo " возвращаю Grafana на файловую базу" + rollback +fi +echo " карантин: $QUAR, рабочий каталог: $WORK" diff --git a/ops/scripts/verify-grafana-final.sh b/ops/scripts/verify-grafana-final.sh new file mode 100755 index 0000000..7281fad --- /dev/null +++ b/ops/scripts/verify-grafana-final.sh @@ -0,0 +1,89 @@ +#!/bin/bash +# ============================================================ +# verify-grafana-final.sh — независимая проверка переноса Grafana +# ============================================================ +# Проверяю не то, что Grafana запустилась, а что она РАБОТАЕТ с данными: +# * подключения к PostgreSQL идут от Grafana; +# * дэшборды открываются и содержат панели; +# * источники данных отвечают (значит, ключи шифрования перенеслись); +# * в файловую базу запись больше не идёт. +# +# Запуск: bash verify-grafana-final.sh +# ============================================================ +set -uo pipefail + +p() { pct exec 151 -- sudo -u postgres psql "$@"; } +GDB=/var/lib/docker/volumes/bb96ab0c4792f406a1d68f4935ff151e8da041c0bbcacb3262de776fd0428df5/_data/grafana.db + +echo "═══════════════════════════════════════════════════════════" +echo " 1. GRAFANA РАБОТАЕТ С POSTGRESQL" +echo "═══════════════════════════════════════════════════════════" +echo -n " health: "; curl -s -m 12 http://192.168.1.113:3000/api/health 2>/dev/null | jq -r '"\(.database), версия \(.version)"' 2>/dev/null +echo -n " подключений от Grafana: " +p -tAc "SELECT count(*) FROM pg_stat_activity WHERE datname='grafana_db'" 2>/dev/null +echo " кто подключён:" +p -tAc "SELECT ' ' || usename || ' с ' || client_addr FROM pg_stat_activity WHERE datname='grafana_db' LIMIT 3" 2>/dev/null + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 2. ДАННЫЕ НА МЕСТЕ (в PostgreSQL)" +echo "═══════════════════════════════════════════════════════════" +p -d grafana_db -tAc " +SELECT ' ' || rpad(t,28) || n FROM ( + SELECT 'дэшборды (resource)' t, count(*) n FROM resource + UNION ALL SELECT 'версии (history)', count(*) FROM resource_history + UNION ALL SELECT 'пользователи', count(*) FROM \"user\" + UNION ALL SELECT 'организации', count(*) FROM org + UNION ALL SELECT 'участие в орг.', count(*) FROM org_user + UNION ALL SELECT 'источники данных', count(*) FROM data_source + UNION ALL SELECT 'ключи шифрования', count(*) FROM data_keys + UNION ALL SELECT 'права', count(*) FROM permission +) x" 2>/dev/null + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 3. ДЭШБОРДЫ ДЕЙСТВИТЕЛЬНО ОТКРЫВАЮТСЯ" +echo "═══════════════════════════════════════════════════════════" +curl -s -m 12 'http://192.168.1.113:3000/api/search?type=dash-db' 2>/dev/null | \ + jq -r '.[] | " " + .title + " (uid: " + .uid + ")"' 2>/dev/null | head -6 + +echo +echo " проверяю содержимое первого дэшборда:" +UID_FIRST=$(curl -s -m 12 'http://192.168.1.113:3000/api/search?type=dash-db' 2>/dev/null | jq -r '.[0].uid' 2>/dev/null) +if [ -n "$UID_FIRST" ] && [ "$UID_FIRST" != "null" ]; then + PANELS=$(curl -s -m 12 "http://192.168.1.113:3000/api/dashboards/uid/$UID_FIRST" 2>/dev/null | jq -r '[.dashboard.panels[]?] | length' 2>/dev/null) + TITLE=$(curl -s -m 12 "http://192.168.1.113:3000/api/dashboards/uid/$UID_FIRST" 2>/dev/null | jq -r '.dashboard.title' 2>/dev/null) + echo " «$TITLE»: панелей $PANELS" + [ "${PANELS:-0}" -gt 0 ] && echo " ✅ дэшборд содержит панели — данные читаются" || echo " ⚠️ панелей нет" +else + echo " не удалось получить uid" +fi + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 4. ИСТОЧНИКИ ДАННЫХ ОТВЕЧАЮТ (проверка ключей шифрования)" +echo "═══════════════════════════════════════════════════════════" +curl -s -m 12 http://192.168.1.113:3000/api/datasources 2>/dev/null | \ + jq -r '.[] | " " + .name + " (" + .type + ") → " + (.url // "без адреса")' 2>/dev/null + +echo " проверка доступности источника (значит, ключ расшифровался):" +DS_ID=$(curl -s -m 12 http://192.168.1.113:3000/api/datasources 2>/dev/null | jq -r '.[0].id' 2>/dev/null) +if [ -n "$DS_ID" ] && [ "$DS_ID" != "null" ]; then + RES=$(curl -s -m 20 "http://192.168.1.113:3000/api/datasources/$DS_ID/health" 2>/dev/null | jq -r '"\(.status): \(.message)"' 2>/dev/null) + echo " ответ источника: ${RES:-нет ответа}" +fi + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 5. ФАЙЛОВАЯ БАЗА БОЛЬШЕ НЕ ИСПОЛЬЗУЕТСЯ" +echo "═══════════════════════════════════════════════════════════" +pct exec 113 -- stat -c ' изменена: %y' "$GDB" 2>/dev/null | cut -d. -f1 +echo " (время не должно меняться — запись идёт в PostgreSQL)" + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 6. СЛУЖБА В ЦЕЛОМ" +echo "═══════════════════════════════════════════════════════════" +printf ' контейнер: %s\n' "$(pct exec 113 -- docker inspect grafana --format '{{.State.Status}}' 2>/dev/null)" +echo -n " переменные базы: " +pct exec 113 -- docker inspect grafana --format '{{range .Config.Env}}{{println .}}{{end}}' 2>/dev/null | grep -c 'GF_DATABASE'