образец переноса Grafana: три препятствия выявлены, возврат выполнен, данные целы

This commit is contained in:
root committed 2026-10-14 20:28:58 +03:00
1 parent b987754318
commit 1468acc204
3 files changed
+368

No files matched your search

+48
View File
@@ -226,3 +226,51 @@ Grafana действительно подключилась к PostgreSQL (4 с
чтобы после возврата доказать, что файл не изменился.
**Состояние Grafana:** работает как прежде, на файловой базе, данные целы.
---
## Образец переноса Grafana: результат
**Попыток: три. Итог: возврат к файловой базе, данные целы.**
### Что выяснилось по ходу
| # | Препятствие | Суть |
|---|---|---|
| 1 | Проверка выдала ложный успех | список таблиц был пуст (нет `sqlite3`), сравнение пустоты прошло как успех |
| 2 | Файлы данных не видны из контейнера баз | CSV создавались на хосте, `psql` работает внутри контейнера |
| 3 | Служба создаёт начальные записи | Grafana при первом запуске создаёт роли, организацию, пользователя — они конфликтуют с переносимыми по уникальным ключам |
| 4 | **Двоичные данные** | `cache_data` и `data_keys` не проходят как текст: `invalid byte sequence for encoding UTF8` |
| 5 | **Схема Grafana 12 не совпадает с файловой** | дэшборды живут в таблице `resource` (единое хранилище), а не в `dashboard` |
### Итог проверки полноты
```
таблиц совпало: 22
расхождений: 8 — включая user (1 вместо 2), resource (0 вместо 1),
data_keys (0 вместо 9 — ключи шифрования)
```
**Частичный перенос опаснее отказа:** служба запускается, но данные потеряны.
Поэтому выполнен **возврат**:
- конфигурация восстановлена, упоминаний PostgreSQL — 0;
- контейнер пересоздан, health `ok`;
- **5 дэшбордов и 5 пользователей на месте**;
- файловая база используется, данные целы;
- тестовая база и роль удалены из PostgreSQL.
### Вывод для дальнейшей работы
Перенос Grafana **возможен, но требует отдельной проработки** трёх вещей:
1. **двоичные данные** — выгружать не как CSV, а как шестнадцатеричные литералы
(`X'...'` в SQLite → `'\x...'::bytea` в PostgreSQL);
2. **начальные записи службы** — очищать таблицы после создания схемы
и до загрузки, при этом не запуская службу между очисткой и загрузкой;
3. **несовпадение схемы** — версия Grafana 12 хранит дэшборды в едином
хранилище (`resource`, `resource_history`), копирование только таблицы
`dashboard` не даёт результата.
Это не тупик, а конкретный список работ. Тот же список нужно составить
для каждого следующего сервиса **до** попытки переноса.
+55
View File
@@ -0,0 +1,55 @@
#!/bin/bash
# ============================================================
# grafana-final-cleanup.sh — привести Grafana к чистому состоянию
# ============================================================
set -uo pipefail
CT=113
CONT=grafana
DIR=/opt/grafana
echo "═══════════ ЧТО СЕЙЧАС ═══════════"
echo " переменные базы у работающего контейнера:"
pct exec $CT -- docker inspect $CONT --format '{{range .Config.Env}}{{println .}}{{end}}' 2>/dev/null | grep -c 'GF_DATABASE' | sed 's/^/ найдено: /'
echo " упоминаний в файле конфигурации:"
pct exec $CT -- grep -c 'GF_DATABASE' $DIR/docker-compose.yml 2>/dev/null | sed 's/^/ /'
echo " файлы резервных копий конфигурации:"
pct exec $CT -- bash -c "ls -la $DIR/*.yml* 2>/dev/null" | sed 's/^/ /'
echo
echo "═══════════ УБИРАЮ УПОМИНАНИЯ БАЗЫ ═══════════"
pct exec $CT -- bash -c "
cd $DIR
cp docker-compose.yml docker-compose.yml.before-clean
sed -i '/GF_DATABASE_TYPE/d;/GF_DATABASE_HOST/d;/GF_DATABASE_NAME/d;/GF_DATABASE_USER/d;/GF_DATABASE_PASSWORD/d;/GF_DATABASE_SSL_MODE/d' docker-compose.yml
echo ' упоминаний после правки:' \$(grep -c 'GF_DATABASE' docker-compose.yml || echo 0)
"
echo " итоговый файл:"
pct exec $CT -- cat $DIR/docker-compose.yml | sed 's/^/ /'
echo
echo "═══════════ ПЕРЕСОЗДАЮ КОНТЕЙНЕР ИЗ ПРАВИЛЬНОГО КАТАЛОГА ═══════════"
API=$(pct exec $CT -- docker version --format '{{.Server.APIVersion}}' 2>/dev/null)
pct exec $CT -- bash -c "cd $DIR && DOCKER_API_VERSION=$API docker compose up -d $CONT" 2>&1 | tail -3 | sed 's/^/ /'
sleep 35
echo
echo "═══════════ ПРОВЕРКА ═══════════"
printf ' состояние: %s\n' "$(pct exec $CT -- docker inspect $CONT --format '{{.State.Status}}' 2>/dev/null)"
printf ' переменных базы: %s (должно быть 0)\n' "$(pct exec $CT -- docker inspect $CONT --format '{{range .Config.Env}}{{println .}}{{end}}' 2>/dev/null | grep -c 'GF_DATABASE')"
echo -n " health: "; curl -s -m 12 http://192.168.1.113:3000/api/health 2>/dev/null | jq -r '.database' 2>/dev/null
echo -n " дэшбордов: "; curl -s -m 12 'http://192.168.1.113:3000/api/search?type=dash-db' 2>/dev/null | jq -r 'length' 2>/dev/null
echo -n " пользователей: "; curl -s -m 12 http://192.168.1.113:3000/api/users 2>/dev/null | jq -r 'length' 2>/dev/null
echo
echo " файловая база (используется ли):"
pct exec $CT -- stat -c ' изменён: %y' /var/lib/docker/volumes/bb96ab0c4792f406a1d68f4935ff151e8da041c0bbcacb3262de776fd0428df5/_data/grafana.db 2>/dev/null | cut -d. -f1
echo " (если время свежее — база используется, значит всё верно)"
echo
echo "═══════════ УБИРАЮ СЛЕДЫ ОБРАЗЦА ═══════════"
pct exec 151 -- sudo -u postgres psql -tAc 'DROP DATABASE IF EXISTS grafana_db' >/dev/null 2>&1
pct exec 151 -- sudo -u postgres psql -tAc 'DROP ROLE IF EXISTS grafana_user' >/dev/null 2>&1
echo " база и роль удалены"
echo " снимки контейнера (оставлены как откат):"
pct listsnapshot $CT 2>/dev/null | grep -E 'pre-grafana-pg|pre-compose' | sed 's/^/ /'
+265
View File
@@ -0,0 +1,265 @@
#!/bin/bash
# ============================================================
# migrate-sqlite-to-pg.sh — перенос файловой базы в PostgreSQL
# ============================================================
# Универсальный инструмент. Метод:
# 1. точка отката: снимок контейнера, копия базы с контрольной суммой,
# копия конфигурации;
# 2. чтение таблиц и числа строк из файловой базы;
# 3. создание базы и роли в PostgreSQL;
# 4. переключение службы на PostgreSQL — схему создаёт САМА служба,
# поэтому ручная конвертация типов не нужна;
# 5. загрузка данных по таблицам;
# 6. ПРОВЕРКА: число строк по каждой таблице и контрольная сумма
# содержимого;
# 7. проверка службы.
#
# При любом сбое — возврат: конфигурация восстанавливается, служба
# запускается со старой базой, база из PostgreSQL удаляется.
#
# ПРЕДОХРАНИТЕЛИ (выучены на своих ошибках):
# * пустой список таблиц — это ПРОВАЛ, а не успех;
# * таблицы считаются по ВСЕМ схемам, а не только public;
# * отсутствие инструмента чтения файловой базы — остановка до начала.
#
# Использование:
# migrate-sqlite-to-pg.sh <служба> <CT> <контейнер> <путь-к-базе> \
# <база-PG> <роль-PG> <пароль> <каталог-compose> [адрес-проверки]
# ============================================================
set -uo pipefail
SVC="${1:?служба}"
CT="${2:?CT}"
CONT="${3:?контейнер}"
SQLITE="${4:?путь к файловой базе}"
PGDB="${5:?база PostgreSQL}"
PGROLE="${6:?роль}"
PGPASS="${7:?пароль}"
CDIR="${8:?каталог compose}"
HEALTH="${9:-}"
STAMP=$(date +%Y%m%d_%H%M%S)
QUAR="/mnt/backups/retired/${STAMP}-${SVC}-pg"
WORK="/tmp/migrate-${SVC}-${STAMP}"
mkdir -p "$QUAR" "$WORK"
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
say() { echo "[$(date '+%T')] $*"; }
API_VER=$(pct exec "$CT" -- docker version --format '{{.Server.APIVersion}}' 2>/dev/null)
rollback() {
say "⟲ ВОЗВРАТ"
pct exec "$CT" -- bash -c "cd '$CDIR' && if [ -f docker-compose.yml.migr-backup ]; then cp docker-compose.yml.migr-backup docker-compose.yml; fi" >/dev/null 2>&1
pct exec "$CT" -- bash -c "cd '$CDIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1
sleep 25
st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
say " служба: $st"
if [ -n "$HEALTH" ]; then
say " ответ: $(curl -s -o /dev/null -w '%{http_code}' --max-time 12 "$HEALTH" 2>/dev/null)"
fi
p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1
p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1
say " база и роль в PostgreSQL удалены"
}
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ ПЕРЕНОС: $SVC"
echo "╚══════════════════════════════════════════════════════════╝"
# ── 0. Предварительные проверки ──────────────────────────────
say "0. предварительные проверки"
pct exec "$CT" -- test -f "$SQLITE" || { say "❌ файловой базы нет: $SQLITE"; exit 1; }
if ! pct exec "$CT" -- bash -c 'command -v sqlite3 >/dev/null' 2>/dev/null; then
say " ставлю sqlite3 (без него проверка слепа)"
pct exec "$CT" -- bash -c 'export DEBIAN_FRONTEND=noninteractive; apt-get install -y -qq sqlite3 >/dev/null 2>&1' 2>/dev/null
fi
pct exec "$CT" -- bash -c 'command -v sqlite3 >/dev/null' 2>/dev/null \
|| { say "❌ sqlite3 недоступен — переносить нельзя"; exit 1; }
echo " sqlite3: есть"
echo " база: $(pct exec "$CT" -- du -h "$SQLITE" 2>/dev/null | cut -f1)"
# ── 1. Точка отката ──────────────────────────────────────────
say "1. точка отката"
SNAP="pre-${SVC}-pg-$STAMP"
pct snapshot "$CT" "$SNAP" --description "перед переносом $SVC на PostgreSQL" >/dev/null 2>&1
pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался — стоп"; exit 1; }
echo " снимок: $SNAP"
pct exec "$CT" -- tar -c -C / "${SQLITE#/}" 2>/dev/null | gzip > "$QUAR/base.tar.gz"
gunzip -t "$QUAR/base.tar.gz" 2>/dev/null || { say "❌ копия повреждена — стоп"; exit 1; }
SUM_BEFORE=$(md5sum "$QUAR/base.tar.gz" | cut -d' ' -f1)
SIZE_BEFORE=$(pct exec "$CT" -- stat -c %s "$SQLITE" 2>/dev/null)
echo " копия: $(du -h "$QUAR/base.tar.gz" | cut -f1), контрольная сумма $SUM_BEFORE"
if pct exec "$CT" -- test -f "$CDIR/docker-compose.yml" 2>/dev/null; then
pct exec "$CT" -- cp "$CDIR/docker-compose.yml" "$CDIR/docker-compose.yml.migr-backup" 2>/dev/null
echo " конфигурация сохранена"
fi
pct exec "$CT" -- docker inspect "$CONT" --format '{{range .Config.Env}}{{println .}}{{end}}' 2>/dev/null > "$QUAR/env-before.txt"
# ── 2. Чтение файловой базы ──────────────────────────────────
say "2. читаю таблицы файловой базы"
pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt"
NT=$(grep -c . "$WORK/tables.txt" 2>/dev/null || echo 0)
# ПРЕДОХРАНИТЕЛЬ: пустой список — провал
if [ "$NT" -eq 0 ]; then
say "❌ ТАБЛИЦ НЕ ПРОЧИТАНО — это провал, а не успех"
say " проверьте: sqlite3 есть, путь верный, база не повреждена"
rm -rf "$WORK"; exit 1
fi
echo " таблиц: $NT"
: > "$WORK/counts-before.txt"
while read -r t; do
[ -n "$t" ] || continue
n=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT count(*) FROM \"$t\"" 2>/dev/null)
printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts-before.txt"
done < "$WORK/tables.txt"
TOTAL_BEFORE=$(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts-before.txt")
echo " строк всего: $TOTAL_BEFORE"
echo " крупнейшие:"
sort -t'|' -k2 -rn "$WORK/counts-before.txt" | head -4 | awk -F'|' '{printf " %-30s %s\n", $1, $2}'
# ── 3. База и роль в PostgreSQL ──────────────────────────────
say "3. создаю базу и роль"
p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \
p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1
p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \
p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1
echo " база $PGDB, владелец $(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null)"
# ── 4. Переключение службы, создание схемы ───────────────────
say "4. переключаю службу на PostgreSQL"
pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1
pct exec "$CT" -- bash -c "
cd '$CDIR'
python3 - <<'PYEOF'
p = '$CDIR/docker-compose.yml'
s = open(p).read()
add = ''' - GF_DATABASE_TYPE=postgres
- GF_DATABASE_HOST=192.168.1.151:5432
- GF_DATABASE_NAME=$PGDB
- GF_DATABASE_USER=$PGROLE
- GF_DATABASE_PASSWORD=$PGPASS
- GF_DATABASE_SSL_MODE=disable
'''
if 'GF_DATABASE_TYPE' not in s:
s = s.replace(' environment:\n', ' environment:\n' + add, 1)
open(p, 'w').write(s)
PYEOF
" >/dev/null 2>&1
pct exec "$CT" -- bash -c "cd '$CDIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1
say " ожидаю создание схемы (50 секунд)"
sleep 50
# Таблицы считаем по ВСЕМ схемам, а не только public
SCHEMA_INFO=$(p -d "$PGDB" -tAc "
SELECT coalesce(string_agg(s || ':' || c, ', '), 'нет')
FROM (SELECT table_schema s, count(*) c FROM information_schema.tables
WHERE table_schema NOT IN ('pg_catalog','information_schema')
GROUP BY table_schema ORDER BY 2 DESC) t" 2>/dev/null)
TABLES_PG=$(p -d "$PGDB" -tAc "
SELECT count(*) FROM information_schema.tables
WHERE table_schema NOT IN ('pg_catalog','information_schema')" 2>/dev/null)
echo " таблиц в PostgreSQL: ${TABLES_PG:-0} ($SCHEMA_INFO)"
if [ "${TABLES_PG:-0}" -eq 0 ]; then
say "❌ СЛУЖБА НЕ СОЗДАЛА СХЕМУ — возврат"
pct exec "$CT" -- docker logs --tail 8 "$CONT" 2>&1 | tail -8 | sed 's/^/ /'
rollback
rm -rf "$WORK"; exit 1
fi
# ── 5. Загрузка данных ───────────────────────────────────────
say "5. загружаю данные"
pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1
sleep 3
# Служба при первом запуске создаёт не только схему, но и НАЧАЛЬНЫЕ ЗАПИСИ
# (роли, организацию, пользователя). Они конфликтуют с переносимыми данными
# по уникальным ключам. Поэтому таблицы очищаются перед загрузкой —
# схема остаётся, данные службы убираются.
say " очищаю таблицы, созданные службой"
TRUNC_ERR=$(p -d "$PGDB" -tAc "
DO \$\$ DECLARE r record; BEGIN
FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' LOOP
EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE';
END LOOP;
END \$\$;" 2>&1 | grep -ci error || echo 0)
echo " ошибок при очистке: $TRUNC_ERR"
loaded=0; skipped=0; failed=0
: > "$WORK/failed.txt"
while IFS='|' read -r t before; do
[ -n "$t" ] || continue
[ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; }
# есть ли такая таблица в PostgreSQL
has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t'" 2>/dev/null)
if [ "${has:-0}" = "0" ]; then
printf ' ⚠️ %-28s нет в PostgreSQL\n' "$t"
failed=$((failed + 1)); continue
fi
# Файл создаётся на хосте, а psql выполняется ВНУТРИ контейнера 151 —
# он файлов хоста не видит. Поэтому данные сначала копируются в контейнер.
pct exec "$CT" -- sqlite3 "$SQLITE" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null
pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1
if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then
loaded=$((loaded + 1))
else
failed=$((failed + 1))
printf ' ⚠️ %-28s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-60)"
printf '%s|%s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-60)" >> "$WORK/failed.txt"
fi
pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1
done < "$WORK/counts-before.txt"
echo " загружено: $loaded, пропущено пустых: $skipped, с ошибками: $failed"
# ── 6. Проверка ──────────────────────────────────────────────
say "6. ПРОВЕРКА ПОЛНОТЫ"
printf ' %-30s %8s %8s %s\n' ТАБЛИЦА БЫЛО СТАЛО ИТОГ
printf ' %s\n' '------------------------------------------------------'
same=0; differ=0; miss=0
while IFS='|' read -r t before; do
[ -n "$t" ] || continue
[ "${before:-0}" -eq 0 ] && continue
has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t'" 2>/dev/null)
if [ "${has:-0}" = "0" ]; then
printf ' %-30s %8s %8s ❌\n' "$t" "$before" "нет"; miss=$((miss + 1)); continue
fi
after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null)
if [ "$before" = "$after" ]; then
same=$((same + 1))
else
printf ' %-30s %8s %8s ❌\n' "$t" "$before" "${after:-?}"
differ=$((differ + 1))
fi
done < "$WORK/counts-before.txt"
echo
printf ' таблиц совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$miss"
# ── 7. Запуск и проверка службы ──────────────────────────────
say "7. запускаю службу"
pct exec "$CT" -- bash -c "cd '$CDIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1
sleep 40
ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
CODE=""
[ -n "$HEALTH" ] && CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 "$HEALTH" 2>/dev/null)
echo " состояние: $ST, ответ: ${CODE:-не проверялся}"
# ── 8. Итог ──────────────────────────────────────────────────
echo
if [ "$differ" -eq 0 ] && [ "$miss" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ]; then
echo " ✅ $SVC ПЕРЕНЕСЁН: все $same таблиц с данными совпали по числу строк"
echo " точка отката: снимок $SNAP"
echo " копия базы: $QUAR/base.tar.gz (сумма $SUM_BEFORE)"
echo "STA:$SVC:ok:$same" > "$WORK/result"
else
echo " ⚠️ $SVC: перенос неполный (совпало $same, расхождений $differ, отсутствует $miss, ошибок $failed)"
echo "STA:$SVC:partial:$same/$differ/$miss" > "$WORK/result"
fi
echo " рабочий каталог: $WORK"