157 lines
7.8 KiB
Bash
Executable File
157 lines
7.8 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# load-blob-v2.sh — загрузка таблицы с двоичными полями (исправленный)
|
||
# ============================================================
|
||
# История исправлений, каждое найдено проверкой:
|
||
# 1. Генерация команд средствами sqlite3 давала ПУСТОЙ файл, а psql
|
||
# на пустом файле возвращает успех — загрузка засчитывалась ложно.
|
||
# 2. Разбор строки средствами bash давал СДВИГ ПОЛЕЙ.
|
||
# 3. Выражение выборки начиналось с разделителя.
|
||
# 4. Типы не совпадали: в файловой базе active целое 0/1, а PostgreSQL
|
||
# создаёт это поле ЛОГИЧЕСКИМ.
|
||
# 5. Имена столбцов брались в ОДИНАРНЫЕ кавычки вместо двойных.
|
||
# 6. Сверка искала строку по столбцу name — в таблице users такого нет,
|
||
# ключ называется uuid. Расхождение было ЛОЖНЫМ: данные на месте.
|
||
# 7. При загрузке не отключалась проверка связей — таблицы падали
|
||
# по внешнему ключу в зависимости от порядка загрузки.
|
||
#
|
||
# Использование: load-blob-v2.sh <таблица> <файл-базы> <CT> <база-PG>
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
T="${1:?таблица}"
|
||
GDB="${2:?путь к файловой базе}"
|
||
CT="${3:?CT}"
|
||
PGDB="${4:?база PostgreSQL}"
|
||
WORK=$(mktemp -d)
|
||
SEP='~~'
|
||
|
||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||
|
||
COLS=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(name, ',') FROM pragma_table_info('$T')" 2>/dev/null)
|
||
NCOL=$(echo "$COLS" | awk -F',' '{print NF}')
|
||
echo " столбцов: $NCOL"
|
||
|
||
p -d "$PGDB" -tAc "SELECT column_name || ':' || data_type FROM information_schema.columns WHERE table_name='$T' AND table_schema='public' ORDER BY ordinal_position" 2>/dev/null > "$WORK/pgtypes.txt"
|
||
PGTYPES=$(paste -sd, "$WORK/pgtypes.txt")
|
||
|
||
# Ключевой столбец для сверки: первичный ключ, иначе первый столбец.
|
||
# Раньше здесь жёстко стояло name — и сверка молча давала ложное
|
||
# расхождение для таблиц, где ключ называется иначе (uuid у users).
|
||
KEYCOL=$(p -d "$PGDB" -tAc "
|
||
SELECT a.attname FROM pg_index i
|
||
JOIN pg_attribute a ON a.attrelid = i.indrelid AND a.attnum = ANY(i.indkey)
|
||
WHERE i.indrelid = '\"$T\"'::regclass AND i.indisprimary LIMIT 1" 2>/dev/null)
|
||
[ -z "$KEYCOL" ] && KEYCOL=$(echo "$COLS" | cut -d',' -f1)
|
||
echo " ключевой столбец для сверки: $KEYCOL"
|
||
|
||
EXPR=""
|
||
IFS=',' read -ra CN <<< "$COLS"
|
||
for c in "${CN[@]}"; do
|
||
ty=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: -v c="$c" '$1==c {print $2}')
|
||
if [ "$ty" = "bytea" ]; then
|
||
term="coalesce(hex(\"$c\"),'')"
|
||
else
|
||
term="coalesce(\"$c\",'')"
|
||
fi
|
||
if [ -z "$EXPR" ]; then EXPR="$term"; else EXPR="$EXPR || '$SEP' || $term"; fi
|
||
done
|
||
|
||
pct exec "$CT" -- sqlite3 "$GDB" "SELECT $EXPR FROM \"$T\"" 2>/dev/null > "$WORK/rows.txt"
|
||
NROWS=$(grep -c . "$WORK/rows.txt" 2>/dev/null || echo 0)
|
||
echo " строк извлечено: $NROWS"
|
||
[ "$NROWS" -gt 0 ] || { echo " ❌ строк не извлечено"; rm -rf "$WORK"; exit 1; }
|
||
|
||
BAD=$(awk -F"$SEP" -v n="$NCOL" 'NF != n {c++} END {print c+0}' "$WORK/rows.txt")
|
||
[ "$BAD" -eq 0 ] || { echo " ❌ разбор строк ненадёжен ($BAD строк)"; rm -rf "$WORK"; exit 1; }
|
||
|
||
# Символы кавычек передаются параметрами Q и DQ — надёжнее экранирования
|
||
awk -F"$SEP" -v Q="'" -v DQ='"' -v HX="hex" -v t="$T" -v cols="$COLS" -v pgtypes="$PGTYPES" '
|
||
function esc(s) { gsub(Q, Q Q, s); return s }
|
||
function ptype(colname, i, arr, kv) {
|
||
n = split(pgtypes, arr, ",")
|
||
for (i = 1; i <= n; i++) { split(arr[i], kv, ":"); if (kv[1] == colname) return kv[2] }
|
||
return "text"
|
||
}
|
||
BEGIN {
|
||
n = split(cols, C, ",")
|
||
collist = ""
|
||
for (i = 1; i <= n; i++) collist = collist (i > 1 ? ", " : "") DQ C[i] DQ
|
||
}
|
||
{
|
||
vals = ""
|
||
for (i = 1; i <= n; i++) {
|
||
v = $i
|
||
ty = ptype(C[i])
|
||
if (v == "") {
|
||
item = "NULL"
|
||
} else if (ty == "bytea") {
|
||
item = "decode(" Q v Q "," Q HX Q ")"
|
||
} else if (ty == "boolean") {
|
||
item = (v == "0" || v == "false" || v == "f") ? "FALSE" : "TRUE"
|
||
} else if (ty == "integer" || ty == "bigint" || ty == "smallint" || ty == "numeric" || ty == "double precision" || ty == "real") {
|
||
item = v
|
||
} else {
|
||
item = Q esc(v) Q
|
||
}
|
||
vals = vals (i > 1 ? ", " : "") item
|
||
}
|
||
printf "INSERT INTO %s (%s) VALUES (%s);\n", t, collist, vals
|
||
}' "$WORK/rows.txt" > "$WORK/insert.sql"
|
||
|
||
NSTMT=$(grep -c '^INSERT' "$WORK/insert.sql" 2>/dev/null || echo 0)
|
||
echo " команд сформировано: $NSTMT"
|
||
if [ "$NSTMT" -ne "$NROWS" ]; then
|
||
echo " ❌ команд $NSTMT при $NROWS строках"; rm -rf "$WORK"; exit 1
|
||
fi
|
||
|
||
# Проверка связей отключается в ТОЙ ЖЕ команде psql: SET действует
|
||
# только внутри соединения
|
||
{ echo "SET session_replication_role = replica;"; cat "$WORK/insert.sql"; } > "$WORK/insert-final.sql"
|
||
pct push 151 "$WORK/insert-final.sql" "/tmp/blob-load.sql" >/dev/null 2>&1
|
||
ERRTXT=$(pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -f /tmp/blob-load.sql 2>&1)
|
||
pct exec 151 -- rm -f /tmp/blob-load.sql >/dev/null 2>&1
|
||
# grep -c возвращает код 1 при нуле совпадений — «|| echo 0» давал "0\n0"
|
||
ERR=$(echo "$ERRTXT" | grep -ci error)
|
||
ERR=${ERR:-0}
|
||
LOADED=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$T\"" 2>/dev/null)
|
||
LOADED=${LOADED:-0}
|
||
printf ' ошибок: %s, строк в базе: %s\n' "$ERR" "$LOADED"
|
||
[ "$ERR" -gt 0 ] && echo "$ERRTXT" | head -3 | sed 's/^/ /'
|
||
|
||
BCOL=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: '$2=="bytea" {print $1; exit}')
|
||
MISMATCH=0
|
||
if [ -n "$BCOL" ]; then
|
||
BIDX=0; KIDX=0; i=0
|
||
for c in "${CN[@]}"; do
|
||
i=$((i + 1))
|
||
[ "$c" = "$BCOL" ] && BIDX=$i
|
||
[ "$c" = "$KEYCOL" ] && KIDX=$i
|
||
done
|
||
echo " сверка поля '$BCOL' побайтово (по столбцу '$KEYCOL'):"
|
||
if [ "$BIDX" -gt 0 ] && [ "$KIDX" -gt 0 ]; then
|
||
while IFS= read -r line; do
|
||
key=$(echo "$line" | awk -F"$SEP" -v i="$KIDX" '{print $i}')
|
||
fhex=$(echo "$line" | awk -F"$SEP" -v i="$BIDX" '{print tolower($i)}')
|
||
pghex=$(p -d "$PGDB" -tAc "SELECT encode(\"$BCOL\",'hex') FROM \"$T\" WHERE \"$KEYCOL\"='$(echo "$key" | sed "s/'/''/g")'" 2>/dev/null | tr 'A-F' 'a-f')
|
||
if [ -n "$pghex" ] && [ "$fhex" = "$pghex" ]; then
|
||
printf ' %-40s совпадает (%s байт)\n' "$key" "$(( ${#fhex} / 2 ))"
|
||
else
|
||
printf ' %-40s ❌ (в базе %s знаков, в файле %s)\n' "$key" "${#pghex}" "${#fhex}"
|
||
MISMATCH=$((MISMATCH + 1))
|
||
fi
|
||
done < "$WORK/rows.txt"
|
||
else
|
||
echo " ⚠️ не удалось определить столбцы для сверки"
|
||
fi
|
||
fi
|
||
|
||
echo
|
||
if [ "${LOADED:-0}" = "$NROWS" ] && [ "$MISMATCH" -eq 0 ] && [ "$ERR" = "0" ]; then
|
||
echo " ✅ ТАБЛИЦА $T ЗАГРУЖЕНА, СОДЕРЖИМОЕ СОВПАДАЕТ"
|
||
rm -rf "$WORK"; exit 0
|
||
else
|
||
echo " ❌ ТАБЛИЦА $T: загружено $LOADED из $NROWS, расхождений $MISMATCH, ошибок $ERR"
|
||
rm -rf "$WORK"; exit 1
|
||
fi
|