Files
buryan-infra/ops/scripts/load-blob-v2.sh
T

157 lines
7.8 KiB
Bash
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# load-blob-v2.sh — загрузка таблицы с двоичными полями (исправленный)
# ============================================================
# История исправлений, каждое найдено проверкой:
# 1. Генерация команд средствами sqlite3 давала ПУСТОЙ файл, а psql
# на пустом файле возвращает успех — загрузка засчитывалась ложно.
# 2. Разбор строки средствами bash давал СДВИГ ПОЛЕЙ.
# 3. Выражение выборки начиналось с разделителя.
# 4. Типы не совпадали: в файловой базе active целое 0/1, а PostgreSQL
# создаёт это поле ЛОГИЧЕСКИМ.
# 5. Имена столбцов брались в ОДИНАРНЫЕ кавычки вместо двойных.
# 6. Сверка искала строку по столбцу name — в таблице users такого нет,
# ключ называется uuid. Расхождение было ЛОЖНЫМ: данные на месте.
# 7. При загрузке не отключалась проверка связей — таблицы падали
# по внешнему ключу в зависимости от порядка загрузки.
#
# Использование: load-blob-v2.sh <таблица> <файл-базы> <CT> <база-PG>
# ============================================================
set -uo pipefail
T="${1:?таблица}"
GDB="${2:?путь к файловой базе}"
CT="${3:?CT}"
PGDB="${4:?база PostgreSQL}"
WORK=$(mktemp -d)
SEP='~~'
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
COLS=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(name, ',') FROM pragma_table_info('$T')" 2>/dev/null)
NCOL=$(echo "$COLS" | awk -F',' '{print NF}')
echo " столбцов: $NCOL"
p -d "$PGDB" -tAc "SELECT column_name || ':' || data_type FROM information_schema.columns WHERE table_name='$T' AND table_schema='public' ORDER BY ordinal_position" 2>/dev/null > "$WORK/pgtypes.txt"
PGTYPES=$(paste -sd, "$WORK/pgtypes.txt")
# Ключевой столбец для сверки: первичный ключ, иначе первый столбец.
# Раньше здесь жёстко стояло name — и сверка молча давала ложное
# расхождение для таблиц, где ключ называется иначе (uuid у users).
KEYCOL=$(p -d "$PGDB" -tAc "
SELECT a.attname FROM pg_index i
JOIN pg_attribute a ON a.attrelid = i.indrelid AND a.attnum = ANY(i.indkey)
WHERE i.indrelid = '\"$T\"'::regclass AND i.indisprimary LIMIT 1" 2>/dev/null)
[ -z "$KEYCOL" ] && KEYCOL=$(echo "$COLS" | cut -d',' -f1)
echo " ключевой столбец для сверки: $KEYCOL"
EXPR=""
IFS=',' read -ra CN <<< "$COLS"
for c in "${CN[@]}"; do
ty=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: -v c="$c" '$1==c {print $2}')
if [ "$ty" = "bytea" ]; then
term="coalesce(hex(\"$c\"),'')"
else
term="coalesce(\"$c\",'')"
fi
if [ -z "$EXPR" ]; then EXPR="$term"; else EXPR="$EXPR || '$SEP' || $term"; fi
done
pct exec "$CT" -- sqlite3 "$GDB" "SELECT $EXPR FROM \"$T\"" 2>/dev/null > "$WORK/rows.txt"
NROWS=$(grep -c . "$WORK/rows.txt" 2>/dev/null || echo 0)
echo " строк извлечено: $NROWS"
[ "$NROWS" -gt 0 ] || { echo " ❌ строк не извлечено"; rm -rf "$WORK"; exit 1; }
BAD=$(awk -F"$SEP" -v n="$NCOL" 'NF != n {c++} END {print c+0}' "$WORK/rows.txt")
[ "$BAD" -eq 0 ] || { echo " ❌ разбор строк ненадёжен ($BAD строк)"; rm -rf "$WORK"; exit 1; }
# Символы кавычек передаются параметрами Q и DQ — надёжнее экранирования
awk -F"$SEP" -v Q="'" -v DQ='"' -v HX="hex" -v t="$T" -v cols="$COLS" -v pgtypes="$PGTYPES" '
function esc(s) { gsub(Q, Q Q, s); return s }
function ptype(colname, i, arr, kv) {
n = split(pgtypes, arr, ",")
for (i = 1; i <= n; i++) { split(arr[i], kv, ":"); if (kv[1] == colname) return kv[2] }
return "text"
}
BEGIN {
n = split(cols, C, ",")
collist = ""
for (i = 1; i <= n; i++) collist = collist (i > 1 ? ", " : "") DQ C[i] DQ
}
{
vals = ""
for (i = 1; i <= n; i++) {
v = $i
ty = ptype(C[i])
if (v == "") {
item = "NULL"
} else if (ty == "bytea") {
item = "decode(" Q v Q "," Q HX Q ")"
} else if (ty == "boolean") {
item = (v == "0" || v == "false" || v == "f") ? "FALSE" : "TRUE"
} else if (ty == "integer" || ty == "bigint" || ty == "smallint" || ty == "numeric" || ty == "double precision" || ty == "real") {
item = v
} else {
item = Q esc(v) Q
}
vals = vals (i > 1 ? ", " : "") item
}
printf "INSERT INTO %s (%s) VALUES (%s);\n", t, collist, vals
}' "$WORK/rows.txt" > "$WORK/insert.sql"
NSTMT=$(grep -c '^INSERT' "$WORK/insert.sql" 2>/dev/null || echo 0)
echo " команд сформировано: $NSTMT"
if [ "$NSTMT" -ne "$NROWS" ]; then
echo " ❌ команд $NSTMT при $NROWS строках"; rm -rf "$WORK"; exit 1
fi
# Проверка связей отключается в ТОЙ ЖЕ команде psql: SET действует
# только внутри соединения
{ echo "SET session_replication_role = replica;"; cat "$WORK/insert.sql"; } > "$WORK/insert-final.sql"
pct push 151 "$WORK/insert-final.sql" "/tmp/blob-load.sql" >/dev/null 2>&1
ERRTXT=$(pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -f /tmp/blob-load.sql 2>&1)
pct exec 151 -- rm -f /tmp/blob-load.sql >/dev/null 2>&1
# grep -c возвращает код 1 при нуле совпадений — «|| echo 0» давал "0\n0"
ERR=$(echo "$ERRTXT" | grep -ci error)
ERR=${ERR:-0}
LOADED=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$T\"" 2>/dev/null)
LOADED=${LOADED:-0}
printf ' ошибок: %s, строк в базе: %s\n' "$ERR" "$LOADED"
[ "$ERR" -gt 0 ] && echo "$ERRTXT" | head -3 | sed 's/^/ /'
BCOL=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: '$2=="bytea" {print $1; exit}')
MISMATCH=0
if [ -n "$BCOL" ]; then
BIDX=0; KIDX=0; i=0
for c in "${CN[@]}"; do
i=$((i + 1))
[ "$c" = "$BCOL" ] && BIDX=$i
[ "$c" = "$KEYCOL" ] && KIDX=$i
done
echo " сверка поля '$BCOL' побайтово (по столбцу '$KEYCOL'):"
if [ "$BIDX" -gt 0 ] && [ "$KIDX" -gt 0 ]; then
while IFS= read -r line; do
key=$(echo "$line" | awk -F"$SEP" -v i="$KIDX" '{print $i}')
fhex=$(echo "$line" | awk -F"$SEP" -v i="$BIDX" '{print tolower($i)}')
pghex=$(p -d "$PGDB" -tAc "SELECT encode(\"$BCOL\",'hex') FROM \"$T\" WHERE \"$KEYCOL\"='$(echo "$key" | sed "s/'/''/g")'" 2>/dev/null | tr 'A-F' 'a-f')
if [ -n "$pghex" ] && [ "$fhex" = "$pghex" ]; then
printf ' %-40s совпадает (%s байт)\n' "$key" "$(( ${#fhex} / 2 ))"
else
printf ' %-40s ❌ (в базе %s знаков, в файле %s)\n' "$key" "${#pghex}" "${#fhex}"
MISMATCH=$((MISMATCH + 1))
fi
done < "$WORK/rows.txt"
else
echo " ⚠️ не удалось определить столбцы для сверки"
fi
fi
echo
if [ "${LOADED:-0}" = "$NROWS" ] && [ "$MISMATCH" -eq 0 ] && [ "$ERR" = "0" ]; then
echo " ✅ ТАБЛИЦА $T ЗАГРУЖЕНА, СОДЕРЖИМОЕ СОВПАДАЕТ"
rm -rf "$WORK"; exit 0
else
echo " ❌ ТАБЛИЦА $T: загружено $LOADED из $NROWS, расхождений $MISMATCH, ошибок $ERR"
rm -rf "$WORK"; exit 1
fi