153 lines
7.2 KiB
Bash
Executable File
153 lines
7.2 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# load-blob-table.sh — загрузка таблицы с учётом типов PostgreSQL
|
||
# ============================================================
|
||
# История исправлений:
|
||
# 1. Генерация команд средствами sqlite3 давала ПУСТОЙ файл, а psql на
|
||
# пустом файле возвращает успех — загрузка засчитывалась ложно.
|
||
# 2. Разбор строки средствами bash давал СДВИГ ПОЛЕЙ.
|
||
# 3. Выражение выборки начиналось с разделителя — «SELECT || ...».
|
||
# 4. Типы не совпадают: в файловой базе active целое 0/1, а PostgreSQL
|
||
# создаёт это поле ЛОГИЧЕСКИМ. Вставка числа в логическое поле падает.
|
||
#
|
||
# Поэтому типы берутся ИЗ POSTGRESQL, и значение подставляется по типу:
|
||
# bytea — из шестнадцатеричного вида
|
||
# boolean — TRUE/FALSE (0/1 из файловой базы преобразуются)
|
||
# числовые — без кавычек
|
||
# остальные — строкой в кавычках
|
||
#
|
||
# Использование: load-blob-table.sh <таблица> <файл-базы> <CT> <база-PG>
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
T="${1:?таблица}"
|
||
GDB="${2:?путь к файловой базе}"
|
||
CT="${3:?CT}"
|
||
PGDB="${4:?база PostgreSQL}"
|
||
WORK=$(mktemp -d)
|
||
SEP='~~'
|
||
|
||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||
|
||
COLS=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(name, ',') FROM pragma_table_info('$T')" 2>/dev/null)
|
||
NCOL=$(echo "$COLS" | awk -F',' '{print NF}')
|
||
echo " столбцов: $NCOL"
|
||
|
||
# Типы из PostgreSQL — основа для правильной подстановки значений
|
||
p -d "$PGDB" -tAc "SELECT column_name || ':' || data_type FROM information_schema.columns WHERE table_name='$T' AND table_schema='public' ORDER BY ordinal_position" 2>/dev/null > "$WORK/pgtypes.txt"
|
||
echo " типы из PostgreSQL:"
|
||
sed 's/^/ /' "$WORK/pgtypes.txt"
|
||
|
||
PGTYPES=$(paste -sd, "$WORK/pgtypes.txt")
|
||
|
||
# Выражение выборки: двоичные — hex, остальные как есть
|
||
EXPR=""
|
||
IFS=',' read -ra CN <<< "$COLS"
|
||
for c in "${CN[@]}"; do
|
||
t=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: -v c="$c" '$1==c {print $2}')
|
||
if [ "$t" = "bytea" ]; then
|
||
term="coalesce(hex(\"$c\"),'')"
|
||
else
|
||
term="coalesce(\"$c\",'')"
|
||
fi
|
||
if [ -z "$EXPR" ]; then EXPR="$term"; else EXPR="$EXPR || '$SEP' || $term"; fi
|
||
done
|
||
|
||
pct exec "$CT" -- sqlite3 "$GDB" "SELECT $EXPR FROM \"$T\"" 2>/dev/null > "$WORK/rows.txt"
|
||
NROWS=$(grep -c . "$WORK/rows.txt" 2>/dev/null || echo 0)
|
||
echo " строк извлечено: $NROWS"
|
||
[ "$NROWS" -gt 0 ] || { echo " ❌ строк не извлечено"; rm -rf "$WORK"; exit 1; }
|
||
|
||
BAD=$(awk -F"$SEP" -v n="$NCOL" 'NF != n {c++} END {print c+0}' "$WORK/rows.txt")
|
||
[ "$BAD" -eq 0 ] || { echo " ❌ разбор строк ненадёжен ($BAD строк)"; rm -rf "$WORK"; exit 1; }
|
||
|
||
# Генерация команд на awk с учётом типов PostgreSQL.
|
||
# Символ кавычки передаётся параметром Q — так надёжнее, чем экранировать
|
||
# его внутри awk-программы (на этом я уже ошибался).
|
||
awk -F"$SEP" -v Q="'" -v DQ='"' -v HX="hex" -v t="$T" -v cols="$COLS" -v pgtypes="$PGTYPES" '
|
||
function esc(s) { gsub(Q, Q Q, s); return s }
|
||
function ptype(colname, i, arr, kv) {
|
||
n = split(pgtypes, arr, ",")
|
||
for (i = 1; i <= n; i++) { split(arr[i], kv, ":"); if (kv[1] == colname) return kv[2] }
|
||
return "text"
|
||
}
|
||
BEGIN {
|
||
n = split(cols, C, ",")
|
||
collist = ""
|
||
for (i = 1; i <= n; i++) collist = collist (i > 1 ? ", " : "") DQ C[i] DQ
|
||
}
|
||
{
|
||
vals = ""
|
||
for (i = 1; i <= n; i++) {
|
||
v = $i
|
||
ty = ptype(C[i])
|
||
if (v == "") {
|
||
item = "NULL"
|
||
} else if (ty == "bytea") {
|
||
item = "decode(" Q v Q "," Q HX Q ")"
|
||
} else if (ty == "boolean") {
|
||
item = (v == "0" || v == "false" || v == "f") ? "FALSE" : "TRUE"
|
||
} else if (ty == "integer" || ty == "bigint" || ty == "smallint" || ty == "numeric" || ty == "double precision" || ty == "real") {
|
||
item = v
|
||
} else {
|
||
item = Q esc(v) Q
|
||
}
|
||
vals = vals (i > 1 ? ", " : "") item
|
||
}
|
||
printf "INSERT INTO %s (%s) VALUES (%s);\n", t, collist, vals
|
||
}' "$WORK/rows.txt" > "$WORK/insert.sql"
|
||
|
||
NSTMT=$(grep -c '^INSERT' "$WORK/insert.sql" 2>/dev/null || echo 0)
|
||
echo " команд сформировано: $NSTMT"
|
||
if [ "$NSTMT" -ne "$NROWS" ]; then
|
||
echo " ❌ команд $NSTMT при $NROWS строках"; rm -rf "$WORK"; exit 1
|
||
fi
|
||
|
||
# Показываю первую команду — для контроля
|
||
echo " первая команда (начало):"
|
||
head -1 "$WORK/insert.sql" | cut -c1-140 | sed 's/^/ /'
|
||
|
||
pct push 151 "$WORK/insert.sql" "/tmp/blob-load.sql" >/dev/null 2>&1
|
||
ERRTXT=$(pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -f /tmp/blob-load.sql 2>&1)
|
||
pct exec 151 -- rm -f /tmp/blob-load.sql >/dev/null 2>&1
|
||
# ВНИМАНИЕ: grep -c возвращает код 1, когда совпадений ноль. Конструкция
|
||
# «|| echo 0» добавляла второй ноль, получалось "0\n0", и сравнение ниже
|
||
# не проходило — при полностью успешной загрузке. Поэтому без «|| echo».
|
||
ERR=$(echo "$ERRTXT" | grep -ci error)
|
||
ERR=${ERR:-0}
|
||
LOADED=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$T\"" 2>/dev/null)
|
||
LOADED=${LOADED:-0}
|
||
printf ' ошибок: %s, строк в базе: %s\n' "$ERR" "${LOADED:-0}"
|
||
[ "$ERR" -gt 0 ] && echo "$ERRTXT" | head -3 | sed 's/^/ /'
|
||
|
||
# Сверка содержимого побайтово
|
||
BCOL=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: '$2=="bytea" {print $1; exit}')
|
||
IDX=0
|
||
i=0
|
||
for c in "${CN[@]}"; do
|
||
i=$((i + 1))
|
||
[ "$c" = "$BCOL" ] && IDX=$i
|
||
done
|
||
MISMATCH=0
|
||
if [ -n "$BCOL" ] && [ "$IDX" -gt 0 ]; then
|
||
echo " сверка двоичного поля '$BCOL' побайтово:"
|
||
while IFS= read -r line; do
|
||
key=$(echo "$line" | awk -F"$SEP" '{print $1}')
|
||
fhex=$(echo "$line" | awk -F"$SEP" -v i="$IDX" '{print tolower($i)}')
|
||
pghex=$(p -d "$PGDB" -tAc "SELECT encode(\"$BCOL\",'hex') FROM \"$T\" WHERE name='$(echo "$key" | sed "s/'/''/g")'" 2>/dev/null | tr 'A-F' 'a-f')
|
||
if [ -n "$pghex" ] && [ "$fhex" = "$pghex" ]; then
|
||
printf ' %-24s совпадает (%s байт)\n' "$key" "$(( ${#fhex} / 2 ))"
|
||
else
|
||
printf ' %-24s ❌\n' "$key"; MISMATCH=$((MISMATCH + 1))
|
||
fi
|
||
done < "$WORK/rows.txt"
|
||
fi
|
||
|
||
echo
|
||
if [ "${LOADED:-0}" = "$NROWS" ] && [ "$MISMATCH" -eq 0 ] && [ "$ERR" = "0" ]; then
|
||
echo " ✅ ТАБЛИЦА $T ЗАГРУЖЕНА ПОЛНОСТЬЮ"; rm -rf "$WORK"; exit 0
|
||
else
|
||
echo " ❌ ТАБЛИЦА $T: загружено $LOADED из $NROWS, расхождений $MISMATCH, ошибок $ERR"
|
||
rm -rf "$WORK"; exit 1
|
||
fi
|