Files
buryan-infra/ops/scripts/load-blob-table.sh
T

153 lines
7.2 KiB
Bash
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# load-blob-table.sh — загрузка таблицы с учётом типов PostgreSQL
# ============================================================
# История исправлений:
# 1. Генерация команд средствами sqlite3 давала ПУСТОЙ файл, а psql на
# пустом файле возвращает успех — загрузка засчитывалась ложно.
# 2. Разбор строки средствами bash давал СДВИГ ПОЛЕЙ.
# 3. Выражение выборки начиналось с разделителя — «SELECT || ...».
# 4. Типы не совпадают: в файловой базе active целое 0/1, а PostgreSQL
# создаёт это поле ЛОГИЧЕСКИМ. Вставка числа в логическое поле падает.
#
# Поэтому типы берутся ИЗ POSTGRESQL, и значение подставляется по типу:
# bytea — из шестнадцатеричного вида
# boolean — TRUE/FALSE (0/1 из файловой базы преобразуются)
# числовые — без кавычек
# остальные — строкой в кавычках
#
# Использование: load-blob-table.sh <таблица> <файл-базы> <CT> <база-PG>
# ============================================================
set -uo pipefail
T="${1:?таблица}"
GDB="${2:?путь к файловой базе}"
CT="${3:?CT}"
PGDB="${4:?база PostgreSQL}"
WORK=$(mktemp -d)
SEP='~~'
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
COLS=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(name, ',') FROM pragma_table_info('$T')" 2>/dev/null)
NCOL=$(echo "$COLS" | awk -F',' '{print NF}')
echo " столбцов: $NCOL"
# Типы из PostgreSQL — основа для правильной подстановки значений
p -d "$PGDB" -tAc "SELECT column_name || ':' || data_type FROM information_schema.columns WHERE table_name='$T' AND table_schema='public' ORDER BY ordinal_position" 2>/dev/null > "$WORK/pgtypes.txt"
echo " типы из PostgreSQL:"
sed 's/^/ /' "$WORK/pgtypes.txt"
PGTYPES=$(paste -sd, "$WORK/pgtypes.txt")
# Выражение выборки: двоичные — hex, остальные как есть
EXPR=""
IFS=',' read -ra CN <<< "$COLS"
for c in "${CN[@]}"; do
t=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: -v c="$c" '$1==c {print $2}')
if [ "$t" = "bytea" ]; then
term="coalesce(hex(\"$c\"),'')"
else
term="coalesce(\"$c\",'')"
fi
if [ -z "$EXPR" ]; then EXPR="$term"; else EXPR="$EXPR || '$SEP' || $term"; fi
done
pct exec "$CT" -- sqlite3 "$GDB" "SELECT $EXPR FROM \"$T\"" 2>/dev/null > "$WORK/rows.txt"
NROWS=$(grep -c . "$WORK/rows.txt" 2>/dev/null || echo 0)
echo " строк извлечено: $NROWS"
[ "$NROWS" -gt 0 ] || { echo " ❌ строк не извлечено"; rm -rf "$WORK"; exit 1; }
BAD=$(awk -F"$SEP" -v n="$NCOL" 'NF != n {c++} END {print c+0}' "$WORK/rows.txt")
[ "$BAD" -eq 0 ] || { echo " ❌ разбор строк ненадёжен ($BAD строк)"; rm -rf "$WORK"; exit 1; }
# Генерация команд на awk с учётом типов PostgreSQL.
# Символ кавычки передаётся параметром Q — так надёжнее, чем экранировать
# его внутри awk-программы (на этом я уже ошибался).
awk -F"$SEP" -v Q="'" -v DQ='"' -v HX="hex" -v t="$T" -v cols="$COLS" -v pgtypes="$PGTYPES" '
function esc(s) { gsub(Q, Q Q, s); return s }
function ptype(colname, i, arr, kv) {
n = split(pgtypes, arr, ",")
for (i = 1; i <= n; i++) { split(arr[i], kv, ":"); if (kv[1] == colname) return kv[2] }
return "text"
}
BEGIN {
n = split(cols, C, ",")
collist = ""
for (i = 1; i <= n; i++) collist = collist (i > 1 ? ", " : "") DQ C[i] DQ
}
{
vals = ""
for (i = 1; i <= n; i++) {
v = $i
ty = ptype(C[i])
if (v == "") {
item = "NULL"
} else if (ty == "bytea") {
item = "decode(" Q v Q "," Q HX Q ")"
} else if (ty == "boolean") {
item = (v == "0" || v == "false" || v == "f") ? "FALSE" : "TRUE"
} else if (ty == "integer" || ty == "bigint" || ty == "smallint" || ty == "numeric" || ty == "double precision" || ty == "real") {
item = v
} else {
item = Q esc(v) Q
}
vals = vals (i > 1 ? ", " : "") item
}
printf "INSERT INTO %s (%s) VALUES (%s);\n", t, collist, vals
}' "$WORK/rows.txt" > "$WORK/insert.sql"
NSTMT=$(grep -c '^INSERT' "$WORK/insert.sql" 2>/dev/null || echo 0)
echo " команд сформировано: $NSTMT"
if [ "$NSTMT" -ne "$NROWS" ]; then
echo " ❌ команд $NSTMT при $NROWS строках"; rm -rf "$WORK"; exit 1
fi
# Показываю первую команду — для контроля
echo " первая команда (начало):"
head -1 "$WORK/insert.sql" | cut -c1-140 | sed 's/^/ /'
pct push 151 "$WORK/insert.sql" "/tmp/blob-load.sql" >/dev/null 2>&1
ERRTXT=$(pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -f /tmp/blob-load.sql 2>&1)
pct exec 151 -- rm -f /tmp/blob-load.sql >/dev/null 2>&1
# ВНИМАНИЕ: grep -c возвращает код 1, когда совпадений ноль. Конструкция
# «|| echo 0» добавляла второй ноль, получалось "0\n0", и сравнение ниже
# не проходило — при полностью успешной загрузке. Поэтому без «|| echo».
ERR=$(echo "$ERRTXT" | grep -ci error)
ERR=${ERR:-0}
LOADED=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$T\"" 2>/dev/null)
LOADED=${LOADED:-0}
printf ' ошибок: %s, строк в базе: %s\n' "$ERR" "${LOADED:-0}"
[ "$ERR" -gt 0 ] && echo "$ERRTXT" | head -3 | sed 's/^/ /'
# Сверка содержимого побайтово
BCOL=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: '$2=="bytea" {print $1; exit}')
IDX=0
i=0
for c in "${CN[@]}"; do
i=$((i + 1))
[ "$c" = "$BCOL" ] && IDX=$i
done
MISMATCH=0
if [ -n "$BCOL" ] && [ "$IDX" -gt 0 ]; then
echo " сверка двоичного поля '$BCOL' побайтово:"
while IFS= read -r line; do
key=$(echo "$line" | awk -F"$SEP" '{print $1}')
fhex=$(echo "$line" | awk -F"$SEP" -v i="$IDX" '{print tolower($i)}')
pghex=$(p -d "$PGDB" -tAc "SELECT encode(\"$BCOL\",'hex') FROM \"$T\" WHERE name='$(echo "$key" | sed "s/'/''/g")'" 2>/dev/null | tr 'A-F' 'a-f')
if [ -n "$pghex" ] && [ "$fhex" = "$pghex" ]; then
printf ' %-24s совпадает (%s байт)\n' "$key" "$(( ${#fhex} / 2 ))"
else
printf ' %-24s ❌\n' "$key"; MISMATCH=$((MISMATCH + 1))
fi
done < "$WORK/rows.txt"
fi
echo
if [ "${LOADED:-0}" = "$NROWS" ] && [ "$MISMATCH" -eq 0 ] && [ "$ERR" = "0" ]; then
echo " ✅ ТАБЛИЦА $T ЗАГРУЖЕНА ПОЛНОСТЬЮ"; rm -rf "$WORK"; exit 0
else
echo " ❌ ТАБЛИЦА $T: загружено $LOADED из $NROWS, расхождений $MISMATCH, ошибок $ERR"
rm -rf "$WORK"; exit 1
fi