#!/bin/bash # ============================================================ # load-blob-table.sh — загрузка таблицы с учётом типов PostgreSQL # ============================================================ # История исправлений: # 1. Генерация команд средствами sqlite3 давала ПУСТОЙ файл, а psql на # пустом файле возвращает успех — загрузка засчитывалась ложно. # 2. Разбор строки средствами bash давал СДВИГ ПОЛЕЙ. # 3. Выражение выборки начиналось с разделителя — «SELECT || ...». # 4. Типы не совпадают: в файловой базе active целое 0/1, а PostgreSQL # создаёт это поле ЛОГИЧЕСКИМ. Вставка числа в логическое поле падает. # # Поэтому типы берутся ИЗ POSTGRESQL, и значение подставляется по типу: # bytea — из шестнадцатеричного вида # boolean — TRUE/FALSE (0/1 из файловой базы преобразуются) # числовые — без кавычек # остальные — строкой в кавычках # # Использование: load-blob-table.sh <таблица> <файл-базы> <база-PG> # ============================================================ set -uo pipefail T="${1:?таблица}" GDB="${2:?путь к файловой базе}" CT="${3:?CT}" PGDB="${4:?база PostgreSQL}" WORK=$(mktemp -d) SEP='~~' p() { pct exec 151 -- sudo -u postgres psql "$@"; } COLS=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(name, ',') FROM pragma_table_info('$T')" 2>/dev/null) NCOL=$(echo "$COLS" | awk -F',' '{print NF}') echo " столбцов: $NCOL" # Типы из PostgreSQL — основа для правильной подстановки значений p -d "$PGDB" -tAc "SELECT column_name || ':' || data_type FROM information_schema.columns WHERE table_name='$T' AND table_schema='public' ORDER BY ordinal_position" 2>/dev/null > "$WORK/pgtypes.txt" echo " типы из PostgreSQL:" sed 's/^/ /' "$WORK/pgtypes.txt" PGTYPES=$(paste -sd, "$WORK/pgtypes.txt") # Выражение выборки: двоичные — hex, остальные как есть EXPR="" IFS=',' read -ra CN <<< "$COLS" for c in "${CN[@]}"; do t=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: -v c="$c" '$1==c {print $2}') if [ "$t" = "bytea" ]; then term="coalesce(hex(\"$c\"),'')" else term="coalesce(\"$c\",'')" fi if [ -z "$EXPR" ]; then EXPR="$term"; else EXPR="$EXPR || '$SEP' || $term"; fi done pct exec "$CT" -- sqlite3 "$GDB" "SELECT $EXPR FROM \"$T\"" 2>/dev/null > "$WORK/rows.txt" NROWS=$(grep -c . "$WORK/rows.txt" 2>/dev/null || echo 0) echo " строк извлечено: $NROWS" [ "$NROWS" -gt 0 ] || { echo " ❌ строк не извлечено"; rm -rf "$WORK"; exit 1; } BAD=$(awk -F"$SEP" -v n="$NCOL" 'NF != n {c++} END {print c+0}' "$WORK/rows.txt") [ "$BAD" -eq 0 ] || { echo " ❌ разбор строк ненадёжен ($BAD строк)"; rm -rf "$WORK"; exit 1; } # Генерация команд на awk с учётом типов PostgreSQL. # Символ кавычки передаётся параметром Q — так надёжнее, чем экранировать # его внутри awk-программы (на этом я уже ошибался). awk -F"$SEP" -v Q="'" -v DQ='"' -v HX="hex" -v t="$T" -v cols="$COLS" -v pgtypes="$PGTYPES" ' function esc(s) { gsub(Q, Q Q, s); return s } function ptype(colname, i, arr, kv) { n = split(pgtypes, arr, ",") for (i = 1; i <= n; i++) { split(arr[i], kv, ":"); if (kv[1] == colname) return kv[2] } return "text" } BEGIN { n = split(cols, C, ",") collist = "" for (i = 1; i <= n; i++) collist = collist (i > 1 ? ", " : "") DQ C[i] DQ } { vals = "" for (i = 1; i <= n; i++) { v = $i ty = ptype(C[i]) if (v == "") { item = "NULL" } else if (ty == "bytea") { item = "decode(" Q v Q "," Q HX Q ")" } else if (ty == "boolean") { item = (v == "0" || v == "false" || v == "f") ? "FALSE" : "TRUE" } else if (ty == "integer" || ty == "bigint" || ty == "smallint" || ty == "numeric" || ty == "double precision" || ty == "real") { item = v } else { item = Q esc(v) Q } vals = vals (i > 1 ? ", " : "") item } printf "INSERT INTO %s (%s) VALUES (%s);\n", t, collist, vals }' "$WORK/rows.txt" > "$WORK/insert.sql" NSTMT=$(grep -c '^INSERT' "$WORK/insert.sql" 2>/dev/null || echo 0) echo " команд сформировано: $NSTMT" if [ "$NSTMT" -ne "$NROWS" ]; then echo " ❌ команд $NSTMT при $NROWS строках"; rm -rf "$WORK"; exit 1 fi # Показываю первую команду — для контроля echo " первая команда (начало):" head -1 "$WORK/insert.sql" | cut -c1-140 | sed 's/^/ /' pct push 151 "$WORK/insert.sql" "/tmp/blob-load.sql" >/dev/null 2>&1 ERRTXT=$(pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -f /tmp/blob-load.sql 2>&1) pct exec 151 -- rm -f /tmp/blob-load.sql >/dev/null 2>&1 # ВНИМАНИЕ: grep -c возвращает код 1, когда совпадений ноль. Конструкция # «|| echo 0» добавляла второй ноль, получалось "0\n0", и сравнение ниже # не проходило — при полностью успешной загрузке. Поэтому без «|| echo». ERR=$(echo "$ERRTXT" | grep -ci error) ERR=${ERR:-0} LOADED=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$T\"" 2>/dev/null) LOADED=${LOADED:-0} printf ' ошибок: %s, строк в базе: %s\n' "$ERR" "${LOADED:-0}" [ "$ERR" -gt 0 ] && echo "$ERRTXT" | head -3 | sed 's/^/ /' # Сверка содержимого побайтово BCOL=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: '$2=="bytea" {print $1; exit}') IDX=0 i=0 for c in "${CN[@]}"; do i=$((i + 1)) [ "$c" = "$BCOL" ] && IDX=$i done MISMATCH=0 if [ -n "$BCOL" ] && [ "$IDX" -gt 0 ]; then echo " сверка двоичного поля '$BCOL' побайтово:" while IFS= read -r line; do key=$(echo "$line" | awk -F"$SEP" '{print $1}') fhex=$(echo "$line" | awk -F"$SEP" -v i="$IDX" '{print tolower($i)}') pghex=$(p -d "$PGDB" -tAc "SELECT encode(\"$BCOL\",'hex') FROM \"$T\" WHERE name='$(echo "$key" | sed "s/'/''/g")'" 2>/dev/null | tr 'A-F' 'a-f') if [ -n "$pghex" ] && [ "$fhex" = "$pghex" ]; then printf ' %-24s совпадает (%s байт)\n' "$key" "$(( ${#fhex} / 2 ))" else printf ' %-24s ❌\n' "$key"; MISMATCH=$((MISMATCH + 1)) fi done < "$WORK/rows.txt" fi echo if [ "${LOADED:-0}" = "$NROWS" ] && [ "$MISMATCH" -eq 0 ] && [ "$ERR" = "0" ]; then echo " ✅ ТАБЛИЦА $T ЗАГРУЖЕНА ПОЛНОСТЬЮ"; rm -rf "$WORK"; exit 0 else echo " ❌ ТАБЛИЦА $T: загружено $LOADED из $NROWS, расхождений $MISMATCH, ошибок $ERR" rm -rf "$WORK"; exit 1 fi