#!/bin/bash # ============================================================ # load-blob-v2.sh — загрузка таблицы с двоичными полями (исправленный) # ============================================================ # История исправлений, каждое найдено проверкой: # 1. Генерация команд средствами sqlite3 давала ПУСТОЙ файл, а psql # на пустом файле возвращает успех — загрузка засчитывалась ложно. # 2. Разбор строки средствами bash давал СДВИГ ПОЛЕЙ. # 3. Выражение выборки начиналось с разделителя. # 4. Типы не совпадали: в файловой базе active целое 0/1, а PostgreSQL # создаёт это поле ЛОГИЧЕСКИМ. # 5. Имена столбцов брались в ОДИНАРНЫЕ кавычки вместо двойных. # 6. Сверка искала строку по столбцу name — в таблице users такого нет, # ключ называется uuid. Расхождение было ЛОЖНЫМ: данные на месте. # 7. При загрузке не отключалась проверка связей — таблицы падали # по внешнему ключу в зависимости от порядка загрузки. # # Использование: load-blob-v2.sh <таблица> <файл-базы> <база-PG> # ============================================================ set -uo pipefail T="${1:?таблица}" GDB="${2:?путь к файловой базе}" CT="${3:?CT}" PGDB="${4:?база PostgreSQL}" WORK=$(mktemp -d) SEP='~~' p() { pct exec 151 -- sudo -u postgres psql "$@"; } COLS=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(name, ',') FROM pragma_table_info('$T')" 2>/dev/null) NCOL=$(echo "$COLS" | awk -F',' '{print NF}') echo " столбцов: $NCOL" p -d "$PGDB" -tAc "SELECT column_name || ':' || data_type FROM information_schema.columns WHERE table_name='$T' AND table_schema='public' ORDER BY ordinal_position" 2>/dev/null > "$WORK/pgtypes.txt" PGTYPES=$(paste -sd, "$WORK/pgtypes.txt") # Ключевой столбец для сверки: первичный ключ, иначе первый столбец. # Раньше здесь жёстко стояло name — и сверка молча давала ложное # расхождение для таблиц, где ключ называется иначе (uuid у users). KEYCOL=$(p -d "$PGDB" -tAc " SELECT a.attname FROM pg_index i JOIN pg_attribute a ON a.attrelid = i.indrelid AND a.attnum = ANY(i.indkey) WHERE i.indrelid = '\"$T\"'::regclass AND i.indisprimary LIMIT 1" 2>/dev/null) [ -z "$KEYCOL" ] && KEYCOL=$(echo "$COLS" | cut -d',' -f1) echo " ключевой столбец для сверки: $KEYCOL" EXPR="" IFS=',' read -ra CN <<< "$COLS" for c in "${CN[@]}"; do ty=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: -v c="$c" '$1==c {print $2}') if [ "$ty" = "bytea" ]; then term="coalesce(hex(\"$c\"),'')" else term="coalesce(\"$c\",'')" fi if [ -z "$EXPR" ]; then EXPR="$term"; else EXPR="$EXPR || '$SEP' || $term"; fi done pct exec "$CT" -- sqlite3 "$GDB" "SELECT $EXPR FROM \"$T\"" 2>/dev/null > "$WORK/rows.txt" NROWS=$(grep -c . "$WORK/rows.txt" 2>/dev/null || echo 0) echo " строк извлечено: $NROWS" [ "$NROWS" -gt 0 ] || { echo " ❌ строк не извлечено"; rm -rf "$WORK"; exit 1; } BAD=$(awk -F"$SEP" -v n="$NCOL" 'NF != n {c++} END {print c+0}' "$WORK/rows.txt") [ "$BAD" -eq 0 ] || { echo " ❌ разбор строк ненадёжен ($BAD строк)"; rm -rf "$WORK"; exit 1; } # Символы кавычек передаются параметрами Q и DQ — надёжнее экранирования awk -F"$SEP" -v Q="'" -v DQ='"' -v HX="hex" -v t="$T" -v cols="$COLS" -v pgtypes="$PGTYPES" ' function esc(s) { gsub(Q, Q Q, s); return s } function ptype(colname, i, arr, kv) { n = split(pgtypes, arr, ",") for (i = 1; i <= n; i++) { split(arr[i], kv, ":"); if (kv[1] == colname) return kv[2] } return "text" } BEGIN { n = split(cols, C, ",") collist = "" for (i = 1; i <= n; i++) collist = collist (i > 1 ? ", " : "") DQ C[i] DQ } { vals = "" for (i = 1; i <= n; i++) { v = $i ty = ptype(C[i]) if (v == "") { item = "NULL" } else if (ty == "bytea") { item = "decode(" Q v Q "," Q HX Q ")" } else if (ty == "boolean") { item = (v == "0" || v == "false" || v == "f") ? "FALSE" : "TRUE" } else if (ty == "integer" || ty == "bigint" || ty == "smallint" || ty == "numeric" || ty == "double precision" || ty == "real") { item = v } else { item = Q esc(v) Q } vals = vals (i > 1 ? ", " : "") item } printf "INSERT INTO %s (%s) VALUES (%s);\n", t, collist, vals }' "$WORK/rows.txt" > "$WORK/insert.sql" NSTMT=$(grep -c '^INSERT' "$WORK/insert.sql" 2>/dev/null || echo 0) echo " команд сформировано: $NSTMT" if [ "$NSTMT" -ne "$NROWS" ]; then echo " ❌ команд $NSTMT при $NROWS строках"; rm -rf "$WORK"; exit 1 fi # Проверка связей отключается в ТОЙ ЖЕ команде psql: SET действует # только внутри соединения { echo "SET session_replication_role = replica;"; cat "$WORK/insert.sql"; } > "$WORK/insert-final.sql" pct push 151 "$WORK/insert-final.sql" "/tmp/blob-load.sql" >/dev/null 2>&1 ERRTXT=$(pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -f /tmp/blob-load.sql 2>&1) pct exec 151 -- rm -f /tmp/blob-load.sql >/dev/null 2>&1 # grep -c возвращает код 1 при нуле совпадений — «|| echo 0» давал "0\n0" ERR=$(echo "$ERRTXT" | grep -ci error) ERR=${ERR:-0} LOADED=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$T\"" 2>/dev/null) LOADED=${LOADED:-0} printf ' ошибок: %s, строк в базе: %s\n' "$ERR" "$LOADED" [ "$ERR" -gt 0 ] && echo "$ERRTXT" | head -3 | sed 's/^/ /' BCOL=$(echo "$PGTYPES" | tr ',' '\n' | awk -F: '$2=="bytea" {print $1; exit}') MISMATCH=0 if [ -n "$BCOL" ]; then BIDX=0; KIDX=0; i=0 for c in "${CN[@]}"; do i=$((i + 1)) [ "$c" = "$BCOL" ] && BIDX=$i [ "$c" = "$KEYCOL" ] && KIDX=$i done echo " сверка поля '$BCOL' побайтово (по столбцу '$KEYCOL'):" if [ "$BIDX" -gt 0 ] && [ "$KIDX" -gt 0 ]; then while IFS= read -r line; do key=$(echo "$line" | awk -F"$SEP" -v i="$KIDX" '{print $i}') fhex=$(echo "$line" | awk -F"$SEP" -v i="$BIDX" '{print tolower($i)}') pghex=$(p -d "$PGDB" -tAc "SELECT encode(\"$BCOL\",'hex') FROM \"$T\" WHERE \"$KEYCOL\"='$(echo "$key" | sed "s/'/''/g")'" 2>/dev/null | tr 'A-F' 'a-f') if [ -n "$pghex" ] && [ "$fhex" = "$pghex" ]; then printf ' %-40s совпадает (%s байт)\n' "$key" "$(( ${#fhex} / 2 ))" else printf ' %-40s ❌ (в базе %s знаков, в файле %s)\n' "$key" "${#pghex}" "${#fhex}" MISMATCH=$((MISMATCH + 1)) fi done < "$WORK/rows.txt" else echo " ⚠️ не удалось определить столбцы для сверки" fi fi echo if [ "${LOADED:-0}" = "$NROWS" ] && [ "$MISMATCH" -eq 0 ] && [ "$ERR" = "0" ]; then echo " ✅ ТАБЛИЦА $T ЗАГРУЖЕНА, СОДЕРЖИМОЕ СОВПАДАЕТ" rm -rf "$WORK"; exit 0 else echo " ❌ ТАБЛИЦА $T: загружено $LOADED из $NROWS, расхождений $MISMATCH, ошибок $ERR" rm -rf "$WORK"; exit 1 fi