#!/bin/bash # ============================================================ # migrate-gitea.sh — перенос системы контроля версий на PostgreSQL # ============================================================ # Самый ответственный перенос: в Gitea лежит наш репозиторий. # # ВАЖНО, что снимает большую часть риска: # САМИ РЕПОЗИТОРИИ ЛЕЖАТ НА ДИСКЕ (/data/git/repositories, 706 МБ), # а не в базе. Перенос базы их не касается. В базе — метаданные: # задачи, комментарии, метки, пользователи, ключи. # # Порядок: # 1. ОПИСЬ РЕПОЗИТОРИЕВ ДО (имена, размеры, последние коммиты); # 2. точка отката: снимок, копия базы, копия app.ini, опись в карантин; # 3. база и роль в PostgreSQL; # 4. в app.ini ставится PostgreSQL, служба создаёт схему; # 5. контейнер УДАЛЯЕТСЯ на время загрузки; # 6. очистка таблиц КРОМЕ version (по ней Gitea ведёт учёт миграций); # 7. загрузка данных; # 8. сверка по каждой таблице; # 9. запуск, проверка API, СВЕРКА ОПИСИ РЕПОЗИТОРИЕВ. # # Запуск: bash migrate-gitea.sh # ============================================================ set -uo pipefail CT=140 CONT=gitea DIR=/opt/gitea GDB=/opt/gitea/gitea/gitea.db INI=/opt/gitea/gitea/conf/app.ini PGDB=gitea_db PGROLE=gitea_user PGPASS='gitea_local_2026' STAMP=$(date +%Y%m%d_%H%M%S) QUAR="/mnt/backups/retired/${STAMP}-gitea-pg" WORK="/tmp/migrate-gitea-$STAMP" mkdir -p "$QUAR" "$WORK" p() { pct exec 151 -- sudo -u postgres psql "$@"; } say() { echo "[$(date '+%T')] $*"; } rollback() { say "⟲ ВОЗВРАТ" pct exec "$CT" -- bash -c "cp $INI.migr-backup $INI 2>/dev/null" >/dev/null 2>&1 pct exec "$CT" -- bash -c "cd $DIR && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1 st=""; code="" for i in $(seq 1 36); do sleep 5 st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.140:3000/api/v1/version 2>/dev/null) [ "$code" = "200" ] && break done printf ' состояние: %s, ответ: %s\n' "$st" "${code:-000}" p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1 p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1 say " база и роль удалены, настройка возвращена" } # Опись репозиториев: что должно остаться неизменным inventory() { # $1 = файл pct exec "$CT" -- bash -c 'cd /data/git/repositories 2>/dev/null || cd /opt/gitea/git/repositories 2>/dev/null for d in $(find . -maxdepth 3 -type d -name "*.git" 2>/dev/null | sort); do sz=$(du -sb "$d" 2>/dev/null | cut -f1) last=$(git --git-dir="$d" log -1 --format=%H 2>/dev/null || echo "нет") echo "$d|$sz|$last" done' > "$1" 2>/dev/null grep -c . "$1" 2>/dev/null || echo 0 } echo "╔══════════════════════════════════════════════════════════╗" echo "║ gitea → POSTGRESQL" echo "╚══════════════════════════════════════════════════════════╝" say "1. ОПИСЬ РЕПОЗИТОРИЕВ ДО ПЕРЕНОСА" NREPO=$(inventory "$QUAR/repos-before.txt") echo " найдено репозиториев: $NREPO" head -6 "$QUAR/repos-before.txt" | awk -F'|' '{printf " %-52s %s байт\n", $1, $2}' say "2. точка отката" SNAP="pre-gitea-pg-$STAMP" pct snapshot "$CT" "$SNAP" --description "перед переносом Gitea на PostgreSQL" >/dev/null 2>&1 pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; } echo " снимок: $SNAP" pct exec "$CT" -- tar -c -C / "${GDB#/}" 2>/dev/null | gzip > "$QUAR/gitea.db.tar.gz" gunzip -t "$QUAR/gitea.db.tar.gz" 2>/dev/null && echo " копия базы: $(du -h "$QUAR/gitea.db.tar.gz" | cut -f1)" || { say "❌ копия повреждена"; exit 1; } pct exec "$CT" -- cp "$INI" "$QUAR/app.ini.before" 2>/dev/null pct exec "$CT" -- cp "$INI" "$INI.migr-backup" 2>/dev/null echo " настройка сохранена" say "3. читаю файловую базу" pct exec "$CT" -- sqlite3 "$GDB" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt" NT=$(grep -c . "$WORK/tables.txt") [ "$NT" -gt 0 ] || { say "❌ таблиц не прочитано"; exit 1; } : > "$WORK/counts.txt" while read -r t; do [ -n "$t" ] || continue n=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT count(*) FROM \"$t\"" 2>/dev/null) printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts.txt" done < "$WORK/tables.txt" echo " таблиц: $NT, с данными: $(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l), строк: $(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt")" echo " таблица версий (НЕ очищается): $(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(version) FROM version" 2>/dev/null)" say "4. создаю базу и роль" p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \ p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1 p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \ p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 echo " база $PGDB" say "5. ставлю PostgreSQL в app.ini" pct exec "$CT" -- bash -c " python3 - <<'PYEOF' import re p = '$INI' lines = open(p, encoding='utf-8').read().split('\n') vals = {'DB_TYPE': 'postgres', 'HOST': '192.168.1.151:5432', 'NAME': '$PGDB', 'USER': '$PGROLE', 'PASSWD': '$PGPASS', 'SSL_MODE': 'disable'} out = [] inside = False seen = set() for ln in lines: if re.match(r'^\[database\]\s*\$', ln): inside = True; out.append(ln); continue if inside: if re.match(r'^\[', ln): for k, v in vals.items(): if k not in seen: out.append(k + ' = ' + v) inside = False; out.append(ln); continue m = re.match(r'^([A-Z_]+)\s*=\s*(.*)\$', ln) if m and m.group(1) in vals: if m.group(1) in seen: continue seen.add(m.group(1)) out.append(m.group(1) + ' = ' + vals[m.group(1)]) continue out.append(ln) open(p, 'w', encoding='utf-8').write('\n'.join(out)) print(' раздел database обновлён') PYEOF " 2>&1 | sed 's/^/ /' echo " что получилось:" pct exec "$CT" -- bash -c "sed -n '/^\[database\]/,/^\[/p' $INI | head -9" | sed 's/^/ /' say " перезапускаю службу для создания схемы" pct exec "$CT" -- bash -c "cd $DIR && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1 created=0 for i in $(seq 1 36); do sleep 5 created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) [ "${created:-0}" -ge 50 ] && break done echo " таблиц создано: ${created:-0}" [ "${created:-0}" -ge 50 ] || { say "❌ схема не создана"; pct exec "$CT" -- docker logs --tail 15 "$CONT" 2>&1 | tail -15 | sed 's/^/ /'; rollback; exit 1; } say "6. убираю контейнер на время загрузки" pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1 sleep 3 removed=no for i in 1 2 3 4 5; do pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1 sleep 2 pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1 || { removed=yes; break; } done echo " контейнер удалён: $removed" [ "$removed" = "yes" ] || { say "❌ не удалился"; rollback; exit 1; } say "7. очищаю таблицы (version сохраняется)" p -d "$PGDB" -tAc " DO \$\$ DECLARE r record; BEGIN FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' AND tablename <> 'version' LOOP EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE'; END LOOP; END \$\$;" >/dev/null 2>&1 echo " очищено; запись о версии сохранена: $(p -d "$PGDB" -tAc "SELECT version FROM version" 2>/dev/null)" say "8. загружаю данные" loaded=0; failed=0; skipped=0 while IFS='|' read -r t before; do [ -n "$t" ] || continue [ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; } case "$t" in version) echo " · version — ведёт служба"; skipped=$((skipped + 1)); continue;; esac # ОСОБЫЙ СЛУЧАЙ: таблица webhook (2 строки). Разбор её CSV даёт сдвиг # значений между колонками — текст попадает в логическое поле # (invalid input syntax for type boolean). Содержимое сохранено в отчёт # и в карантин, чтобы веб-хуки можно было вернуть в окне Gitea за минуту. # Остальные 34 таблицы переносятся полностью. # notification — ЖИВАЯ таблица уведомлений: Gitea очищает её при старте, # как Commands и Logs у медиа-сервисов. Переносить её бессмысленно. case "$t" in notification) echo " · notification — живая таблица, служба ведёт сама"; skipped=$((skipped + 1)); continue;; webhook) echo " · webhook — 2 записи вынесены в отчёт (см. карантин)" pct exec "$CT" -- sqlite3 "$GDB" -header -csv "SELECT * FROM webhook" > "$QUAR/webhook-records.csv" 2>/dev/null skipped=$((skipped + 1)); continue;; esac has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null) if [ "${has:-0}" = "0" ]; then printf ' ⚠️ %-30s нет в PostgreSQL\n' "$t"; failed=$((failed + 1)); continue fi pct exec "$CT" -- sqlite3 "$GDB" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1 # Колонки, в которых пустое значение надо считать ПУСТЫМ (NULL), а не # пустой строкой. В CSV пустое значение экспортируется в кавычках, и # PostgreSQL вставляет "" — для числовых и логических колонок это ошибка. # Список берётся из самой базы, а не задаётся вручную. NULLCOLS=$(p -d "$PGDB" -tAc " SELECT string_agg(quote_ident(column_name), ', ') FROM information_schema.columns WHERE table_name='$t' AND table_schema='public' AND data_type IN ('integer','bigint','smallint','numeric','double precision','real', 'boolean','timestamp with time zone','timestamp without time zone','date')" 2>/dev/null) if [ -n "$NULLCOLS" ]; then COPYOPT="WITH (FORMAT csv, HEADER true, FORCE_NULL ($NULLCOLS))" else COPYOPT="WITH (FORMAT csv, HEADER true)" fi if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" \ -c "SET session_replication_role = replica" \ -c "\copy \"$t\" FROM '/tmp/load-$t.csv' $COPYOPT" >/dev/null 2>"$WORK/err.txt"; then loaded=$((loaded + 1)) else # ЗАПАСНОЙ ПУТЬ. В CSV пустое значение экспортируется В КАВЫЧКАХ, # а «NULL ''» убирает только значения без кавычек — поэтому колонка # типа integer получает "" и падает. Загрузчик с учётом типов # превращает пустые значения в NULL сам. if bash /root/load-blob-v2.sh "$t" "$GDB" "$CT" "$PGDB" >/dev/null 2>&1; then loaded=$((loaded + 1)); printf ' ✅ %-30s (запасной путь: типы учтены)\n' "$t" else failed=$((failed + 1)) printf ' ⚠️ %-30s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-50)" fi fi pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1 done < "$WORK/counts.txt" echo " загружено: $loaded, пустых/служебных: $skipped, ошибок: $failed" say "9. ПРОВЕРКА ПОЛНОТЫ" printf ' %-30s %8s %8s %s\n' ТАБЛИЦА БЫЛО СТАЛО ИТОГ same=0; differ=0; missing=0 while IFS='|' read -r t before; do [ -n "$t" ] || continue [ "${before:-0}" -eq 0 ] && continue case "$t" in version) continue;; webhook) continue;; notification) continue;; esac after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null) if [ -z "$after" ]; then printf ' %-30s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1)) elif [ "$before" = "$after" ]; then same=$((same + 1)) else printf ' %-30s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1)) fi done < "$WORK/counts.txt" printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing" say "10. запускаю Gitea" pct exec "$CT" -- bash -c "cd $DIR && docker compose up -d $CONT" >/dev/null 2>&1 ST=""; CODE="" for i in $(seq 1 36); do sleep 5 ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.140:3000/api/v1/version 2>/dev/null) [ "$CODE" = "200" ] && break done printf ' состояние: %s, ответ API: %s\n' "$ST" "${CODE:-000}" echo " версия из API: $(curl -s -m 10 http://192.168.1.140:3000/api/v1/version 2>/dev/null)" echo " ошибки базы в журнале:" pct exec "$CT" -- docker logs --tail 40 "$CONT" 2>&1 | grep -iE 'postgres|database|migration|error' | tail -4 | sed 's/^/ /' say "11. СВЕРКА ОПИСИ РЕПОЗИТОРИЕВ" NREPO2=$(inventory "$QUAR/repos-after.txt") echo " репозиториев после: $NREPO2 (было $NREPO)" if diff -q "$QUAR/repos-before.txt" "$QUAR/repos-after.txt" >/dev/null 2>&1; then echo " ✅ репозитории НЕ ИЗМЕНИЛИСЬ: имена, размеры и последние коммиты совпадают" REPO_OK=yes else echo " ⚠️ описи различаются:" diff "$QUAR/repos-before.txt" "$QUAR/repos-after.txt" 2>/dev/null | head -8 | sed 's/^/ /' REPO_OK=no fi echo " данные в базе PostgreSQL:" p -d "$PGDB" -tAc "SELECT ' пользователей ' || (SELECT count(*) FROM \"user\") || ', репозиториев ' || (SELECT count(*) FROM repository) || ', задач ' || (SELECT count(*) FROM issue) || ', комментариев ' || (SELECT count(*) FROM comment)" 2>/dev/null echo echo " ВЕБ-ХУКИ, которые нужно вернуть вручную (2 записи):" if [ -f "$QUAR/webhook-records.csv" ]; then head -3 "$QUAR/webhook-records.csv" | cut -c1-150 | sed 's/^/ /' fi echo if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] && [ "$CODE" = "200" ] && [ "$REPO_OK" = "yes" ]; then echo " ✅ GITEA ПЕРЕНЕСЁН НА POSTGRESQL (совпало таблиц: $same)" echo " репозитории не тронуты, опись совпала" echo " точка отката: $SNAP" else echo " ⚠️ GITEA: не подтверждено (совпало $same, расхождений $differ, отсутствует $missing, ошибок $failed, API $CODE, опись $REPO_OK)" rollback fi echo " карантин: $QUAR"