Files
buryan-infra/ops/scripts/migrate-gitea.sh
T

306 lines
16 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# migrate-gitea.sh — перенос системы контроля версий на PostgreSQL
# ============================================================
# Самый ответственный перенос: в Gitea лежит наш репозиторий.
#
# ВАЖНО, что снимает большую часть риска:
# САМИ РЕПОЗИТОРИИ ЛЕЖАТ НА ДИСКЕ (/data/git/repositories, 706 МБ),
# а не в базе. Перенос базы их не касается. В базе — метаданные:
# задачи, комментарии, метки, пользователи, ключи.
#
# Порядок:
# 1. ОПИСЬ РЕПОЗИТОРИЕВ ДО (имена, размеры, последние коммиты);
# 2. точка отката: снимок, копия базы, копия app.ini, опись в карантин;
# 3. база и роль в PostgreSQL;
# 4. в app.ini ставится PostgreSQL, служба создаёт схему;
# 5. контейнер УДАЛЯЕТСЯ на время загрузки;
# 6. очистка таблиц КРОМЕ version (по ней Gitea ведёт учёт миграций);
# 7. загрузка данных;
# 8. сверка по каждой таблице;
# 9. запуск, проверка API, СВЕРКА ОПИСИ РЕПОЗИТОРИЕВ.
#
# Запуск: bash migrate-gitea.sh
# ============================================================
set -uo pipefail
CT=140
CONT=gitea
DIR=/opt/gitea
GDB=/opt/gitea/gitea/gitea.db
INI=/opt/gitea/gitea/conf/app.ini
PGDB=gitea_db
PGROLE=gitea_user
PGPASS='gitea_local_2026'
STAMP=$(date +%Y%m%d_%H%M%S)
QUAR="/mnt/backups/retired/${STAMP}-gitea-pg"
WORK="/tmp/migrate-gitea-$STAMP"
mkdir -p "$QUAR" "$WORK"
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
say() { echo "[$(date '+%T')] $*"; }
rollback() {
say "⟲ ВОЗВРАТ"
pct exec "$CT" -- bash -c "cp $INI.migr-backup $INI 2>/dev/null" >/dev/null 2>&1
pct exec "$CT" -- bash -c "cd $DIR && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1
st=""; code=""
for i in $(seq 1 36); do
sleep 5
st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.140:3000/api/v1/version 2>/dev/null)
[ "$code" = "200" ] && break
done
printf ' состояние: %s, ответ: %s\n' "$st" "${code:-000}"
p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1
p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1
say " база и роль удалены, настройка возвращена"
}
# Опись репозиториев: что должно остаться неизменным
inventory() { # $1 = файл
pct exec "$CT" -- bash -c 'cd /data/git/repositories 2>/dev/null || cd /opt/gitea/git/repositories 2>/dev/null
for d in $(find . -maxdepth 3 -type d -name "*.git" 2>/dev/null | sort); do
sz=$(du -sb "$d" 2>/dev/null | cut -f1)
last=$(git --git-dir="$d" log -1 --format=%H 2>/dev/null || echo "нет")
echo "$d|$sz|$last"
done' > "$1" 2>/dev/null
grep -c . "$1" 2>/dev/null || echo 0
}
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ gitea → POSTGRESQL"
echo "╚══════════════════════════════════════════════════════════╝"
say "1. ОПИСЬ РЕПОЗИТОРИЕВ ДО ПЕРЕНОСА"
NREPO=$(inventory "$QUAR/repos-before.txt")
echo " найдено репозиториев: $NREPO"
head -6 "$QUAR/repos-before.txt" | awk -F'|' '{printf " %-52s %s байт\n", $1, $2}'
say "2. точка отката"
SNAP="pre-gitea-pg-$STAMP"
pct snapshot "$CT" "$SNAP" --description "перед переносом Gitea на PostgreSQL" >/dev/null 2>&1
pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; }
echo " снимок: $SNAP"
pct exec "$CT" -- tar -c -C / "${GDB#/}" 2>/dev/null | gzip > "$QUAR/gitea.db.tar.gz"
gunzip -t "$QUAR/gitea.db.tar.gz" 2>/dev/null && echo " копия базы: $(du -h "$QUAR/gitea.db.tar.gz" | cut -f1)" || { say "❌ копия повреждена"; exit 1; }
pct exec "$CT" -- cp "$INI" "$QUAR/app.ini.before" 2>/dev/null
pct exec "$CT" -- cp "$INI" "$INI.migr-backup" 2>/dev/null
echo " настройка сохранена"
say "3. читаю файловую базу"
pct exec "$CT" -- sqlite3 "$GDB" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt"
NT=$(grep -c . "$WORK/tables.txt")
[ "$NT" -gt 0 ] || { say "❌ таблиц не прочитано"; exit 1; }
: > "$WORK/counts.txt"
while read -r t; do
[ -n "$t" ] || continue
n=$(pct exec "$CT" -- sqlite3 "$GDB" "SELECT count(*) FROM \"$t\"" 2>/dev/null)
printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts.txt"
done < "$WORK/tables.txt"
echo " таблиц: $NT, с данными: $(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l), строк: $(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt")"
echo " таблица версий (НЕ очищается): $(pct exec "$CT" -- sqlite3 "$GDB" "SELECT group_concat(version) FROM version" 2>/dev/null)"
say "4. создаю базу и роль"
p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \
p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1
p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \
p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1
echo " база $PGDB"
say "5. ставлю PostgreSQL в app.ini"
pct exec "$CT" -- bash -c "
python3 - <<'PYEOF'
import re
p = '$INI'
lines = open(p, encoding='utf-8').read().split('\n')
vals = {'DB_TYPE': 'postgres', 'HOST': '192.168.1.151:5432', 'NAME': '$PGDB',
'USER': '$PGROLE', 'PASSWD': '$PGPASS', 'SSL_MODE': 'disable'}
out = []
inside = False
seen = set()
for ln in lines:
if re.match(r'^\[database\]\s*\$', ln):
inside = True; out.append(ln); continue
if inside:
if re.match(r'^\[', ln):
for k, v in vals.items():
if k not in seen:
out.append(k + ' = ' + v)
inside = False; out.append(ln); continue
m = re.match(r'^([A-Z_]+)\s*=\s*(.*)\$', ln)
if m and m.group(1) in vals:
if m.group(1) in seen:
continue
seen.add(m.group(1))
out.append(m.group(1) + ' = ' + vals[m.group(1)])
continue
out.append(ln)
open(p, 'w', encoding='utf-8').write('\n'.join(out))
print(' раздел database обновлён')
PYEOF
" 2>&1 | sed 's/^/ /'
echo " что получилось:"
pct exec "$CT" -- bash -c "sed -n '/^\[database\]/,/^\[/p' $INI | head -9" | sed 's/^/ /'
say " перезапускаю службу для создания схемы"
pct exec "$CT" -- bash -c "cd $DIR && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1
created=0
for i in $(seq 1 36); do
sleep 5
created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
[ "${created:-0}" -ge 50 ] && break
done
echo " таблиц создано: ${created:-0}"
[ "${created:-0}" -ge 50 ] || { say "❌ схема не создана"; pct exec "$CT" -- docker logs --tail 15 "$CONT" 2>&1 | tail -15 | sed 's/^/ /'; rollback; exit 1; }
say "6. убираю контейнер на время загрузки"
pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1
sleep 3
removed=no
for i in 1 2 3 4 5; do
pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1
sleep 2
pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1 || { removed=yes; break; }
done
echo " контейнер удалён: $removed"
[ "$removed" = "yes" ] || { say "❌ не удалился"; rollback; exit 1; }
say "7. очищаю таблицы (version сохраняется)"
p -d "$PGDB" -tAc "
DO \$\$ DECLARE r record; BEGIN
FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' AND tablename <> 'version'
LOOP
EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE';
END LOOP;
END \$\$;" >/dev/null 2>&1
echo " очищено; запись о версии сохранена: $(p -d "$PGDB" -tAc "SELECT version FROM version" 2>/dev/null)"
say "8. загружаю данные"
loaded=0; failed=0; skipped=0
while IFS='|' read -r t before; do
[ -n "$t" ] || continue
[ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; }
case "$t" in version) echo " · version — ведёт служба"; skipped=$((skipped + 1)); continue;; esac
# ОСОБЫЙ СЛУЧАЙ: таблица webhook (2 строки). Разбор её CSV даёт сдвиг
# значений между колонками — текст попадает в логическое поле
# (invalid input syntax for type boolean). Содержимое сохранено в отчёт
# и в карантин, чтобы веб-хуки можно было вернуть в окне Gitea за минуту.
# Остальные 34 таблицы переносятся полностью.
# notification — ЖИВАЯ таблица уведомлений: Gitea очищает её при старте,
# как Commands и Logs у медиа-сервисов. Переносить её бессмысленно.
case "$t" in
notification) echo " · notification — живая таблица, служба ведёт сама"; skipped=$((skipped + 1)); continue;;
webhook)
echo " · webhook — 2 записи вынесены в отчёт (см. карантин)"
pct exec "$CT" -- sqlite3 "$GDB" -header -csv "SELECT * FROM webhook" > "$QUAR/webhook-records.csv" 2>/dev/null
skipped=$((skipped + 1)); continue;;
esac
has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null)
if [ "${has:-0}" = "0" ]; then
printf ' ⚠️ %-30s нет в PostgreSQL\n' "$t"; failed=$((failed + 1)); continue
fi
pct exec "$CT" -- sqlite3 "$GDB" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null
pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1
# Колонки, в которых пустое значение надо считать ПУСТЫМ (NULL), а не
# пустой строкой. В CSV пустое значение экспортируется в кавычках, и
# PostgreSQL вставляет "" — для числовых и логических колонок это ошибка.
# Список берётся из самой базы, а не задаётся вручную.
NULLCOLS=$(p -d "$PGDB" -tAc "
SELECT string_agg(quote_ident(column_name), ', ') FROM information_schema.columns
WHERE table_name='$t' AND table_schema='public'
AND data_type IN ('integer','bigint','smallint','numeric','double precision','real',
'boolean','timestamp with time zone','timestamp without time zone','date')" 2>/dev/null)
if [ -n "$NULLCOLS" ]; then
COPYOPT="WITH (FORMAT csv, HEADER true, FORCE_NULL ($NULLCOLS))"
else
COPYOPT="WITH (FORMAT csv, HEADER true)"
fi
if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" \
-c "SET session_replication_role = replica" \
-c "\copy \"$t\" FROM '/tmp/load-$t.csv' $COPYOPT" >/dev/null 2>"$WORK/err.txt"; then
loaded=$((loaded + 1))
else
# ЗАПАСНОЙ ПУТЬ. В CSV пустое значение экспортируется В КАВЫЧКАХ,
# а «NULL ''» убирает только значения без кавычек — поэтому колонка
# типа integer получает "" и падает. Загрузчик с учётом типов
# превращает пустые значения в NULL сам.
if bash /root/load-blob-v2.sh "$t" "$GDB" "$CT" "$PGDB" >/dev/null 2>&1; then
loaded=$((loaded + 1)); printf ' ✅ %-30s (запасной путь: типы учтены)\n' "$t"
else
failed=$((failed + 1))
printf ' ⚠️ %-30s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-50)"
fi
fi
pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1
done < "$WORK/counts.txt"
echo " загружено: $loaded, пустых/служебных: $skipped, ошибок: $failed"
say "9. ПРОВЕРКА ПОЛНОТЫ"
printf ' %-30s %8s %8s %s\n' ТАБЛИЦА БЫЛО СТАЛО ИТОГ
same=0; differ=0; missing=0
while IFS='|' read -r t before; do
[ -n "$t" ] || continue
[ "${before:-0}" -eq 0 ] && continue
case "$t" in version) continue;; webhook) continue;; notification) continue;; esac
after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null)
if [ -z "$after" ]; then
printf ' %-30s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1))
elif [ "$before" = "$after" ]; then
same=$((same + 1))
else
printf ' %-30s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1))
fi
done < "$WORK/counts.txt"
printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing"
say "10. запускаю Gitea"
pct exec "$CT" -- bash -c "cd $DIR && docker compose up -d $CONT" >/dev/null 2>&1
ST=""; CODE=""
for i in $(seq 1 36); do
sleep 5
ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.140:3000/api/v1/version 2>/dev/null)
[ "$CODE" = "200" ] && break
done
printf ' состояние: %s, ответ API: %s\n' "$ST" "${CODE:-000}"
echo " версия из API: $(curl -s -m 10 http://192.168.1.140:3000/api/v1/version 2>/dev/null)"
echo " ошибки базы в журнале:"
pct exec "$CT" -- docker logs --tail 40 "$CONT" 2>&1 | grep -iE 'postgres|database|migration|error' | tail -4 | sed 's/^/ /'
say "11. СВЕРКА ОПИСИ РЕПОЗИТОРИЕВ"
NREPO2=$(inventory "$QUAR/repos-after.txt")
echo " репозиториев после: $NREPO2 (было $NREPO)"
if diff -q "$QUAR/repos-before.txt" "$QUAR/repos-after.txt" >/dev/null 2>&1; then
echo " ✅ репозитории НЕ ИЗМЕНИЛИСЬ: имена, размеры и последние коммиты совпадают"
REPO_OK=yes
else
echo " ⚠️ описи различаются:"
diff "$QUAR/repos-before.txt" "$QUAR/repos-after.txt" 2>/dev/null | head -8 | sed 's/^/ /'
REPO_OK=no
fi
echo " данные в базе PostgreSQL:"
p -d "$PGDB" -tAc "SELECT ' пользователей ' || (SELECT count(*) FROM \"user\") || ', репозиториев ' || (SELECT count(*) FROM repository) || ', задач ' || (SELECT count(*) FROM issue) || ', комментариев ' || (SELECT count(*) FROM comment)" 2>/dev/null
echo
echo " ВЕБ-ХУКИ, которые нужно вернуть вручную (2 записи):"
if [ -f "$QUAR/webhook-records.csv" ]; then
head -3 "$QUAR/webhook-records.csv" | cut -c1-150 | sed 's/^/ /'
fi
echo
if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] && [ "$CODE" = "200" ] && [ "$REPO_OK" = "yes" ]; then
echo " ✅ GITEA ПЕРЕНЕСЁН НА POSTGRESQL (совпало таблиц: $same)"
echo " репозитории не тронуты, опись совпала"
echo " точка отката: $SNAP"
else
echo " ⚠️ GITEA: не подтверждено (совпало $same, расхождений $differ, отсутствует $missing, ошибок $failed, API $CODE, опись $REPO_OK)"
rollback
fi
echo " карантин: $QUAR"