Files
buryan-infra/ops/scripts/db-registry-sync.sh
T

130 lines
7.2 KiB
Bash
Executable File

#!/bin/bash
# ============================================================
# db-registry-sync.sh — наполнение реестра баз по факту
# ============================================================
# Читает фактическое состояние и обновляет таблицу db_registry:
# * базы центральной PostgreSQL — с размером, владельцем, кодировкой;
# * файловые базы сервисов — с путём и размером.
#
# Состояние определяется по списку известных сервисов: если сервис уже
# работает с центральной базой, его файл помечается как «остаток»,
# иначе — «к переносу». Сервисы, которые PostgreSQL не поддерживают,
# помечаются честно.
#
# Поле note при обновлении не затирается — оно для заметок вручную.
#
# Запуск: bash db-registry-sync.sh
# ============================================================
set -uo pipefail
PG=192.168.1.151
PSQL="pct exec 151 -- sudo -u postgres psql -tAc"
. /root/.buryan-monitor.env
export PGPASSWORD
# сервисы, которые PostgreSQL не поддерживают — останутся на файлах
UNSUPPORTED="linkding tautulli navidrome jellyfin npm openclaw"
# Состояние определяется ФАКТОМ, а не списком: живая база — та, которую
# сервис держит открытой. Проверка по списку уже привела к ошибке:
# Gitea и Paperless были помечены «остатком», хотя работали на файлах,
# а «остаток» означает «файл можно удалять». Так теряются живые данные.
file_is_open() { # $1 = CT, $2 = путь
local ct="$1" path="$2" base n
base=$(basename "$path")
# Отдельный файл-скрипт, а не однострочник: при передаче этой логики
# одной строкой ломается экранирование, проверка молча возвращает
# «закрыт» для всех файлов, и живые базы помечаются удаляемыми.
n=$(pct exec "$ct" -- bash -s "$base" < /root/count_open_fd.sh 2>/dev/null)
[ "${n:-0}" -gt 0 ] && echo yes || echo no
}
echo "=== 1. БАЗЫ ЦЕНТРАЛЬНОЙ POSTGRESQL ==="
$PSQL "
SELECT datname || '|' || pg_size_pretty(pg_database_size(datname)) || '|' ||
pg_database_size(datname) || '|' || pg_get_userbyid(datdba) || '|' ||
pg_encoding_to_char(encoding)
FROM pg_database WHERE datistemplate = false ORDER BY datname" 2>/dev/null > /tmp/pg-dbs.txt
while IFS='|' read -r name size bytes owner enc; do
[ -n "$name" ] || continue
# имя сервиса выводим из имени базы: убираем хвост _db
svc="${name%_db}"
psql -h "$PG" -U buryan_monitor -d buryan_monitoring -tAc "
INSERT INTO db_registry (service, engine, db_name, ct_id, size_bytes, owner_role, encoding, status, backup_ok, last_seen)
VALUES ('$svc', 'postgresql', '$name', '151', $bytes, '$owner', '$enc', 'в работе', true, now())
ON CONFLICT (service, engine, db_name, file_path) DO UPDATE
SET size_bytes = EXCLUDED.size_bytes,
owner_role = EXCLUDED.owner_role,
encoding = EXCLUDED.encoding,
last_seen = now()" 2>/dev/null
printf ' %-22s %-8s %-16s %s\n' "$name" "$size" "$owner" "$enc"
done < /tmp/pg-dbs.txt
echo " всего: $(grep -c . /tmp/pg-dbs.txt)"
echo
echo "=== 2. ФАЙЛОВЫЕ БАЗЫ СЕРВИСОВ ==="
printf ' %-16s %-6s %-10s %-16s %s\n' СЕРВИС CT РАЗМЕР СОСТОЯНИЕ ФАЙЛ
printf ' %s\n' '----------------------------------------------------------------------------'
# список файлов, которые считаем базами сервисов (без внутренностей docker)
scan_ct() { # $1 = CT, $2 = имя контейнера-владельца, $3 = путь
local ct="$1" path="$2" svc="$3"
local bytes
bytes=$(pct exec "$ct" -- bash -c "stat -c %s '$path' 2>/dev/null" 2>/dev/null)
[ -n "$bytes" ] || return
local status="к переносу"
for u in $UNSUPPORTED; do [ "$svc" = "$u" ] && status="не поддерживается"; done
# Файл открыт сервисом — он живой. Закрыт — остаток от прошлого переноса.
if [ "$status" != "не поддерживается" ]; then
if [ "$(file_is_open "$ct" "$path")" = "yes" ]; then
status="в работе"
else
status="остаток"
fi
fi
psql -h "$PG" -U buryan_monitor -d buryan_monitoring -tAc "
INSERT INTO db_registry (service, engine, file_path, ct_id, size_bytes, status, backup_ok, last_seen)
VALUES ('$svc', 'sqlite', '$path', '$ct', $bytes, '$status', false, now())
ON CONFLICT (service, engine, db_name, file_path) DO UPDATE
SET size_bytes = EXCLUDED.size_bytes,
status = EXCLUDED.status,
last_seen = now()" 2>/dev/null
local human
human=$(pct exec "$ct" -- bash -c "du -h '$path' 2>/dev/null | cut -f1" 2>/dev/null)
printf ' %-16s %-6s %-10s %-16s %s\n' "$svc" "$ct" "${human:-?}" "$status" "$path"
}
# путь → сервис → контейнер
scan_ct 107 /opt/network-lxc/uptime/data/kuma.db uptime-kuma
scan_ct 140 /opt/gitea/gitea/gitea.db gitea
scan_ct 117 /opt/sonarr/config/sonarr.db sonarr
scan_ct 118 /opt/radarr/config/radarr.db radarr
scan_ct 113 /var/lib/docker/volumes/bb96ab0c4792f406a1d68f4935ff151e8da041c0bbcacb3262de776fd0428df5/_data/grafana.db grafana
scan_ct 110 /opt/lifestyle-lxc/mealie/data/mealie.db mealie
scan_ct 108 /opt/automation-lxc/n8n/data/database.sqlite n8n
scan_ct 119 /opt/prowlarr/config/prowlarr.db prowlarr
scan_ct 120 /opt/bazarr/config/db/bazarr.db bazarr
scan_ct 122 /opt/tautulli/config/tautulli.db tautulli
scan_ct 125 /opt/navidrome/data/navidrome.db navidrome
scan_ct 103 /opt/jellyfin/config/data/jellyfin.db jellyfin
scan_ct 101 /opt/npm/data/database.sqlite npm
scan_ct 127 /var/lib/docker/volumes/linkding-data/_data/db.sqlite3 linkding
scan_ct 109 /opt/files-lxc/vaultwarden/data/db.sqlite3 vaultwarden
scan_ct 115 /opt/openclaw/state/openclaw.sqlite openclaw
scan_ct 105 /opt/sync-lxc/paperless/data/db.sqlite3 paperless
echo
echo "=== 3. СВОДКА ==="
psql -h "$PG" -U buryan_monitor -d buryan_monitoring -c \
'SELECT * FROM db_registry_summary;' 2>/dev/null
echo "=== 4. ЧТО ПРЕДСТОИТ ПЕРЕНЕСТИ ==="
psql -h "$PG" -U buryan_monitor -d buryan_monitoring -c \
'SELECT * FROM db_to_migrate;' 2>/dev/null