Files
buryan-infra/ops/scripts/db-registry-dedupe.sh
T

72 lines
3.6 KiB
Bash
Executable File

#!/bin/bash
# ============================================================
# db-registry-dedupe.sh — устранение задвоения реестра
# ============================================================
# Причина: ограничение уникальности вида UNIQUE (service, engine, db_name,
# file_path) не работает для баз PostgreSQL, потому что у них путь к файлу
# пуст, а пустые значения в PostgreSQL считаются различными. Каждая
# синхронизация добавляла новые строки вместо обновления существующих.
#
# Лечение: уникальность по выражению, где пустое значение заменено на
# пустую строку. Тогда повторная запись обновляет строку, а не плодит новую.
#
# Запуск: bash db-registry-dedupe.sh
# ============================================================
set -uo pipefail
. /root/.buryan-monitor.env
export PGPASSWORD
PG=192.168.1.151
DB=buryan_monitoring
echo "=== 1. СКОЛЬКО СТРОК И СКОЛЬКО УНИКАЛЬНЫХ ==="
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc "
SELECT ' всего строк: ' || count(*) FROM db_registry"
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc "
SELECT ' уникальных: ' || count(*) FROM (
SELECT DISTINCT service, engine, coalesce(db_name,''), coalesce(file_path,'')
FROM db_registry) t"
echo
echo "=== 2. УДАЛЯЮ ДУБЛИ, ОСТАВЛЯЯ САМУЮ СВЕЖУЮ ЗАПИСЬ ==="
psql -h "$PG" -U buryan_monitor -d "$DB" <<'SQL'
DELETE FROM db_registry a
USING db_registry b
WHERE a.id < b.id
AND a.service = b.service
AND a.engine = b.engine
AND coalesce(a.db_name,'') = coalesce(b.db_name,'')
AND coalesce(a.file_path,'') = coalesce(b.file_path,'');
SQL
echo
echo "=== 3. МЕНЯЮ ПРАВИЛО УНИКАЛЬНОСТИ НА ВЫРАЖЕНИЕ ==="
psql -h "$PG" -U buryan_monitor -d "$DB" <<'SQL'
ALTER TABLE db_registry DROP CONSTRAINT IF EXISTS db_registry_unique;
DROP INDEX IF EXISTS db_registry_unique_idx;
CREATE UNIQUE INDEX db_registry_unique_idx
ON db_registry (service, engine, coalesce(db_name, ''), coalesce(file_path, ''));
SQL
echo
echo "=== 4. ПРАВИЛЬНАЯ ЗАПИСЬ ПРОВЕРЯЕТСЯ ДВАЖДЫ ==="
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc "
INSERT INTO db_registry (service, engine, db_name, ct_id, status)
VALUES ('проверка-дублей', 'postgresql', 'тестовая', '151', 'в работе')
ON CONFLICT (service, engine, coalesce(db_name, ''), coalesce(file_path, ''))
DO UPDATE SET last_seen = now()" >/dev/null 2>&1
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc "
INSERT INTO db_registry (service, engine, db_name, ct_id, status)
VALUES ('проверка-дублей', 'postgresql', 'тестовая', '151', 'в работе')
ON CONFLICT (service, engine, coalesce(db_name, ''), coalesce(file_path, ''))
DO UPDATE SET last_seen = now()" >/dev/null 2>&1
n=$(psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \
"SELECT count(*) FROM db_registry WHERE service='проверка-дублей'")
echo " строк после двух одинаковых вставок: $n (должна быть 1)"
psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \
"DELETE FROM db_registry WHERE service='проверка-дублей'" >/dev/null
echo
echo "=== 5. СВОДКА ПОСЛЕ УБОРКИ ==="
psql -h "$PG" -U buryan_monitor -d "$DB" -c 'SELECT * FROM db_registry_summary;'