#!/bin/bash # ============================================================ # db-registry-dedupe.sh — устранение задвоения реестра # ============================================================ # Причина: ограничение уникальности вида UNIQUE (service, engine, db_name, # file_path) не работает для баз PostgreSQL, потому что у них путь к файлу # пуст, а пустые значения в PostgreSQL считаются различными. Каждая # синхронизация добавляла новые строки вместо обновления существующих. # # Лечение: уникальность по выражению, где пустое значение заменено на # пустую строку. Тогда повторная запись обновляет строку, а не плодит новую. # # Запуск: bash db-registry-dedupe.sh # ============================================================ set -uo pipefail . /root/.buryan-monitor.env export PGPASSWORD PG=192.168.1.151 DB=buryan_monitoring echo "=== 1. СКОЛЬКО СТРОК И СКОЛЬКО УНИКАЛЬНЫХ ===" psql -h "$PG" -U buryan_monitor -d "$DB" -tAc " SELECT ' всего строк: ' || count(*) FROM db_registry" psql -h "$PG" -U buryan_monitor -d "$DB" -tAc " SELECT ' уникальных: ' || count(*) FROM ( SELECT DISTINCT service, engine, coalesce(db_name,''), coalesce(file_path,'') FROM db_registry) t" echo echo "=== 2. УДАЛЯЮ ДУБЛИ, ОСТАВЛЯЯ САМУЮ СВЕЖУЮ ЗАПИСЬ ===" psql -h "$PG" -U buryan_monitor -d "$DB" <<'SQL' DELETE FROM db_registry a USING db_registry b WHERE a.id < b.id AND a.service = b.service AND a.engine = b.engine AND coalesce(a.db_name,'') = coalesce(b.db_name,'') AND coalesce(a.file_path,'') = coalesce(b.file_path,''); SQL echo echo "=== 3. МЕНЯЮ ПРАВИЛО УНИКАЛЬНОСТИ НА ВЫРАЖЕНИЕ ===" psql -h "$PG" -U buryan_monitor -d "$DB" <<'SQL' ALTER TABLE db_registry DROP CONSTRAINT IF EXISTS db_registry_unique; DROP INDEX IF EXISTS db_registry_unique_idx; CREATE UNIQUE INDEX db_registry_unique_idx ON db_registry (service, engine, coalesce(db_name, ''), coalesce(file_path, '')); SQL echo echo "=== 4. ПРАВИЛЬНАЯ ЗАПИСЬ ПРОВЕРЯЕТСЯ ДВАЖДЫ ===" psql -h "$PG" -U buryan_monitor -d "$DB" -tAc " INSERT INTO db_registry (service, engine, db_name, ct_id, status) VALUES ('проверка-дублей', 'postgresql', 'тестовая', '151', 'в работе') ON CONFLICT (service, engine, coalesce(db_name, ''), coalesce(file_path, '')) DO UPDATE SET last_seen = now()" >/dev/null 2>&1 psql -h "$PG" -U buryan_monitor -d "$DB" -tAc " INSERT INTO db_registry (service, engine, db_name, ct_id, status) VALUES ('проверка-дублей', 'postgresql', 'тестовая', '151', 'в работе') ON CONFLICT (service, engine, coalesce(db_name, ''), coalesce(file_path, '')) DO UPDATE SET last_seen = now()" >/dev/null 2>&1 n=$(psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \ "SELECT count(*) FROM db_registry WHERE service='проверка-дублей'") echo " строк после двух одинаковых вставок: $n (должна быть 1)" psql -h "$PG" -U buryan_monitor -d "$DB" -tAc \ "DELETE FROM db_registry WHERE service='проверка-дублей'" >/dev/null echo echo "=== 5. СВОДКА ПОСЛЕ УБОРКИ ===" psql -h "$PG" -U buryan_monitor -d "$DB" -c 'SELECT * FROM db_registry_summary;'