Files
buryan-infra/docs/NIGHT-REPORT.md
T

175 lines
10 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт о ночном спринте
**Дата:** 2026-10-14, ночь
**Задача:** централизация баз данных
**Состояние:** этапы 1, 2, 3, 8 выполнены. Этап 4 остановлен по обоснованной причине.
---
## 1. Что сделано
### Этап 1. Уборка безопасных остатков — выполнен
| Что | Результат | Чем подтверждено |
|---|---|---|
| Мёртвые файловые базы n8n и mealie | убраны | копии в карантине совпали по размеру: 102 998 016 и 1 331 200 байт |
| Осиротевшая база `gitea` в PostgreSQL | выгружена и удалена | в выгрузке 112 таблиц |
| Старый кластер PostgreSQL 14 | выгружен и удалён | выгрузка: 14 баз, 1012 таблиц, 323 688 строк; сверка показала, что все базы есть в рабочем |
**Освобождено 500 МБ** в контейнере баз. Карантин: 119 МБ.
Ничего не удалено без проверенной копии — всё перемещено в `/mnt/backups/retired/`.
### Этап 2. Кодировка: образец — выполнен
База `buryan_monitoring` переведена на **UTF8 с локалью ICU ru-RU**.
Подтверждение — не «команда выполнена», а поведение базы:
| Проверка | Было (SQL_ASCII) | Стало |
|---|---|---|
| длина строки «Привет» | **12** | **6** |
| upper('Привет') | Привет | **ПРИВЕТ** |
| 'ёж' < 'жук' | false | **true** |
### Этап 3. Остальные базы — выполнен, 12 баз
| База | Таблиц | Владелец восстановлен |
|---|---|---|
| authentik_db | 165 | authentik_user |
| n8n | 136 | n8n |
| n8n_central | 136 | n8n |
| n8n_prod | 136 | n8n |
| nextcloud_db | 151 | nextcloud_user |
| paperless_db | 74 | paperless_user |
| firefly_db | 81 | firefly_user |
| mealie_db | 62 | mealie_user |
| buryan_hub | 12 | n8n |
| buryan_monitor | 6 | buryan_agent |
| authentik | 0 (служебная) | postgres |
| buryan_monitoring | 9 | postgres |
**Итого 15 баз из 17** переведены на UTF8 с русской локалью.
Каждая — с проверкой состава таблиц и трёх проверок русского текста.
### Этап 8. Проверка восстановления — выполнен
Выгрузка базы развёрнута во временную базу и сверена:
```
таблиц: было 9, стало 9
очередь обновлений: было 6, стало 6
реестр баз: было 35, стало 35
русский текст: длина 6, upper ПРИВЕТ
```
**Копии пригодны, кодировка переносится.** Без этой проверки считать
копию копией нельзя.
---
## 2. Ошибки, которые я допустил и исправил
Все четыре обнаружены проверками, а не угаданы.
| # | Ошибка | Как проявилась | Исправление |
|---|---|---|---|
| 1 | Имя базы с **дефисом** | PostgreSQL прочитал дефис как вычитание, переименование не сработало, а я **поверил выводу команды** и загрузил данные в ту же базу | имена без дефисов; после каждого изменения — **проверка по системному каталогу**, а не по выводу команды |
| 2 | Восстановление прав **по снимку** оказалось неполным | бот потерял право записи в очередь — та же поломка, что была днём | права выдаются **явно на всю схему**, а не по снимку |
| 3 | Владелец базы назначался `postgres` | у 10 баз владельцем была роль сервиса; воркер Authentik не смог применить миграцию и не запускался | владелец берётся из копии до переноса, возвращён у всех 10 |
| 4 | Локаль `C` в стандарте | кодировка верна, но регистр и сортировка для русского **не работают** | проверены варианты на тестовых базах, выбран **ICU ru-RU** |
Ошибка №1 — та же, что мучила весь день: **я проверял факт выполнения команды,
а не результат**. Здесь это привело к загрузке данных в саму себя. Данные
не пострадали, но результата не было.
Ошибка №3 могла остаться незамеченной: базы работали бы, пока сервису
не потребовалось создать таблицу или применить миграцию.
---
## 3. Что НЕ сделано и почему
### Этап 4. Перенос файловых баз в PostgreSQL — остановлен
**Причина: ни у одного сервиса нет встроенного переноса данных.**
| Сервис | Размер | Поддерживает PostgreSQL | Перенос данных |
|---|---|---|---|
| Uptime Kuma | 160 МБ | зависит от версии | **инструментов нет** |
| Gitea | 14 МБ | да | есть dump/restore, но **смена типа базы официально не поддержана** |
| Sonarr | 3,2 МБ | да | **инструментов нет** |
| Paperless | 2,4 МБ | да | **инструментов нет** |
| Radarr | 2,0 МБ | да | **инструментов нет** |
| Grafana | 1,5 МБ | да | **инструментов нет** |
| Prowlarr | 368 КБ | да | **инструментов нет** |
| Bazarr | 364 КБ | да | **инструментов нет** |
| Vaultwarden | 288 КБ | да | **инструментов нет** |
**Поддержка PostgreSQL и перенос данных — разные вещи.** Перенос означал бы
ручную конвертацию схемы и строк для каждого сервиса.
Для **хранилища паролей** и **системы контроля версий** это риск, который
нельзя проверить простым запуском сервиса: сервис поднимется, но проверить,
что все записи перенесены без искажений, можно только вручную и вместе с вами.
Это ровно то расхождение плана с реальностью, при котором я обязан
остановиться. **Я не стал писать конвертер для хранилища паролей ночью.**
### Immich
База 95 МБ на SQL_ASCII. Виртуалка 104 доступна по SSH (порт 22 открыт на
192.168.1.104), но вход по ключу не проходит, а агент гостя не установлен.
Перенос требует либо доступа, либо вашего решения об остановке виртуалки.
### Служебная база `postgres`
Перевести нельзя: PostgreSQL запрещает переименовывать эту базу.
В ней нет таблиц, прикладных данных она не хранит — оставлена как есть.
Предохранитель это поймал и остановил работу без изменений.
---
## 4. Что требует вашего решения
1. **Как переносить файловые базы.** Варианты:
- писать конвертер по одной базе, начиная с самой простой (Grafana),
с проверкой каждой;
- оставить сервисы на файловых базах, обеспечив им резервное копирование;
- переносить выборочно: те, где это даёт пользу.
2. **Immich** — нужен доступ к виртуалке или согласие на её остановку.
3. **Удалять ли 13 копий до переноса** (258 МБ). Они оставлены как откат.
Предлагаю сохранить сутки, затем убрать.
4. **Диск CT 134 (Prometheus) достиг 80%** — обнаружено попутно. Растут
данные мониторинга. Требует настройки хранения.
5. **Проверка отката для новых баз** показала: восстановление работает.
Но проверять его нужно регулярно, а не один раз.
---
## 5. Цифры
| Показатель | До спринта | После |
|---|---|---|
| Баз на UTF8 | 3 из 18 | **15 из 17** |
| Баз с правильной русской локалью | 0 | **15** |
| Старый кластер PostgreSQL 14 | 381 МБ | удалён |
| Мёртвые файловые базы | 99 МБ | убраны в карантин |
| Осиротевшая база gitea | 30 МБ | удалена |
| Свободно в контейнере баз | 5,9 ГБ | **6,1 ГБ** |
| Пул томов | 36,5% | **36,6%** |
---
## 6. Что осталось незавершённым в журнале
Этапы 4 (перенос файловых баз), 5 (двойной Paperless), 6 (Gitea),
7 (Uptime Kuma) — отложены до вашего решения по причине из раздела 3.
Их статус в журнале: ⏸.
Всё, что отмечено ✅, проверено и работает.
Всё, что отмечено ⏸, не тронуто.