1467 lines
78 KiB
Markdown
1467 lines
78 KiB
Markdown
# Журнал ночного спринта
|
||
|
||
**Начат:** 2026-10-14
|
||
**Принцип:** «сделано» означает «проверено». Каждая запись содержит
|
||
не «команда выполнена», а **чем подтверждён результат**.
|
||
|
||
**При остановке** (лимит, ошибка, стоп-условие) состояние таково:
|
||
всё со статусом ✅ работает, всё со статусом ⬜ не тронуто.
|
||
Незавершённых «наполовину» состояний быть не должно.
|
||
|
||
---
|
||
|
||
## Статусы
|
||
|
||
| Знак | Значение |
|
||
|---|---|
|
||
| ⬜ | не начато |
|
||
| 🔄 | выполняется |
|
||
| ✅ | **проверено** — результат подтверждён |
|
||
| ⏸ | отложено (требует решения владельца) |
|
||
| ❌ | не удалось, откачено |
|
||
|
||
---
|
||
|
||
## Этап 1. Уборка безопасного
|
||
|
||
| # | Что | Статус | Подтверждение |
|
||
|---|---|---|---|
|
||
| 1.1 | Мёртвые файловые базы n8n и mealie (99 МБ) | ✅ | карантин, размеры совпали: 102998016 и 1331200 байт; источник убран |
|
||
| 1.2 | Осиротевшая база `gitea` в PostgreSQL (30 МБ) | ✅ | выгрузка 112 таблиц, база удалена |
|
||
| 1.3 | Старый кластер PostgreSQL 14 (381 МБ) | ✅ | выгрузка 14 баз / 1012 таблиц / 323688 строк проверена; все базы есть в рабочем; кластер удалён, освобождено 500 МБ |
|
||
|
||
## Этап 2. Кодировка: образец
|
||
|
||
| # | Что | Статус | Подтверждение |
|
||
|---|---|---|---|
|
||
| 2.1 | `buryan_monitoring` → UTF8 + ICU ru-RU | ✅ | длина «Привет» 6, upper ПРИВЕТ, сортировка true; права выданы явно; бот пишет |
|
||
|
||
## Этап 3. Кодировка: остальные базы
|
||
|
||
| # | База | Размер | Статус | Подтверждение |
|
||
|---|---|---|---|---|
|
||
| 3.1 | headscale | 8 МБ | ✅ | был UTF8 изначально |
|
||
| 3.2 | authentik | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.3 | buryan_hub | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.4 | buryan_monitor | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.5 | authentik_db | 25 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.6 | gitea | 30 МБ | ⏸ | переносится на этапе 6 |
|
||
| 3.7 | firefly_db | 11 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.8 | mealie_db | 12 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.9 | nextcloud_db | 17 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.10 | paperless_db | 20 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.11 | n8n_prod | 14 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.12 | n8n_central | 17 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.13 | n8n | 87 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||
| 3.14 | immich_db | 95 МБ | ⏸ | требует доступа к виртуальной машине либо вашего решения |
|
||
|
||
## Этап 4. Перенос файловых баз
|
||
|
||
| # | Сервис | Размер | Статус | Подтверждение |
|
||
|---|---|---|---|---|
|
||
| 4.1 | Vaultwarden | 288 КБ | ⬜ | — |
|
||
| 4.2 | Grafana | 1,5 МБ | ⬜ | — |
|
||
| 4.3 | Sonarr | 3,2 МБ | ⬜ | — |
|
||
| 4.4 | Radarr | 2,0 МБ | ⬜ | — |
|
||
| 4.5 | Prowlarr | 368 КБ | ⬜ | — |
|
||
| 4.6 | Bazarr | 364 КБ | ⬜ | — |
|
||
|
||
## Этап 5. Двойной Paperless
|
||
|
||
| # | Что | Статус | Подтверждение |
|
||
|---|---|---|---|
|
||
| 5.1 | Разбор двух развёртываний | ⬜ | — |
|
||
| 5.2 | Перенос оставшегося экземпляра | ⬜ | — |
|
||
|
||
## Этап 6. Gitea
|
||
|
||
| # | Что | Статус | Подтверждение |
|
||
|---|---|---|---|
|
||
| 6.1 | Выгрузка и снимок | ⬜ | — |
|
||
| 6.2 | Перенос базы на UTF8 | ⬜ | — |
|
||
| 6.3 | Проверка: репозитории, пользователи, вход | ⬜ | — |
|
||
|
||
## Этап 7. Uptime Kuma
|
||
|
||
| # | Что | Статус | Подтверждение |
|
||
|---|---|---|---|
|
||
| 7.1 | Перенос 160 МБ | ⬜ | — |
|
||
|
||
## Этап 8. Проверка восстановления
|
||
|
||
| # | Что | Статус | Подтверждение |
|
||
|---|---|---|---|
|
||
| 8.1 | Восстановление копии базы и сверка | ⬜ | — |
|
||
|
||
## Этап 9. Отчёт
|
||
|
||
| # | Что | Статус | Подтверждение |
|
||
|---|---|---|---|
|
||
| 9.1 | Итоговый отчёт | ⬜ | — |
|
||
|
||
---
|
||
|
||
## Журнал событий
|
||
|
||
Записи добавляются по ходу, после каждого значимого шага.
|
||
|
||
```
|
||
[начало] Аудит завершён: откат проверен по трём механизмам.
|
||
Пул 36,5%, копии целы, 28 сервисов без замечаний.
|
||
```
|
||
[19:42:29] buryan_hub ->
|
||
[19:42:42] buryan_monitor ->
|
||
[19:43:27] firefly_db ->
|
||
[19:43:43] mealie_db ->
|
||
[19:44:25] nextcloud_db -> UTF8=UTF8
|
||
[19:45:00] paperless_db -> UTF8=UTF8
|
||
[19:45:25] n8n_prod -> UTF8=UTF8
|
||
[19:45:39] n8n_central -> UTF8=UTF8
|
||
[19:45:56] n8n -> UTF8=UTF8
|
||
[19:46:45] authentik_db переведена
|
||
[19:46:56] authentik переведена
|
||
|
||
```
|
||
[19:34] Этап 1 завершён. Карантин: n8n 98 МБ, mealie 1,3 МБ, осиротевшая gitea,
|
||
выгрузка кластера 14. Освобождено 500 МБ в контейнере баз.
|
||
|
||
[19:36] ЭТАП 2, ПЕРВАЯ ПОПЫТКА — ОШИБКА.
|
||
Имя для старой базы содержало дефис, PostgreSQL прочитал его как
|
||
вычитание, переименование не произошло. Я поверил выводу команды
|
||
вместо проверки каталога, и загрузка пошла в ту же базу.
|
||
Данные НЕ пострадали (56 сообщений «уже существует»).
|
||
Урок: проверять результат по каталогу, а не по выводу команды.
|
||
|
||
[19:37] ЭТАП 2 ИСПРАВЛЕН И ЗАВЕРШЁН.
|
||
buryan_monitoring переведена: длина «Привет» 6, upper ПРИВЕТ,
|
||
сортировка true. Но обнаружено, что локаль C недостаточна:
|
||
регистр и сортировка для русского не работают. Проверены варианты
|
||
на тестовых базах, выбран ICU ru-RU.
|
||
|
||
[19:40] ОБНАРУЖЕНА ПОТЕРЯ ПРАВ У БОТА после пересоздания базы.
|
||
Восстановление по снимку information_schema оказалось неполным.
|
||
Исправлено: права выдаются ЯВНО на всю схему, а не по снимку.
|
||
|
||
[19:41-19:46] ЭТАП 3. Переведены 12 баз, каждая с проверкой состава таблиц
|
||
и русского текста. Службы останавливались на время переноса
|
||
и запускались обратно.
|
||
|
||
[19:47] ОБНАРУЖЕНО: у 10 баз потерян владелец — при пересоздании
|
||
я назначал владельцем postgres вместо роли сервиса.
|
||
Проявилось на Authentik: воркер не смог применить миграцию.
|
||
Исправлено: владельцы возвращены из копий до переноса.
|
||
|
||
[19:51] ЭТАП 3 ПРОВЕРЕН:
|
||
— 15 баз из 17 переведены на UTF8 с русской локалью;
|
||
— владельцы восстановлены у всех;
|
||
— Authentik: сервер и воркер 200;
|
||
— n8n, Nextcloud, Mealie, Paperless, Firefly работают;
|
||
— запись от исполнителя обновлений и от бота проходит;
|
||
— мониторинг: 29 из 29 целей.
|
||
|
||
Остались: immich_db (виртуалка, нужен доступ или решение владельца)
|
||
и служебная postgres.
|
||
```
|
||
|
||
## Найденные дефекты процесса
|
||
|
||
| # | Что | Как обнаружен | Исправление |
|
||
|---|---|---|---|
|
||
| 1 | Дефис в имени базы ломает переименование | сработала проверка состава таблиц | имена без дефисов + проверка по каталогу |
|
||
| 2 | Восстановление прав по снимку неполное | бот не смог записать | права выдаются явно на всю схему |
|
||
| 3 | Владелец базы теряется при пересоздании | воркер Authentik не запустился | владелец берётся из копии |
|
||
| 4 | Локаль C недостаточна для русского | проверка регистра и сортировки | ICU ru-RU |
|
||
[19:52:34] postgres переведена
|
||
[19:52:35] immich: требуется доступ к виртуалке или решение владельца
|
||
[19:52:40] проверка восстановления: таблицы 9=9, очередь 6=6 — совпало
|
||
|
||
---
|
||
|
||
## Случай: ложный успех в моей собственной проверке (Grafana)
|
||
|
||
**Что делалось.** Образец переноса файловой базы Grafana в PostgreSQL —
|
||
отработка метода на сервисе с низкой ценой ошибки.
|
||
|
||
**Точка отката была создана и сработала:**
|
||
- снимок контейнера `pre-grafana-pg-20261014_201346`;
|
||
- копия файловой базы в карантине (132 КБ, архив проверен);
|
||
- копия конфигурации до правок.
|
||
|
||
**Что произошло.** Скрипт получил список таблиц файловой базы — и он
|
||
оказался **пустым**, потому что в CT 113 не установлен `sqlite3`.
|
||
Дальше проверка полноты сравнила ноль строк с нулём строк по нулю таблиц
|
||
и **сообщила: «ПЕРЕНОС ПОЛНЫЙ, все таблицы совпадают»**.
|
||
|
||
```
|
||
таблиц: 0
|
||
таблиц загружено: 0, с ошибками: 0
|
||
совпало таблиц: 0, расхождений: 0
|
||
✅ ПЕРЕНОС ПОЛНЫЙ
|
||
```
|
||
|
||
**Это тот же ложный успех, который мы весь день ищем** — только теперь
|
||
в моём собственном коде: проверка проходит, когда проверять нечего.
|
||
|
||
**Что спасло.** Я посмотрел на цифры, а не на галочку: ноль таблиц при
|
||
заявленном успехе — противоречие. Дальнейшая проверка показала, что
|
||
Grafana действительно подключилась к PostgreSQL (4 соединения от
|
||
192.168.1.113), выполнила свои миграции, но схема осталась пустой.
|
||
|
||
**Возврат выполнен полностью:**
|
||
- конфигурация восстановлена из копии;
|
||
- контейнер пересоздан;
|
||
- проверено: health `ok`, **5 дэшбордов на месте**, файловая база цела
|
||
(1,5 МБ), переменных базы в контейнере — 0;
|
||
- тестовая база и роль удалены из PostgreSQL.
|
||
|
||
**Вывод, который надо закрепить в правилах:**
|
||
|
||
> Если сравнивать нечего — это ОШИБКА, а не успех.
|
||
> Проверка обязана падать, когда список проверяемых объектов пуст.
|
||
|
||
**Что исправлено:**
|
||
1. в проверку полноты добавлено условие: пустой список объектов — провал;
|
||
2. перед переносом проверяется наличие инструментов чтения файловой базы;
|
||
3. в точку отката добавлена запись контрольной суммы файловой базы,
|
||
чтобы после возврата доказать, что файл не изменился.
|
||
|
||
**Состояние Grafana:** работает как прежде, на файловой базе, данные целы.
|
||
|
||
---
|
||
|
||
## Образец переноса Grafana: результат
|
||
|
||
**Попыток: три. Итог: возврат к файловой базе, данные целы.**
|
||
|
||
### Что выяснилось по ходу
|
||
|
||
| # | Препятствие | Суть |
|
||
|---|---|---|
|
||
| 1 | Проверка выдала ложный успех | список таблиц был пуст (нет `sqlite3`), сравнение пустоты прошло как успех |
|
||
| 2 | Файлы данных не видны из контейнера баз | CSV создавались на хосте, `psql` работает внутри контейнера |
|
||
| 3 | Служба создаёт начальные записи | Grafana при первом запуске создаёт роли, организацию, пользователя — они конфликтуют с переносимыми по уникальным ключам |
|
||
| 4 | **Двоичные данные** | `cache_data` и `data_keys` не проходят как текст: `invalid byte sequence for encoding UTF8` |
|
||
| 5 | **Схема Grafana 12 не совпадает с файловой** | дэшборды живут в таблице `resource` (единое хранилище), а не в `dashboard` |
|
||
|
||
### Итог проверки полноты
|
||
|
||
```
|
||
таблиц совпало: 22
|
||
расхождений: 8 — включая user (1 вместо 2), resource (0 вместо 1),
|
||
data_keys (0 вместо 9 — ключи шифрования)
|
||
```
|
||
|
||
**Частичный перенос опаснее отказа:** служба запускается, но данные потеряны.
|
||
Поэтому выполнен **возврат**:
|
||
|
||
- конфигурация восстановлена, упоминаний PostgreSQL — 0;
|
||
- контейнер пересоздан, health `ok`;
|
||
- **5 дэшбордов и 5 пользователей на месте**;
|
||
- файловая база используется, данные целы;
|
||
- тестовая база и роль удалены из PostgreSQL.
|
||
|
||
### Вывод для дальнейшей работы
|
||
|
||
Перенос Grafana **возможен, но требует отдельной проработки** трёх вещей:
|
||
|
||
1. **двоичные данные** — выгружать не как CSV, а как шестнадцатеричные литералы
|
||
(`X'...'` в SQLite → `'\x...'::bytea` в PostgreSQL);
|
||
2. **начальные записи службы** — очищать таблицы после создания схемы
|
||
и до загрузки, при этом не запуская службу между очисткой и загрузкой;
|
||
3. **несовпадение схемы** — версия Grafana 12 хранит дэшборды в едином
|
||
хранилище (`resource`, `resource_history`), копирование только таблицы
|
||
`dashboard` не даёт результата.
|
||
|
||
Это не тупик, а конкретный список работ. Тот же список нужно составить
|
||
для каждого следующего сервиса **до** попытки переноса.
|
||
|
||
---
|
||
|
||
## ✅ ПЕРЕНОС GRAFANA ЗАВЕРШЁН (15.10.2026)
|
||
|
||
**Результат:** Grafana работает на центральной PostgreSQL.
|
||
|
||
```
|
||
таблиц с данными: 28 из 28 — совпали по числу строк
|
||
ошибок загрузки: 0
|
||
двоичные ключи: 9 из 9, содержимое совпадает ПОБАЙТОВО (52 байта)
|
||
дэшборды: 5 пользователи: 5 источники: 5
|
||
подключений к PostgreSQL от Grafana: 4
|
||
```
|
||
|
||
### Как проверялось
|
||
|
||
Не «служба запустилась», а четыре независимые проверки:
|
||
|
||
1. **Число строк по каждой таблице** — 28 таблиц, расхождений нет.
|
||
2. **Содержимое двоичных полей** — 9 ключей шифрования сверены побайтово
|
||
с файловой базой.
|
||
3. **Данные внутри базы** — в таблице `resource` лежит дэшборд
|
||
`buryan-health` вместе с содержимым (`{"kind":"Dashboard",...}`).
|
||
4. **Подключения** — 4 соединения от 192.168.1.113 под ролью `grafana_user`.
|
||
|
||
Отдельно отмечу: API Grafana возвращает имена дэшбордов пустыми, потому что
|
||
запрос идёт без входа. Это свойство API, а не потеря данных — содержимое
|
||
проверено напрямую в базе.
|
||
|
||
### Четыре ошибки, найденные и исправленные по ходу
|
||
|
||
| # | Ошибка | Как проявилась |
|
||
|---|---|---|
|
||
| 1 | Пустой файл команд засчитан как загрузка | `psql` на пустом файле возвращает успех |
|
||
| 2 | Сдвиг полей при разборе строки средствами bash | scope получал значение active; генерацию перевели на awk |
|
||
| 3 | Выражение выборки начиналось с разделителя | «SELECT || coalesce(...)» — синтаксическая ошибка |
|
||
| 4 | **Несовпадение типов** | в файловой базе `active` целое 0/1, PostgreSQL создаёт его ЛОГИЧЕСКИМ; типы теперь берутся из PostgreSQL |
|
||
| 5 | Одинарные кавычки для имён столбцов | в SQL имена требуют двойных |
|
||
| 6 | `grep -c` возвращает код 1 при нуле совпадений | «\|\| echo 0» добавлял второй ноль, и вердикт ложно проваливался при успешной загрузке |
|
||
|
||
### Главное открытие метода
|
||
|
||
**Контейнер службы нужно УДАЛЯТЬ на время загрузки, а не просто
|
||
останавливать.** Проверка «служба остановлена» показывала `exited`, но
|
||
Grafana поднималась снова и перезаписывала перенос своими начальными
|
||
данными: роли 115 → 7, пользователь 2 → 1. Пока контейнера нет — писать
|
||
некому, и совпадение стало 28 из 28.
|
||
|
||
### Исправленные инструменты (в ops/scripts)
|
||
|
||
- `migrate-grafana-v2.sh` — перенос со всеми предохранителями;
|
||
- `load-blob-table.sh` — загрузка таблиц с двоичными полями,
|
||
с учётом типов PostgreSQL и побайтовой сверкой.
|
||
|
||
### Порядок для следующих сервисов (проверен на Grafana)
|
||
|
||
1. Разведка: таблицы, строки, **двоичные поля**, где лежат ключевые данные.
|
||
2. Точка отката: снимок, копия базы, копия конфигурации.
|
||
3. Дать службе создать схему в PostgreSQL.
|
||
4. **Удалить контейнер**, очистить таблицы, не давая службе перезапуститься.
|
||
5. Загрузить: текст — через CSV, двоичные — через hex с учётом типов.
|
||
6. Проверять: число строк по каждой таблице, содержимое двоичных полей.
|
||
7. Запустить службу, проверить через API и напрямую в базе.
|
||
|
||
---
|
||
|
||
## ✅ ПЕРЕНОС МЕДИА-СЕРВИСОВ ЗАВЕРШЁН (15.10.2026)
|
||
|
||
**Prowlarr, Sonarr, Radarr переведены на центральную PostgreSQL.**
|
||
|
||
| Сервис | Совпало таблиц | Ключевые данные | Версия через API |
|
||
|---|---|---|---|
|
||
| Prowlarr | **6 из 6** | без расхождений | 2.6.5.5623 |
|
||
| Sonarr | 9 из 10 | SceneMappings 15 992 = 15 992 | 4.0.20.3014 |
|
||
| Radarr | 9 из 10 | QualityDefinitions 30 = 30 | 6.4.4.10685 |
|
||
|
||
Расхождение только в служебной таблице `Commands` — служба обрабатывает
|
||
её на ходу. Отсутствие сериалов и фильмов — **не потеря**: в файловых
|
||
базах их тоже ноль, службы просто не были наполнены.
|
||
|
||
### Главное, что выяснилось
|
||
|
||
**У медиа-сервисов нельзя очищать таблицу версий миграций (`VersionInfo`).**
|
||
|
||
Первая попытка выглядела успешной по числу строк, но все три службы
|
||
падали при запуске:
|
||
|
||
```
|
||
FluentMigrator ... MigrationController.Migrate
|
||
DbFactory.CreateMain — Non-recoverable failure, waiting for user intervention
|
||
```
|
||
|
||
Служба по таблице `VersionInfo` понимает, какие миграции уже применены.
|
||
После её очистки служба пыталась применить миграции заново и падала,
|
||
потому что таблицы уже существуют. **Схему ведёт FluentMigrator, и его
|
||
служебные таблицы очищать нельзя** — в отличие от Grafana, где служба
|
||
пересоздаёт состояние сама.
|
||
|
||
### Вторая находка: остатки обновлений держат порты
|
||
|
||
Prowlarr не мог запуститься, потому что порт 9696 занимал контейнер
|
||
`prowlarr-old-20261014-175122` — временный контейнер от вчерашнего
|
||
обновления, который должен был удалиться после проверки.
|
||
|
||
Во флоте таких нашлось **13** (calibre-web, freshrss, openclaw, plex,
|
||
sonarr, radarr, prowlarr, bazarr, overseerr, tautulli, navidrome, linkding,
|
||
prometheus, syncthing). Работающие остановлены — порты освобождены.
|
||
**Это дефект механизма обновления:** временный контейнер нужно
|
||
останавливать сразу после успешной проверки новой версии.
|
||
|
||
### Третья находка: проверка «контейнер запущен» бесполезна
|
||
|
||
Первая попытка объявила успех по состоянию контейнера, а приложения
|
||
внутри падали. Теперь проверка обязательно включает **ответ через API**:
|
||
версия читается — значит, приложение действительно работает.
|
||
|
||
### Инструмент
|
||
|
||
`ops/scripts/migrate-arr.sh` — перенос медиа-сервисов: точка отката,
|
||
разведка, схема от службы, удаление контейнера, загрузка с сохранением
|
||
таблиц миграций, проверка по каждой таблице.
|
||
|
||
---
|
||
|
||
## ✅ VAULTWARDEN ПЕРЕНЕСЁН НА POSTGRESQL (15.10.2026)
|
||
|
||
**Хранилище паролей переведено на центральную PostgreSQL.**
|
||
|
||
```
|
||
пользователи: 2
|
||
записи хранилища: 12
|
||
устройства: 6
|
||
подключений к PostgreSQL: 4 (роль vaultwarden_user, 192.168.1.109)
|
||
служба: 200, страница входа отвечает
|
||
```
|
||
|
||
### Как проверялось
|
||
|
||
Не «контейнер запущен», а сверка содержимого:
|
||
|
||
| Проверка | Результат |
|
||
|---|---|
|
||
| Хеши паролей (2 пользователя) | **совпадают** по 64 знака |
|
||
| Соли | **совпадают** по 128 знаков |
|
||
| Размер каждой из 12 записей | **совпадает байт в байт** |
|
||
| Суммарный объём записей | файл 7715 = база 7715 |
|
||
| Файловая база | не изменялась с 12.10 — запись идёт в PostgreSQL |
|
||
|
||
Хранилище зашифровано на стороне клиента, поэтому записи проверены
|
||
по объёму и количеству — прочитать их нельзя ни у меня, ни на сервере.
|
||
|
||
### Четыре препятствия и что они дали
|
||
|
||
| # | Препятствие | Суть |
|
||
|---|---|---|
|
||
| 1 | Переменная попала не в ту службу | в файле четыре службы (db, nextcloud, vaultwarden, files_net), а вставка шла в первый блок environment — у службы db. Переменная теперь ставится **строго по имени службы** |
|
||
| 2 | Проверка связей между таблицами | `ciphers` ссылается на `users`, и при неудаче `users` валилось всё зависимое. Теперь при загрузке `session_replication_role = replica` — порядок загрузки перестал быть важен |
|
||
| 3 | Ложное расхождение по ключу | сверка искала строку по столбцу `name`, которого в `users` нет — ключ называется `uuid`. Данные были на месте, а проверка сообщала о потере. Теперь ключевой столбец берётся из первичного ключа |
|
||
| 4 | Ложное расхождение по регистру | `hex()` в файловой базе даёт ЗАГЛАВНЫЕ буквы, `encode(...,'hex')` в PostgreSQL — строчные. Сравнение идёт в одном регистре |
|
||
|
||
**Три из четырёх — это ошибки проверки, а не переноса.** Данные
|
||
переносились правильно, а инструмент сообщал о потере. Отсюда правило:
|
||
если проверка говорит о расхождении, сначала проверь саму проверку.
|
||
|
||
### Правило о служебных таблицах (уточнено)
|
||
|
||
Служебные таблицы версий миграций **сохраняются** при очистке:
|
||
|
||
| Служба | Таблица |
|
||
|---|---|
|
||
| Vaultwarden | `__diesel_schema_migrations` |
|
||
| Sonarr, Radarr, Prowlarr | `VersionInfo` |
|
||
| Paperless, Bazarr | `alembic_version` |
|
||
|
||
Их нельзя ни очищать, ни переносить: по ним служба понимает, какие
|
||
миграции уже применены.
|
||
|
||
---
|
||
|
||
## ✅ BAZARR ПЕРЕНЕСЁН НА POSTGRESQL (15.10.2026)
|
||
|
||
```
|
||
таблиц с данными: 3 из 3 — совпали
|
||
настройки языков: 187
|
||
настройки увеличений: 129
|
||
ответ службы: 200
|
||
```
|
||
|
||
Bazarr переключается флагом `postgresql.enabled` в `config.yaml`.
|
||
Схему создаёт сам через Alembic; её служебная таблица `alembic_version`
|
||
сохранена, как и положено.
|
||
|
||
### Пятое правило проверки
|
||
|
||
**Состояние контейнера «running» не означает готовности службы.**
|
||
Bazarr (Python/waitress) поднимает веб-сервер через 60–90 секунд, и первая
|
||
попытка была откачена из-за ложного отказа: контейнер работал, а служба
|
||
ещё не отвечала. Теперь готовность определяется **ответом 200**, а не
|
||
статусом контейнера.
|
||
|
||
Общий список правил проверки, накопленный за спринт:
|
||
|
||
| # | Правило | На чём выяснено |
|
||
|---|---|---|
|
||
| 1 | Пустой список объектов — это ПРОВАЛ, а не успех | Grafana: сравнили пустоту с пустотой |
|
||
| 2 | Проверять результат по каталогу, а не вывод команды | переименование базы с дефисом |
|
||
| 3 | Контейнер службы УДАЛЯТЬ на время загрузки | Grafana перезаписывала перенос |
|
||
| 4 | Таблицы миграций не очищать и не переносить | *arr: падение FluentMigrator |
|
||
| 5 | Готовность = ответ службы, а не статус контейнера | Bazarr: 60–90 секунд до ответа |
|
||
| 6 | Ключевой столбец брать из первичного ключа | Vaultwarden: сверка искала `name` |
|
||
| 7 | Сравнивать в одном регистре | Vaultwarden: `hex` против `encode` |
|
||
| 8 | Расхождение — сначала проверь саму проверку | три ложных расхождения за спринт |
|
||
|
||
---
|
||
|
||
## ✅ GITEA ПЕРЕНЕСЁН НА POSTGRESQL (15.10.2026)
|
||
|
||
**Система контроля версий работает на центральной PostgreSQL.**
|
||
|
||
```
|
||
таблиц с данными: 33 из 33 — совпали, ошибок 0
|
||
пользователи: 4 репозитории: 5
|
||
задачи: 343 комментарии: 697
|
||
метки: 22 ключи доступа: 8
|
||
выпуски: 2 версия схемы: 358
|
||
подключений к PostgreSQL: 2 (роль gitea_user, 192.168.1.140)
|
||
версия через API: 28.1.0
|
||
```
|
||
|
||
### Главное: репозитории НЕ ТРОНУТЫ
|
||
|
||
Перед переносом снята опись всех репозиториев — имена, размеры,
|
||
последние коммиты. После переноса она сверена:
|
||
|
||
```
|
||
репозиториев до: 2514
|
||
репозиториев после: 2514
|
||
✅ имена, размеры и последние коммиты совпадают
|
||
```
|
||
|
||
**Сами репозитории лежат на диске (`/data/git/repositories`, 706 МБ),
|
||
а не в базе.** Перенос базы их не касается — это и было главной
|
||
страховкой.
|
||
|
||
### Два исключения, оба осознанные
|
||
|
||
| Что | Почему | Как вернуть |
|
||
|---|---|---|
|
||
| `webhook` — 2 записи | разбор CSV даёт сдвиг значений между колонками (текст попадает в логическое поле) | вручную в Gitea: репозиторий buryan-infra → Настройки → Веб-хуки → `http://192.168.1.108:5680/webhook/gitea-task`, метод POST, события push |
|
||
| `notification` — 167 | ЖИВАЯ таблица уведомлений, служба ведёт её сама (как Commands и Logs у медиа-сервисов) | не требуется |
|
||
|
||
Содержимое веб-хуков сохранено в карантине: `webhook-records.csv`.
|
||
|
||
### Шестое правило проверки
|
||
|
||
**«Контейнер запущен» и «API отвечает» — ещё не значит, что служба
|
||
работает с данными.** Решающая проверка Gitea — не версия через API,
|
||
а **запись в репозиторий**: коммит и отправка прошли, значит база
|
||
обслуживает систему контроля версий.
|
||
|
||
### Итог по всем базам
|
||
|
||
| Сервис | База | Как проверено |
|
||
|---|---|---|
|
||
| Gitea | 16 МБ | 33 таблицы, опись 2514 репозиториев, коммит и отправка |
|
||
| Grafana | 14 МБ | 28 таблиц, ключи байт в байт |
|
||
| Vaultwarden | 8,8 МБ | хеши, соли, 12 записей байт в байт |
|
||
| Sonarr | 14 МБ | 9 из 10 |
|
||
| Radarr | 11 МБ | 9 из 10 |
|
||
| Prowlarr | 9 МБ | 6 из 6 |
|
||
| Bazarr | 8,8 МБ | 3 из 3 |
|
||
| Paperless | 18 МБ | уже был на PostgreSQL |
|
||
|
||
**Все службы, поддерживающие PostgreSQL, переведены на центральную базу.**
|
||
Осталась Uptime Kuma — её версия 1.23.17 PostgreSQL не поддерживает.
|
||
|
||
---
|
||
|
||
## ✅ СПРАВОЧНИК КОМАНД И ПЕРЕВОД БОТА В MATRIX (15.10.2026)
|
||
|
||
### 1. Справочник команд — команды больше не в голове
|
||
|
||
Создан **единственный источник правды**: `ops/bots/commands.yaml`.
|
||
Из него генерируется всё: справка `/help` для каждого бота и общий
|
||
справочник `docs/COMMANDS.md` в репозитории.
|
||
|
||
```
|
||
ops/bots/commands.yaml ← правим только здесь
|
||
↓ gen_help.py
|
||
├── /help в каждом боте (только его команды)
|
||
├── /help <команда> (подробно: вызов, примеры, доступ)
|
||
├── опечатка → «возможно, вы имели в виду /status?»
|
||
└── docs/COMMANDS.md (общий справочник в Gitea)
|
||
```
|
||
|
||
**28 команд, 5 ботов.** Добавить команду = добавить запись в справочник.
|
||
|
||
Генератор работает **без внешних библиотек**: если PyYAML нет —
|
||
используется встроенный разбор. Проверено, справка формируется в обоих случаях.
|
||
|
||
### 2. Бот подключён к справочнику
|
||
|
||
Зашитая в код справка (четыре строки) заменена вызовом генератора.
|
||
Проверено внутри контейнера: `из справочника: True`, длина 444 знака.
|
||
Если справочник недоступен — бот возвращается к прежнему тексту и
|
||
продолжает работать.
|
||
|
||
Копия исходного файла: `/app/bot.py.before-help`.
|
||
|
||
### 3. Найдена и устранена причина таймаутов Matrix
|
||
|
||
В журнале бота было **74 предупреждения `Timed out`** от Matrix-клиента.
|
||
|
||
**Причина:** бот обращается к Matrix по публичному адресу, а в его
|
||
окружении задан `HTTP_PROXY` — тот самый, что нужен для обхода
|
||
блокировок Telegram. Matrix стоит **в соседнем контейнере**
|
||
(192.168.1.155), и ходить к нему через внешний прокси не нужно.
|
||
|
||
**Исправление:** адрес Matrix добавлен в `NO_PROXY`.
|
||
|
||
**Результат: таймаутов 74 → 0**, в журнале появилось
|
||
**«Matrix-слушатель запущен»**, события из комнат обрабатываются.
|
||
|
||
Это важный вывод на будущее: **внутренние службы не должны ходить
|
||
через прокси, предназначенный для внешнего доступа.**
|
||
|
||
### 4. Что это даёт
|
||
|
||
| Было | Стало |
|
||
|---|---|
|
||
| справка из четырёх строк в коде | справочник из 28 команд, генерируется |
|
||
| команды надо помнить | `/help` показывает, `/help <команда>` объясняет |
|
||
| опечатка ничего не подсказывает | подсказка похожей команды |
|
||
| Matrix-связь таймаутила | 0 таймаутов, слушатель работает |
|
||
| всё в одном боте | разделение на 5 ботов описано в справочнике |
|
||
|
||
---
|
||
|
||
## ✅ РАЗДЕЛЕНИЕ БОТОВ В MATRIX (15.10.2026)
|
||
|
||
Созданы **5 отдельных ботов**, у каждого свой аккаунт и **своя комната**.
|
||
Это и есть устранение «салата»: в комнате тревог — только тревоги,
|
||
в комнате обновлений — только обновления.
|
||
|
||
| Бот | Аккаунт | Комната | Назначение |
|
||
|---|---|---|---|
|
||
| ADM | `@bot_adm` | `!sDukykCHyLqGYtQKxM` | состояние и перезапуски |
|
||
| WORK | `@bot_work` | `!rCnjnPEBkOMupcSoRf` | обновления и задачи |
|
||
| **ALERT** | `@bot_alert` | `!CrMTfxqlwSTAAFTrVd` | **только тревоги** |
|
||
| AUTH | `@bot_auth` | `!onCYnxVDmqbnsNvcWH` | доступ и регистрация |
|
||
| MEDIA | `@bot_media` | `!PDfGtATzsaXhOqJrCv` | медиасервисы |
|
||
|
||
**Проверено:** каждый из пяти ботов отправил сообщение в свою комнату —
|
||
5 из 5. Комнаты без сквозного шифрования: это машинные сообщения,
|
||
а не переписка людей.
|
||
|
||
Настройки с ключами — `/root/.buryan-bots-matrix.env`, права 600,
|
||
в репозиторий не попадает.
|
||
|
||
### Слой уведомлений переведён на бота ALERT
|
||
|
||
Раньше тревоги шли от административного бота в общую комнату.
|
||
Теперь — **от бота ALERT в его комнату**. Проверено отправкой:
|
||
сообщение доставлено, отправитель — `@bot_alert`.
|
||
|
||
Это важно не для красоты: когда тревоги и задачи в разных комнатах,
|
||
тревогу **видно сразу**, её не теряют среди рабочих сообщений.
|
||
|
||
---
|
||
|
||
## ✅ КОМАНДЫ ОБНОВЛЕНИЯ В MATRIX (15.10.2026)
|
||
|
||
Добавлены команды, доступные прямо из Matrix:
|
||
|
||
| Команда | Что делает |
|
||
|---|---|
|
||
| `/queue` | очередь обновлений с номерами заявок и состоянием |
|
||
| `/approve НОМЕР` | одобрить обновление |
|
||
| `/reject НОМЕР` | отклонить обновление |
|
||
| `/help [команда]` | справка из общего справочника |
|
||
|
||
**Закрыт пробел в безопасности:** раньше в Matrix **не было проверки
|
||
прав вообще** — команду `/restart` мог вызвать любой участник комнаты.
|
||
Введён список администраторов Matrix; изменение состояния служб доступно
|
||
только им.
|
||
|
||
### Найдены и устранены ДВА серьёзных препятствия
|
||
|
||
**1. Правки кода терялись при пересоздании контейнера.**
|
||
Код бота собирается в образ. Я правил файл внутри контейнера, а
|
||
`docker compose up --force-recreate` возвращал исходную версию — так
|
||
дважды пропали и справка, и команды.
|
||
|
||
Собрать образ заново **невозможно: нет доступа к Docker Hub**
|
||
(`registry-1.docker.io — i/o timeout`). Поэтому код перенесён на хост
|
||
и **подключён в контейнер**: `/opt/automation-lxc/telegram-admin-bot/`
|
||
`bot.py`, `commands.yaml`, `gen_help.py`. Теперь правки сохраняются
|
||
при любом пересоздании.
|
||
|
||
**2. Matrix снова начал таймаутить.**
|
||
Оказалось, настройки окружения лежат **не в файле compose, а в `.env`**.
|
||
Прошлая правка `NO_PROXY` при восстановлении конфигурации пропала.
|
||
Исключение добавлено в правильный файл:
|
||
|
||
```
|
||
NO_PROXY=...192.168.1.155... (Matrix в соседнем контейнере)
|
||
```
|
||
|
||
### Главный вывод
|
||
|
||
**Telegram не отвечает: `TelegramNetworkError: Request timeout error`.**
|
||
Это уже не риск, а факт — подтверждается журналами. Именно поэтому
|
||
перевод в Matrix сделан вовремя: канал, на который мы опирались,
|
||
**фактически перестал работать**.
|
||
|
||
### Проверено
|
||
|
||
```
|
||
функций в коде: 4 из 4
|
||
справка из справочника: да
|
||
слушатель Matrix: запущен
|
||
таймаутов Matrix: 0
|
||
```
|
||
|
||
---
|
||
|
||
## ✅ КОМАНДЫ ОБНОВЛЕНИЯ В MATRIX ПРОВЕРЕНЫ ЖИВЬЁМ (15.10.2026)
|
||
|
||
Проверено не по коду, а по фактическим ответам в комнате:
|
||
|
||
| Команда | Ответ бота |
|
||
|---|---|
|
||
| `/help` | справка из справочника: «ADM — Управление службами и состояние инфраструктуры» |
|
||
| `/queue` | **«Очередь обновлений»**: №17 неудача, №13 отменено, №10 выполнено, №8, №4, №3 |
|
||
| `/approve 99` | «Недостаточно прав для этого действия» |
|
||
| `/statsu` | «Неизвестная команда» (подсказка требует доработки) |
|
||
|
||
**`/queue` действительно читает очередь из базы** — в ответе видны
|
||
настоящие заявки с их состояниями.
|
||
|
||
**Проверка прав работает:** бот ADM одобрять не может, право только
|
||
у администратора Matrix. До этой правки команду `/restart` мог вызвать
|
||
**любой участник комнаты**.
|
||
|
||
### Замечание
|
||
|
||
При опечатке бот отвечает «Неизвестная команда» вместо подсказки
|
||
похожей команды. Причина выясняется; на работу команд не влияет.
|
||
|
||
---
|
||
|
||
## ТОЧКА ПРИЁМА УВЕДОМЛЕНИЙ (15.10.2026)
|
||
|
||
**Выяснено:** остальные «боты» — не отдельные боты, а **рабочие
|
||
процессы n8n**, которые шлют в Telegram. Активных семь:
|
||
|
||
| Процесс | Токен |
|
||
|---|---|
|
||
| Alert Queue Processor | ALERT |
|
||
| Prometheus/Grafana Alert Webhook | ALERT |
|
||
| Uptime Kuma → Gitea Self-Healing | ALERT |
|
||
| F6-2: Self-Service Registration | AUTH |
|
||
| F6-3: Version Watch Handler | ADM |
|
||
| Gitea Task Dispatcher | есть Telegram |
|
||
| Buryan Health Monitor | — |
|
||
|
||
**Matrix не использует ни один.** Токены WORK и MEDIA не задействованы
|
||
вовсе — эти боты не разворачивались.
|
||
|
||
### Что построено
|
||
|
||
Один адрес, куда любой процесс может послать сообщение:
|
||
|
||
```
|
||
POST http://192.168.1.10:8099/notify
|
||
{"text": "...", "source": "имя процесса", "bot": "alert|auth|work|adm|media"}
|
||
↓
|
||
notify.send() → Matrix (основной) + Telegram (зеркало)
|
||
```
|
||
|
||
Разным процессам — **разные боты**: тревоги уходят от ALERT в комнату
|
||
тревог, сообщения о доступе — от AUTH в комнату доступа. Это и есть
|
||
разделение по задачам.
|
||
|
||
Служба: `buryan-notify.service`, запускается автоматически,
|
||
журнал `/var/log/buryan-notify.log`.
|
||
|
||
---
|
||
|
||
## ТОЧКА ПРИЁМА ПОНИМАЕТ ФОРМАТ TELEGRAM (15.10.2026)
|
||
|
||
Чтобы переключить процессы n8n **минимальной правкой**, точка приёма
|
||
теперь принимает тот же запрос, что и Telegram:
|
||
|
||
```
|
||
БЫЛО: https://api.telegram.org/bot{{ТОКЕН}}/sendMessage
|
||
СТАЛО: http://192.168.1.10:8099/bot{{ТОКЕН}}/sendMessage
|
||
```
|
||
|
||
Поля `chat_id`, `text`, `parse_mode` остаются прежними, ответ приходит
|
||
в том же виде (`{"ok": true, ...}`). **Логика процессов не меняется —
|
||
меняется только адрес.**
|
||
|
||
Бот определяется **по токену автоматически**: тревоги уходят от ALERT
|
||
в комнату тревог, сообщения о доступе — от AUTH в комнату доступа.
|
||
|
||
### Проверено
|
||
|
||
```
|
||
тревога (токен ALERT) → {"ok": true, "routed": {"delivered": true}} → @bot_alert
|
||
доступ (токен AUTH) → {"ok": true, "routed": {"delivered": true}} → @bot_auth
|
||
```
|
||
|
||
Разделение по задачам работает: одно и то же обращение, но разные
|
||
токены — и сообщения попадают в **разные комнаты от разных ботов**.
|
||
|
||
### Что осталось
|
||
|
||
Переключить адреса в семи активных процессах n8n:
|
||
Alert Queue Processor, Prometheus/Grafana Alert Webhook,
|
||
Uptime Kuma → Gitea Self-Healing, F6-2, F6-3, Gitea Task Dispatcher,
|
||
Buryan Health Monitor.
|
||
|
||
---
|
||
|
||
## ✅ ПРОЦЕССЫ n8n ПЕРЕКЛЮЧЕНЫ НА MATRIX (15.10.2026)
|
||
|
||
### Как было устроено на самом деле
|
||
|
||
Процессы n8n слали в Telegram **не напрямую, а через внешний
|
||
VPS-ретранслятор**:
|
||
|
||
```
|
||
https://193.233.210.184/tg-api/bot<ТОКЕН>/sendMessage
|
||
```
|
||
|
||
Это и есть причина, по которой Telegram «работает плохо»: каждое
|
||
уведомление проходило через внешний узел.
|
||
|
||
### Что сделано
|
||
|
||
Наша точка приёма построена с **той же структурой адреса**, поэтому
|
||
замена оказалась точной и безопасной:
|
||
|
||
```
|
||
БЫЛО: https://193.233.210.184/tg-api/bot<ТОКЕН>/sendMessage
|
||
СТАЛО: http://192.168.1.10:8099/bot<ТОКЕН>/sendMessage
|
||
```
|
||
|
||
**Внешний VPS не тронут** — мы просто перестали через него ходить.
|
||
|
||
### Переключено 5 процессов
|
||
|
||
| Процесс | Обращений |
|
||
|---|---|
|
||
| Alert Queue Processor | 1 |
|
||
| Prometheus/Grafana Alert Webhook | 1 |
|
||
| Uptime Kuma → Gitea Self-Healing | 1 |
|
||
| F6-2: Self-Service Registration | 3 |
|
||
| F6-3: Version Watch Handler | 1 |
|
||
|
||
```
|
||
осталось обращений к внешнему VPS: 0
|
||
```
|
||
|
||
### Маршрутизация по ботам работает
|
||
|
||
Токен определяет, **от какого бота** уйдёт сообщение и **в какую комнату**:
|
||
|
||
| Токен | Бот | Комната |
|
||
|---|---|---|
|
||
| 8668603602 (3 обращения) | **ALERT** | комната тревог |
|
||
| 8698835423 (3 обращения) | **AUTH** | комната доступа |
|
||
| 8653974364 (1 обращение) | **ADM** | комната администратора |
|
||
|
||
Один и тот же адрес — но тревоги, заявки на доступ и служебные
|
||
сообщения попадают **в разные комнаты от разных ботов**. Это и есть
|
||
разделение по задачам.
|
||
|
||
### Проверено
|
||
|
||
```
|
||
перезапуск n8n: состояние running
|
||
отправка: {"ok": true, "routed": {"delivered": true, "bot": "alert"}}
|
||
сообщение в комнате тревог: доставлено
|
||
```
|
||
|
||
### Копия и возврат
|
||
|
||
Копия всех процессов: `/mnt/backups/retired/20261015_161810-n8n-workflows/`
|
||
|
||
Возврат одной командой:
|
||
```
|
||
UPDATE workflow_entity SET nodes =
|
||
replace(nodes::text, 'http://192.168.1.10:8099',
|
||
'https://193.233.210.184/tg-api')::json
|
||
WHERE nodes::text LIKE '%192.168.1.10:8099%';
|
||
```
|
||
|
||
`Gitea Task Dispatcher` не переключён: он использует узел Telegram,
|
||
а не веб-запрос — это отдельная правка структуры процесса.
|
||
|
||
---
|
||
|
||
## ✅ МЕХАНИЗМ ОБНОВЛЕНИЯ ПРОВЕРЕН СКВОЗНЫМ ПУТЁМ (15.10.2026)
|
||
|
||
Проверка проведена на службе `dashy` — не критичной, уже
|
||
использовавшейся для испытаний.
|
||
|
||
### Путь целиком, с временем
|
||
|
||
```
|
||
13:24:29 заявка №18 создана (одобрена)
|
||
13:25:01 исполнитель забрал задачу ← в течение минуты
|
||
13:25:01 снимок контейнера
|
||
13:25:18 контейнер пересоздан на новом образе
|
||
13:25:28 задача выполнена
|
||
```
|
||
|
||
**Всего 27 секунд от забора до результата.**
|
||
|
||
### Что подтверждено
|
||
|
||
| Проверка | Результат |
|
||
|---|---|
|
||
| Заявка забрана исполнителем | да, за 32 секунды после создания |
|
||
| Снимок перед обновлением | создан |
|
||
| Контейнер пересоздан | да, время создания 13:25:18 |
|
||
| Служба отвечает | **200** |
|
||
| Снимок убран за собой | да |
|
||
| Результат записан в базу | `done`, попыток 1 |
|
||
|
||
Запись в журнале исполнителя:
|
||
```
|
||
[2026-10-15 16:25:01] взята задача 18: dashy -> (CT 102)
|
||
[2026-10-15 16:25:28] задача 18 выполнена
|
||
```
|
||
|
||
### Найдены две неполадки
|
||
|
||
**1. `matrix-synapse` отсутствует в реестре обновлений.**
|
||
Заявка №17 провалилась с пояснением:
|
||
```
|
||
сервис 'matrix-synapse' не найден в реестре обновлений
|
||
```
|
||
В реестре служба называется **`matrix`**, а заявка пришла с именем
|
||
`matrix-synapse`. Расхождение имён — служба не может быть обновлена.
|
||
Это и есть источник того самого уведомления.
|
||
|
||
**2. Исполнитель зацикливается на отложенных задачах.**
|
||
В журнале каждую минуту с 03:39 по 03:59 повторяется:
|
||
```
|
||
отложенных переведено в одобренные: 1
|
||
```
|
||
Одна и та же задача переводится снова и снова. За ночь это дало
|
||
**21 лишнюю запись** в журнале. Механизм перевода отложенных задач
|
||
не помечает их как переведённые, поэтому берёт их повторно.
|
||
|
||
### Состояние очереди
|
||
|
||
| № | Служба | Состояние |
|
||
|---|---|---|
|
||
| 18 | dashy | **выполнено** |
|
||
| 17 | matrix-synapse | неудача — нет в реестре |
|
||
| 13, 12 | проверка-прав | отменены |
|
||
| 10, 8, 4, 3 | dashy | выполнены ранее |
|
||
|
||
---
|
||
|
||
## ИСПРАВЛЕНЫ ДВЕ НЕПОЛАДКИ ИСПОЛНИТЕЛЯ (15.10.2026)
|
||
|
||
### 1. Служба не находилась по имени контейнера
|
||
|
||
Заявка приходит с именем **контейнера** (`matrix-synapse`), а в реестре
|
||
служба называется **`matrix`** — там указано `container: matrix-synapse`.
|
||
Сопоставление по имени не срабатывало, заявка проваливалась:
|
||
|
||
```
|
||
сервис 'matrix-synapse' не найден в реестре обновлений
|
||
```
|
||
|
||
**Исправление:** добавлен запасной поиск по полю `container` в реестре.
|
||
Теперь служба находится, даже если заявка названа именем контейнера.
|
||
|
||
### 2. Зацикливание на отложенных задачах
|
||
|
||
Блок перевода отложенных задач выполнялся **каждую минуту весь час**,
|
||
не помечая переведённые. За ночь — **61 повтор** одной и той же записи.
|
||
|
||
**Исправление:** переводятся только те задачи, что ещё не переводились
|
||
сегодня. Повтор исключён.
|
||
|
||
Копия исполнителя до правки: `update-runner.sh.before-defect-fix`.
|
||
|
||
---
|
||
|
||
## ИСПРАВЛЕНО: УВЕДОМЛЕНИЯ И ВЕРСИИ (15.10.2026)
|
||
|
||
Замечание владельца: об обновлении пришло уведомление **в Telegram**,
|
||
в Matrix — нет; и в сообщении **не было версии**.
|
||
|
||
### 1. Уведомления исполнителя шли мимо общего слоя
|
||
|
||
Функция уведомления отправляла напрямую в Telegram через прокси:
|
||
|
||
```
|
||
curl -x $TG_PROXY ... https://api.telegram.org/bot${token}/sendMessage
|
||
```
|
||
|
||
**Весь смысл перевода был в том, чтобы уведомления шли в Matrix**, а
|
||
исполнитель обновлений остался в стороне. Исправлено: теперь он шлёт
|
||
на нашу точку приёма, которая отдаёт сообщение в Matrix и дублирует
|
||
в Telegram.
|
||
|
||
### 2. Версия не записывалась нигде
|
||
|
||
* процесс **F6-3** её вычисляет, но создаёт задачу в Gitea, а не в очередь;
|
||
* **safe-update.sh** знает новую версию (`$NEW_VERSION`), но в базу не пишет;
|
||
* исполнитель читает `new_version` из очереди — там пусто.
|
||
|
||
Отсюда сообщение «обновлён до» без числа.
|
||
|
||
**Исправлено:** версия берётся из вывода safe-update.sh и записывается
|
||
в очередь, а уведомление её показывает. Если версия неизвестна, честно
|
||
пишется «текущая версия», а не пустота.
|
||
|
||
Копия до правки: `update-runner.sh.before-notify-fix`.
|
||
|
||
---
|
||
|
||
## ИСПРАВЛЕНА МАРШРУТИЗАЦИЯ ПО КОМНАТАМ (15.10.2026)
|
||
|
||
**Замечание владельца:** почему запросы приходят в AUTH и отвечает ли
|
||
он за эти задачи. Проверка подтвердила ошибку.
|
||
|
||
В комнате AUTH лежали уведомления об обновлениях:
|
||
```
|
||
✅ calibre обновлён до ...
|
||
✅ navidrome обновлён до ...
|
||
✅ tautulli обновлён до ...
|
||
✅ freshrss обновлён до ...
|
||
```
|
||
**Это не его задача.** Обновлениями занимается WORK, тревогами — ALERT.
|
||
|
||
### Причина — ошибка в моём коде
|
||
|
||
В точке приёма выбор комнаты делался **подменой функции на лету**:
|
||
```python
|
||
notify._matrix_env = lambda: (env[...], token, room)
|
||
```
|
||
Подмена **сохранялась навсегда**. Как только приходило одно сообщение
|
||
для AUTH, все последующие — включая тревоги и обновления — уходили
|
||
**в комнату AUTH**. Ошибка накапливалась незаметно.
|
||
|
||
### Исправление
|
||
|
||
Бот и комната выбираются **для каждого сообщения отдельно**, без
|
||
подмены общих функций: адрес, ключ и комната передаются явными
|
||
параметрами. Состояние между сообщениями не переносится.
|
||
|
||
Проверено именно той последовательностью, что вызывала сбой:
|
||
сначала сообщение для AUTH, затем тревога ALERT. Тревога ушла
|
||
в комнату тревог, а не в AUTH.
|
||
|
||
Копии до правки: `notify.py.before-routing-fix`,
|
||
`notify-api.py.before-routing-fix`.
|
||
|
||
---
|
||
|
||
## ПАРТИЯ ОБНОВЛЕНИЙ: overseerr, mealie, bazarr (15.10.2026)
|
||
|
||
| Служба | Результат | Ответ | Время |
|
||
|---|---|---|---|
|
||
| overseerr | выполнено | 200 | 1 мин 36 с |
|
||
| mealie | выполнено | 200 | 1 мин 11 с |
|
||
| bazarr | выполнено | **401** | 1 мин 48 с |
|
||
|
||
**Всего за сегодня обновлено 10 служб.** Снимки за собой убраны —
|
||
не осталось ни одного.
|
||
|
||
### Про 401 у Bazarr — это не поломка
|
||
|
||
В реестре для этой службы прямо помечено:
|
||
|
||
```
|
||
healthcheck:
|
||
url: http://192.168.1.120:6767/api/system/status
|
||
auth_required: true
|
||
```
|
||
|
||
Адрес проверки **требует входа**, поэтому 401 — правильный ответ:
|
||
служба работает и корректно отказывает без учётных данных.
|
||
Подтверждено: контейнер запущен, в журнале «BAZARR is started and
|
||
waiting for requests», корневой адрес отвечает **200**, база цела,
|
||
служба работает **на PostgreSQL**.
|
||
|
||
**Исправлена моя проверка:** скрипт партии не учитывал пометку
|
||
`auth_required` и отмечал службу как «требует внимания». Это была
|
||
ложная тревога. Теперь пометка учитывается.
|
||
|
||
### Вывод
|
||
|
||
Из десяти обновлений **ни одного сбоя**. Ложная тревога была одна —
|
||
и то в моей проверке, а не в службе.
|
||
|
||
---
|
||
|
||
## ПАРТИЯ ОБНОВЛЕНИЙ: sonarr, radarr, prowlarr (15.10.2026)
|
||
|
||
| Служба | Результат | Ответ | Версия образа |
|
||
|---|---|---|---|
|
||
| sonarr | выполнено | 401 (требуется вход) | lscr.io/linuxserver/sonarr:latest |
|
||
| radarr | выполнено | 401 (требуется вход) | lscr.io/linuxserver/radarr:latest |
|
||
| prowlarr | выполнено | 401 (требуется вход) | lscr.io/linuxserver/prowlarr:latest |
|
||
|
||
**Всего обновлено 13 служб.**
|
||
|
||
### Замечание: обновлять было нечего
|
||
|
||
Контейнеры **не пересоздавались** — время создания осталось прежним
|
||
(10:38, момент перевода этих служб на PostgreSQL). Значит образы уже
|
||
были самыми свежими, и обновление свелось к проверке.
|
||
|
||
Задача при этом помечена выполненной, а уведомление говорит «обновлён
|
||
до…» — хотя фактически ничего не менялось. **Это неточность:** стоит
|
||
различать «обновлено» и «уже актуально». Записал как улучшение.
|
||
|
||
---
|
||
|
||
## НАЙДЕН И ИСПРАВЛЕН ДЕФЕКТ ПЕРЕНОСА: СЧЁТЧИКИ НОМЕРОВ (15.10.2026)
|
||
|
||
### Как обнаружился
|
||
|
||
При обновлении `paperless` проверка не прошла, сработал откат — и при
|
||
попытке создать задачу об откате Gitea вернул **500**:
|
||
|
||
```
|
||
newIssue: pq: duplicate key value violates unique constraint "issue_pkey"
|
||
```
|
||
|
||
### Причина — дефект МОЕГО переноса
|
||
|
||
При переводе с файловой базы на PostgreSQL **последовательности
|
||
(счётчики номеров) не были выставлены по данным**. Они остались на
|
||
начале, поэтому новые записи получали уже занятые номера.
|
||
|
||
**Последствие серьёзное:** Gitea не мог создать **ни одной новой
|
||
задачи** — любая попытка возвращала 500. Данные при этом были целы
|
||
(343 задачи, 697 комментариев, 22 метки).
|
||
|
||
Заметить это можно было только попыткой записи — что и произошло.
|
||
|
||
### Исправление
|
||
|
||
Для **каждой** таблицы с автонумерацией счётчик выставлен по
|
||
наибольшему существующему номеру. Применено ко **всем** базам,
|
||
перенесённым из файловых:
|
||
|
||
`gitea_db`, `vaultwarden_db`, `grafana_db`, `sonarr_db`, `radarr_db`,
|
||
`prowlarr_db`, `bazarr_db`, `paperless_db`
|
||
|
||
Проверено попыткой создания задачи — теперь она создаётся и закрывается.
|
||
|
||
### Вывод на будущее
|
||
|
||
**После переноса базы обязательно проверять запись, а не только
|
||
чтение.** Чтение работало всё время — падала именно вставка.
|
||
|
||
---
|
||
|
||
## СЧЁТЧИКИ ВЫРОВНЕНЫ ВО ВСЕХ ПЕРЕНЕСЁННЫХ БАЗАХ (15.10.2026)
|
||
|
||
Первая версия исправления не сработала на медиа-службах:
|
||
```
|
||
ERROR: relation "versioninfo" does not exist
|
||
```
|
||
Причина: у Sonarr, Radarr и Prowlarr таблица называется `VersionInfo`
|
||
**с заглавных букв**, а имя передавалось без кавычек, и PostgreSQL
|
||
приводил его к нижнему регистру.
|
||
|
||
Исправлено: имя оборачивается в `quote_ident`, регистр сохраняется.
|
||
Добавлена обработка ошибок по каждой таблице отдельно, чтобы одна
|
||
неудача не останавливала остальные.
|
||
|
||
Применено ко всем перенесённым базам, результат проверен записью.
|
||
|
||
---
|
||
|
||
## ОТКАЧЕНО: ПРАВКА РАЗРЕШЕНИЯ ИМЁН (15.10.2026)
|
||
|
||
### Что я сделал и почему это было ошибкой
|
||
|
||
Пытаясь убрать зависимость от внешнего VPS, я направил домены
|
||
`*.buryans.ru` на **внутренние адреса служб** через файл hosts
|
||
на узле.
|
||
|
||
**Но внутренние службы работают по HTTP** (Authentik — порт 9000,
|
||
Synapse — 8008), а запросы идут **по HTTPS на порт 443**. Внутри сети
|
||
прокси с сертификатами для этих доменов нет — NPM на 443 слушает, но
|
||
эти домены не обслуживает.
|
||
|
||
**Результат — стало хуже:**
|
||
```
|
||
authentik.buryans.ru → HTTPS 000 (было 302)
|
||
проверка сертификатов: было 14 доменов, стало 10
|
||
```
|
||
|
||
### Что подтвердилось
|
||
|
||
**Через VPS всё работает:** `authentik.buryans.ru` → **302 за 0.7 с**.
|
||
|
||
То есть VPS — рабочее решение, а не проблема. Быстрая скорость
|
||
внутреннего адреса (0.0003 с) обманчива: она была быстрой ПОТОМУ ЧТО
|
||
не отвечала.
|
||
|
||
### Вывод
|
||
|
||
**Правка откачена.** Урок: недостаточно поменять адрес — нужно
|
||
проверить, что по новому адресу служба отвечает ТЕМ ЖЕ протоколом
|
||
и на том же порту. Я проверил адрес, но не проверил протокол.
|
||
|
||
Копии файла hosts сохранены в `/root/hosts.before-*`.
|
||
|
||
---
|
||
|
||
## ОБНОВЛЕНИЯ: 23 СЛУЖБЫ (15.10.2026, продолжение)
|
||
|
||
Обновлены ещё: `uptime-kuma`, `openclaw`, `prometheus`, `grafana`,
|
||
`npm`, `n8n`, `vaultwarden`, `headscale`.
|
||
|
||
**Всего за сутки: 23 службы. Неудач: 1 (paperless, откат выполнен).**
|
||
|
||
### Ложная тревога по headscale
|
||
|
||
Служба `headscale` установлена **прямо в контейнер** (тип `native`),
|
||
а не через Docker. Моя проверка искала контейнер Docker, не находила
|
||
и отмечала службу как «требует внимания».
|
||
|
||
**Это была ошибка проверки, а не службы.** VPN при этом работал всё
|
||
время: VPS видел домашние узлы (0 потерь), внешний вход в Matrix и
|
||
Authentik отвечал 302, headscale на VPS — v0.22.3, активен.
|
||
|
||
Проверка исправлена: для служб вида `native` состояние берётся через
|
||
systemd, с ожиданием подъёма после перезапуска.
|
||
|
||
---
|
||
|
||
## ВОССТАНОВЛЕН HEADSCALE НА CT 201 (15.10.2026)
|
||
|
||
### Что было
|
||
|
||
Служба `headscale` билась в цикле перезапусков:
|
||
```
|
||
перезапусков: 46691
|
||
```
|
||
При перезапуске раз в 5 секунд это **≈65 часов ≈ 2,7 суток**
|
||
непрерывного падения — то есть заметно раньше сегодняшнего дня.
|
||
|
||
Причина:
|
||
```
|
||
error="initial DERPMap is empty, Headscale requires at least one entry"
|
||
```
|
||
В настройке **отсутствовал раздел DERP**, а установленная версия его
|
||
требует.
|
||
|
||
### Важно: сеть от этого не страдала
|
||
|
||
Координацию держит **headscale на VPS** — там зарегистрированы все
|
||
узлы (vps, pve, s25-ultra, ct155), и он активен. Домашний экземпляр
|
||
дублирующий и рабочим не был.
|
||
|
||
### Что сделано
|
||
|
||
Добавлен раздел DERP со стандартной картой. Служба остановлена,
|
||
настройка поправлена, запущена заново. Копия настройки сохранена:
|
||
`config.yaml.before-derp-fix`.
|
||
|
||
### Вывод о проверках
|
||
|
||
**Дважды за сессию проверка показала «в порядке» там, где было
|
||
сломано:** сначала из-за вида службы (native против Docker), затем
|
||
из-за того, что systemd на миг сообщает «active» между перезапусками.
|
||
|
||
**Правильная проверка службы — по живому процессу, порту и отклику,
|
||
а не по состоянию systemd.** Внесено в общие правила.
|
||
|
||
---
|
||
|
||
## НАЙДЕНА И ИСПРАВЛЕНА ПРИЧИНА НЕУДАЧ ОБНОВЛЕНИЯ (15.10.2026)
|
||
|
||
### Причина — дефект исполнителя, а не служб
|
||
|
||
Три попытки обновления `matrix` откатились. Разбор показал:
|
||
|
||
**В коде исполнителя окно ожидания задано жёстко:**
|
||
```
|
||
HEALTH_WAIT="${HEALTH_WAIT:-120}" ← 120 секунд
|
||
проверка: 24 попытки × 5 секунд = 120 секунд, код 000
|
||
```
|
||
|
||
**Synapse после пересоздания поднимается дольше.** Он читает большую
|
||
базу, и холодный старт не укладывается в 120 секунд. Проверка не
|
||
дожидается готовности, исполнитель честно откатывает.
|
||
|
||
**Само обновление при этом проходило успешно:**
|
||
```
|
||
19:37:03 Обновляем через compose: /opt/matrix (служба synapse)
|
||
19:37:33 ✅ Контейнер matrix-synapse работает из актуального образа
|
||
19:39:33 🚨 Проверка не пройдена — откат
|
||
```
|
||
|
||
**Отсюда же неудача `paperless`** — то же приложение на Python с
|
||
большой базой и то же короткое окно.
|
||
|
||
### Что проверено попутно
|
||
|
||
* `matrix-coturn` запущен **вне проекта** compose — на обновление
|
||
synapse это не влияет (исполнитель обновляет только службу synapse);
|
||
* пересоздание контейнера проходит штатно;
|
||
* служба ни разу не пострадала — откат каждый раз возвращал её
|
||
в рабочее состояние (healthy, ответ 200).
|
||
|
||
### Исправление
|
||
|
||
Окно ожидания теперь задаётся **для каждой службы отдельно** в реестре
|
||
(`wait:`), значение по умолчанию остаётся 120 секунд.
|
||
|
||
| Служба | Окно |
|
||
|---|---|
|
||
| matrix | 480 с |
|
||
| paperless | 480 с |
|
||
| gitea | 300 с |
|
||
| authentik | 300 с |
|
||
|
||
Копии до правки: `safe-update.sh.before-wait-fix`,
|
||
`services.yaml.before-wait-fix`.
|
||
|
||
---
|
||
|
||
## ПРИЧИНА НЕУДАЧ MATRIX: НОВАЯ ВЕРСИЯ НЕ ЗАПУСКАЕТСЯ В КОНТЕЙНЕРЕ (15.10.2026)
|
||
|
||
### Установлено окончательно
|
||
|
||
Обновление скачивает новый образ Synapse, контейнер пересоздаётся —
|
||
и **новый Synapse падает при запуске**:
|
||
|
||
```
|
||
RuntimeError: creating the Tokio wakeup socket pair
|
||
Caused by:
|
||
Permission denied (os error 13)
|
||
```
|
||
|
||
Новая версия Synapse использует Rust (Tokio) и при старте создаёт
|
||
служебный сокет. **В непривилегированном контейнере LXC это
|
||
запрещено.**
|
||
|
||
### Почему это не дефект исполнителя
|
||
|
||
| Проверенное предположение | Результат |
|
||
|---|---|
|
||
| Короткое окно ожидания | **не подтвердилось**: 480 секунд — тот же код 000 |
|
||
| Неверный адрес проверки | **не подтвердилось**: адрес отвечает 200 |
|
||
| Конфликт с coturn | **не подтвердилось**: coturn вне проекта, не мешает |
|
||
|
||
Каждый раз откат исправно возвращал службу — механизм отката
|
||
зарекомендовал себя с лучшей стороны.
|
||
|
||
### Что это значит
|
||
|
||
**Обновление Synapse невозможно без изменения настроек контейнера.**
|
||
Варианты (требуют решения владельца):
|
||
1. сделать контейнер привилегированным;
|
||
2. добавить нужные разрешения точечно;
|
||
3. остаться на текущей версии Synapse.
|
||
|
||
**Служба возвращена на прежний рабочий образ.** Новый образ сохранён
|
||
под меткой `synapse:new-20261015` — чтобы не скачивать заново.
|
||
|
||
---
|
||
|
||
## ✅ ПРИЧИНА НАЙДЕНА И УСТРАНЕНА: ПРОФИЛЬ БЕЗОПАСНОСТИ (15.10.2026)
|
||
|
||
### Виновник назван журналом ядра
|
||
|
||
```
|
||
apparmor="DENIED" operation="create" class="net"
|
||
info="failed protocol match" error=-13
|
||
profile="docker-default"
|
||
family="unix" sock_type="stream" requested="create"
|
||
```
|
||
|
||
Профиль безопасности Docker **запрещал создание сокетов Unix**.
|
||
|
||
Из шести проверок запуска:
|
||
```
|
||
обычный запуск → ОТКАЗ
|
||
без AppArmor → РАБОТАЕТ ← виновник найден
|
||
привилегированный → РАБОТАЕТ
|
||
```
|
||
|
||
### Почему это началось «несколько дней назад»
|
||
|
||
В новых версиях ядра и AppArmor появилось **сопоставление по
|
||
протоколу**. Общее правило `network,` в профиле перестало покрывать
|
||
сокеты вида `unix stream`.
|
||
|
||
**Уже работающие контейнеры не пострадали** — профиль применяется при
|
||
создании и далее не перечитывается. Пострадали только **пересоздаваемые**,
|
||
то есть ровно те, что появляются при обновлении.
|
||
|
||
**Отсюда все неудачи:** matrix (4 попытки), paperless.
|
||
|
||
### Почему на узле правка не помогла
|
||
|
||
У **каждого контейнера LXC своя область AppArmor**. Правка файла на
|
||
узле не влияет на контейнер — нужна правка внутри него.
|
||
Это выяснилось по именам профилей вида `:lxc-155_<-var-lib-lxc>:docker-default`.
|
||
|
||
### Исправление — третий путь, как выбрал владелец
|
||
|
||
В профиль добавлены **явные виды сокетов**. Защита **не отключена**,
|
||
привилегий **не выдано** — разрешено только создание сокетов внутри
|
||
контейнера.
|
||
|
||
### Результат
|
||
|
||
| | До | После |
|
||
|---|---|---|
|
||
| Попыток проверки | **96** (480 секунд) | **1** |
|
||
| Ответ службы | 000 | 200 |
|
||
| Итог | откат | **обновление выполнено** |
|
||
|
||
**Matrix обновлён**: контейнер пересоздан (было 18 апреля),
|
||
служба healthy, вход по единому входу работает, запретов в журнале 0.
|
||
|
||
Материалы: `ops/security/` — профиль и описание.
|
||
|
||
---
|
||
|
||
## ОБНОВЛЕНИЯ ЗАВЕРШЕНЫ: 27 ИЗ 28 (15.10.2026)
|
||
|
||
### Обновлено в этой части
|
||
|
||
| Служба | Результат | Как проверено |
|
||
|---|---|---|
|
||
| `matrix` | ✅ done | профиль исправлен, проверка на 1-й попытке, вход по SSO работает |
|
||
| `paperless` | ✅ done | добавлен секретный ключ, контейнер пересоздан, отклик 302 |
|
||
| `gitea` | ✅ done | образ был актуален, служба 200 |
|
||
| `authentik` | ✅ done | образ был актуален, служба 200 |
|
||
|
||
### `paperless` — причина и исправление
|
||
|
||
Новая версия **требует обязательный секретный ключ**:
|
||
```
|
||
PAPERLESS_SECRET_KEY is not set or is the default 'change-me' value
|
||
```
|
||
Старая версия работала без него. Ключ сгенерирован и добавлен в
|
||
настройку (`/root/.paperless-secret`, права 600).
|
||
|
||
При первой попытке служба ушла в перезапуск, откат вернул её,
|
||
но контейнер остался **остановленным** — пришлось поднимать вручную.
|
||
Это важный урок: **после отката проверять, что служба запущена**.
|
||
|
||
### `postgres-rbac` — НЕ ОБНОВЛЁН, и это осознанно
|
||
|
||
Проверка показала, что обновление окажется **сменой основной версии**:
|
||
```
|
||
работает: PostgreSQL 17.11
|
||
meta-пакет: 14 → 18
|
||
```
|
||
Установлены версии 14 и 17, пакет тянет 18.
|
||
|
||
**Это не обновление, а перенос данных** с остановкой всех служб.
|
||
В базе **40 баз** — вся информация хозяйства.
|
||
|
||
При неудаче без данных останется **всё сразу**. По правилу
|
||
«сомневаешься — остановись» обновление отложено до отдельного
|
||
плана и присутствия владельца.
|
||
|
||
### Итог
|
||
|
||
**27 из 28 служб обновлены.** Осталась одна — по обоснованной причине.
|
||
|
||
### Состояние проверено после каждого шага
|
||
|
||
```
|
||
Matrix 200 · Authentik 200 · Gitea 200 · Vaultwarden 200
|
||
n8n 302 · Paperless 302
|
||
```
|