Files
buryan-infra/docs/NIGHT-JOURNAL.md
T

1467 lines
78 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Журнал ночного спринта
**Начат:** 2026-10-14
**Принцип:** «сделано» означает «проверено». Каждая запись содержит
не «команда выполнена», а **чем подтверждён результат**.
**При остановке** (лимит, ошибка, стоп-условие) состояние таково:
всё со статусом ✅ работает, всё со статусом ⬜ не тронуто.
Незавершённых «наполовину» состояний быть не должно.
---
## Статусы
| Знак | Значение |
|---|---|
| ⬜ | не начато |
| 🔄 | выполняется |
| ✅ | **проверено** — результат подтверждён |
| ⏸ | отложено (требует решения владельца) |
| ❌ | не удалось, откачено |
---
## Этап 1. Уборка безопасного
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 1.1 | Мёртвые файловые базы n8n и mealie (99 МБ) | ✅ | карантин, размеры совпали: 102998016 и 1331200 байт; источник убран |
| 1.2 | Осиротевшая база `gitea` в PostgreSQL (30 МБ) | ✅ | выгрузка 112 таблиц, база удалена |
| 1.3 | Старый кластер PostgreSQL 14 (381 МБ) | ✅ | выгрузка 14 баз / 1012 таблиц / 323688 строк проверена; все базы есть в рабочем; кластер удалён, освобождено 500 МБ |
## Этап 2. Кодировка: образец
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 2.1 | `buryan_monitoring` → UTF8 + ICU ru-RU | ✅ | длина «Привет» 6, upper ПРИВЕТ, сортировка true; права выданы явно; бот пишет |
## Этап 3. Кодировка: остальные базы
| # | База | Размер | Статус | Подтверждение |
|---|---|---|---|---|
| 3.1 | headscale | 8 МБ | ✅ | был UTF8 изначально |
| 3.2 | authentik | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.3 | buryan_hub | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.4 | buryan_monitor | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.5 | authentik_db | 25 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.6 | gitea | 30 МБ | ⏸ | переносится на этапе 6 |
| 3.7 | firefly_db | 11 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.8 | mealie_db | 12 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.9 | nextcloud_db | 17 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.10 | paperless_db | 20 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.11 | n8n_prod | 14 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.12 | n8n_central | 17 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.13 | n8n | 87 МБ | ✅ | состав таблиц совпал, русский текст проверен |
| 3.14 | immich_db | 95 МБ | ⏸ | требует доступа к виртуальной машине либо вашего решения |
## Этап 4. Перенос файловых баз
| # | Сервис | Размер | Статус | Подтверждение |
|---|---|---|---|---|
| 4.1 | Vaultwarden | 288 КБ | ⬜ | — |
| 4.2 | Grafana | 1,5 МБ | ⬜ | — |
| 4.3 | Sonarr | 3,2 МБ | ⬜ | — |
| 4.4 | Radarr | 2,0 МБ | ⬜ | — |
| 4.5 | Prowlarr | 368 КБ | ⬜ | — |
| 4.6 | Bazarr | 364 КБ | ⬜ | — |
## Этап 5. Двойной Paperless
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 5.1 | Разбор двух развёртываний | ⬜ | — |
| 5.2 | Перенос оставшегося экземпляра | ⬜ | — |
## Этап 6. Gitea
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 6.1 | Выгрузка и снимок | ⬜ | — |
| 6.2 | Перенос базы на UTF8 | ⬜ | — |
| 6.3 | Проверка: репозитории, пользователи, вход | ⬜ | — |
## Этап 7. Uptime Kuma
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 7.1 | Перенос 160 МБ | ⬜ | — |
## Этап 8. Проверка восстановления
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 8.1 | Восстановление копии базы и сверка | ⬜ | — |
## Этап 9. Отчёт
| # | Что | Статус | Подтверждение |
|---|---|---|---|
| 9.1 | Итоговый отчёт | ⬜ | — |
---
## Журнал событий
Записи добавляются по ходу, после каждого значимого шага.
```
[начало] Аудит завершён: откат проверен по трём механизмам.
Пул 36,5%, копии целы, 28 сервисов без замечаний.
```
[19:42:29] buryan_hub ->
[19:42:42] buryan_monitor ->
[19:43:27] firefly_db ->
[19:43:43] mealie_db ->
[19:44:25] nextcloud_db -> UTF8=UTF8
[19:45:00] paperless_db -> UTF8=UTF8
[19:45:25] n8n_prod -> UTF8=UTF8
[19:45:39] n8n_central -> UTF8=UTF8
[19:45:56] n8n -> UTF8=UTF8
[19:46:45] authentik_db переведена
[19:46:56] authentik переведена
```
[19:34] Этап 1 завершён. Карантин: n8n 98 МБ, mealie 1,3 МБ, осиротевшая gitea,
выгрузка кластера 14. Освобождено 500 МБ в контейнере баз.
[19:36] ЭТАП 2, ПЕРВАЯ ПОПЫТКА — ОШИБКА.
Имя для старой базы содержало дефис, PostgreSQL прочитал его как
вычитание, переименование не произошло. Я поверил выводу команды
вместо проверки каталога, и загрузка пошла в ту же базу.
Данные НЕ пострадали (56 сообщений «уже существует»).
Урок: проверять результат по каталогу, а не по выводу команды.
[19:37] ЭТАП 2 ИСПРАВЛЕН И ЗАВЕРШЁН.
buryan_monitoring переведена: длина «Привет» 6, upper ПРИВЕТ,
сортировка true. Но обнаружено, что локаль C недостаточна:
регистр и сортировка для русского не работают. Проверены варианты
на тестовых базах, выбран ICU ru-RU.
[19:40] ОБНАРУЖЕНА ПОТЕРЯ ПРАВ У БОТА после пересоздания базы.
Восстановление по снимку information_schema оказалось неполным.
Исправлено: права выдаются ЯВНО на всю схему, а не по снимку.
[19:41-19:46] ЭТАП 3. Переведены 12 баз, каждая с проверкой состава таблиц
и русского текста. Службы останавливались на время переноса
и запускались обратно.
[19:47] ОБНАРУЖЕНО: у 10 баз потерян владелец — при пересоздании
я назначал владельцем postgres вместо роли сервиса.
Проявилось на Authentik: воркер не смог применить миграцию.
Исправлено: владельцы возвращены из копий до переноса.
[19:51] ЭТАП 3 ПРОВЕРЕН:
— 15 баз из 17 переведены на UTF8 с русской локалью;
— владельцы восстановлены у всех;
— Authentik: сервер и воркер 200;
— n8n, Nextcloud, Mealie, Paperless, Firefly работают;
— запись от исполнителя обновлений и от бота проходит;
— мониторинг: 29 из 29 целей.
Остались: immich_db (виртуалка, нужен доступ или решение владельца)
и служебная postgres.
```
## Найденные дефекты процесса
| # | Что | Как обнаружен | Исправление |
|---|---|---|---|
| 1 | Дефис в имени базы ломает переименование | сработала проверка состава таблиц | имена без дефисов + проверка по каталогу |
| 2 | Восстановление прав по снимку неполное | бот не смог записать | права выдаются явно на всю схему |
| 3 | Владелец базы теряется при пересоздании | воркер Authentik не запустился | владелец берётся из копии |
| 4 | Локаль C недостаточна для русского | проверка регистра и сортировки | ICU ru-RU |
[19:52:34] postgres переведена
[19:52:35] immich: требуется доступ к виртуалке или решение владельца
[19:52:40] проверка восстановления: таблицы 9=9, очередь 6=6 — совпало
---
## Случай: ложный успех в моей собственной проверке (Grafana)
**Что делалось.** Образец переноса файловой базы Grafana в PostgreSQL —
отработка метода на сервисе с низкой ценой ошибки.
**Точка отката была создана и сработала:**
- снимок контейнера `pre-grafana-pg-20261014_201346`;
- копия файловой базы в карантине (132 КБ, архив проверен);
- копия конфигурации до правок.
**Что произошло.** Скрипт получил список таблиц файловой базы — и он
оказался **пустым**, потому что в CT 113 не установлен `sqlite3`.
Дальше проверка полноты сравнила ноль строк с нулём строк по нулю таблиц
и **сообщила: «ПЕРЕНОС ПОЛНЫЙ, все таблицы совпадают»**.
```
таблиц: 0
таблиц загружено: 0, с ошибками: 0
совпало таблиц: 0, расхождений: 0
✅ ПЕРЕНОС ПОЛНЫЙ
```
**Это тот же ложный успех, который мы весь день ищем** — только теперь
в моём собственном коде: проверка проходит, когда проверять нечего.
**Что спасло.** Я посмотрел на цифры, а не на галочку: ноль таблиц при
заявленном успехе — противоречие. Дальнейшая проверка показала, что
Grafana действительно подключилась к PostgreSQL (4 соединения от
192.168.1.113), выполнила свои миграции, но схема осталась пустой.
**Возврат выполнен полностью:**
- конфигурация восстановлена из копии;
- контейнер пересоздан;
- проверено: health `ok`, **5 дэшбордов на месте**, файловая база цела
(1,5 МБ), переменных базы в контейнере — 0;
- тестовая база и роль удалены из PostgreSQL.
**Вывод, который надо закрепить в правилах:**
> Если сравнивать нечего — это ОШИБКА, а не успех.
> Проверка обязана падать, когда список проверяемых объектов пуст.
**Что исправлено:**
1. в проверку полноты добавлено условие: пустой список объектов — провал;
2. перед переносом проверяется наличие инструментов чтения файловой базы;
3. в точку отката добавлена запись контрольной суммы файловой базы,
чтобы после возврата доказать, что файл не изменился.
**Состояние Grafana:** работает как прежде, на файловой базе, данные целы.
---
## Образец переноса Grafana: результат
**Попыток: три. Итог: возврат к файловой базе, данные целы.**
### Что выяснилось по ходу
| # | Препятствие | Суть |
|---|---|---|
| 1 | Проверка выдала ложный успех | список таблиц был пуст (нет `sqlite3`), сравнение пустоты прошло как успех |
| 2 | Файлы данных не видны из контейнера баз | CSV создавались на хосте, `psql` работает внутри контейнера |
| 3 | Служба создаёт начальные записи | Grafana при первом запуске создаёт роли, организацию, пользователя — они конфликтуют с переносимыми по уникальным ключам |
| 4 | **Двоичные данные** | `cache_data` и `data_keys` не проходят как текст: `invalid byte sequence for encoding UTF8` |
| 5 | **Схема Grafana 12 не совпадает с файловой** | дэшборды живут в таблице `resource` (единое хранилище), а не в `dashboard` |
### Итог проверки полноты
```
таблиц совпало: 22
расхождений: 8 — включая user (1 вместо 2), resource (0 вместо 1),
data_keys (0 вместо 9 — ключи шифрования)
```
**Частичный перенос опаснее отказа:** служба запускается, но данные потеряны.
Поэтому выполнен **возврат**:
- конфигурация восстановлена, упоминаний PostgreSQL — 0;
- контейнер пересоздан, health `ok`;
- **5 дэшбордов и 5 пользователей на месте**;
- файловая база используется, данные целы;
- тестовая база и роль удалены из PostgreSQL.
### Вывод для дальнейшей работы
Перенос Grafana **возможен, но требует отдельной проработки** трёх вещей:
1. **двоичные данные** — выгружать не как CSV, а как шестнадцатеричные литералы
(`X'...'` в SQLite → `'\x...'::bytea` в PostgreSQL);
2. **начальные записи службы** — очищать таблицы после создания схемы
и до загрузки, при этом не запуская службу между очисткой и загрузкой;
3. **несовпадение схемы** — версия Grafana 12 хранит дэшборды в едином
хранилище (`resource`, `resource_history`), копирование только таблицы
`dashboard` не даёт результата.
Это не тупик, а конкретный список работ. Тот же список нужно составить
для каждого следующего сервиса **до** попытки переноса.
---
## ✅ ПЕРЕНОС GRAFANA ЗАВЕРШЁН (15.10.2026)
**Результат:** Grafana работает на центральной PostgreSQL.
```
таблиц с данными: 28 из 28 — совпали по числу строк
ошибок загрузки: 0
двоичные ключи: 9 из 9, содержимое совпадает ПОБАЙТОВО (52 байта)
дэшборды: 5 пользователи: 5 источники: 5
подключений к PostgreSQL от Grafana: 4
```
### Как проверялось
Не «служба запустилась», а четыре независимые проверки:
1. **Число строк по каждой таблице** — 28 таблиц, расхождений нет.
2. **Содержимое двоичных полей** — 9 ключей шифрования сверены побайтово
с файловой базой.
3. **Данные внутри базы** — в таблице `resource` лежит дэшборд
`buryan-health` вместе с содержимым (`{"kind":"Dashboard",...}`).
4. **Подключения** — 4 соединения от 192.168.1.113 под ролью `grafana_user`.
Отдельно отмечу: API Grafana возвращает имена дэшбордов пустыми, потому что
запрос идёт без входа. Это свойство API, а не потеря данных — содержимое
проверено напрямую в базе.
### Четыре ошибки, найденные и исправленные по ходу
| # | Ошибка | Как проявилась |
|---|---|---|
| 1 | Пустой файл команд засчитан как загрузка | `psql` на пустом файле возвращает успех |
| 2 | Сдвиг полей при разборе строки средствами bash | scope получал значение active; генерацию перевели на awk |
| 3 | Выражение выборки начиналось с разделителя | «SELECT || coalesce(...)» — синтаксическая ошибка |
| 4 | **Несовпадение типов** | в файловой базе `active` целое 0/1, PostgreSQL создаёт его ЛОГИЧЕСКИМ; типы теперь берутся из PostgreSQL |
| 5 | Одинарные кавычки для имён столбцов | в SQL имена требуют двойных |
| 6 | `grep -c` возвращает код 1 при нуле совпадений | «\|\| echo 0» добавлял второй ноль, и вердикт ложно проваливался при успешной загрузке |
### Главное открытие метода
**Контейнер службы нужно УДАЛЯТЬ на время загрузки, а не просто
останавливать.** Проверка «служба остановлена» показывала `exited`, но
Grafana поднималась снова и перезаписывала перенос своими начальными
данными: роли 115 → 7, пользователь 2 → 1. Пока контейнера нет — писать
некому, и совпадение стало 28 из 28.
### Исправленные инструменты (в ops/scripts)
- `migrate-grafana-v2.sh` — перенос со всеми предохранителями;
- `load-blob-table.sh` — загрузка таблиц с двоичными полями,
с учётом типов PostgreSQL и побайтовой сверкой.
### Порядок для следующих сервисов (проверен на Grafana)
1. Разведка: таблицы, строки, **двоичные поля**, где лежат ключевые данные.
2. Точка отката: снимок, копия базы, копия конфигурации.
3. Дать службе создать схему в PostgreSQL.
4. **Удалить контейнер**, очистить таблицы, не давая службе перезапуститься.
5. Загрузить: текст — через CSV, двоичные — через hex с учётом типов.
6. Проверять: число строк по каждой таблице, содержимое двоичных полей.
7. Запустить службу, проверить через API и напрямую в базе.
---
## ✅ ПЕРЕНОС МЕДИА-СЕРВИСОВ ЗАВЕРШЁН (15.10.2026)
**Prowlarr, Sonarr, Radarr переведены на центральную PostgreSQL.**
| Сервис | Совпало таблиц | Ключевые данные | Версия через API |
|---|---|---|---|
| Prowlarr | **6 из 6** | без расхождений | 2.6.5.5623 |
| Sonarr | 9 из 10 | SceneMappings 15 992 = 15 992 | 4.0.20.3014 |
| Radarr | 9 из 10 | QualityDefinitions 30 = 30 | 6.4.4.10685 |
Расхождение только в служебной таблице `Commands` — служба обрабатывает
её на ходу. Отсутствие сериалов и фильмов — **не потеря**: в файловых
базах их тоже ноль, службы просто не были наполнены.
### Главное, что выяснилось
**У медиа-сервисов нельзя очищать таблицу версий миграций (`VersionInfo`).**
Первая попытка выглядела успешной по числу строк, но все три службы
падали при запуске:
```
FluentMigrator ... MigrationController.Migrate
DbFactory.CreateMain — Non-recoverable failure, waiting for user intervention
```
Служба по таблице `VersionInfo` понимает, какие миграции уже применены.
После её очистки служба пыталась применить миграции заново и падала,
потому что таблицы уже существуют. **Схему ведёт FluentMigrator, и его
служебные таблицы очищать нельзя** — в отличие от Grafana, где служба
пересоздаёт состояние сама.
### Вторая находка: остатки обновлений держат порты
Prowlarr не мог запуститься, потому что порт 9696 занимал контейнер
`prowlarr-old-20261014-175122` — временный контейнер от вчерашнего
обновления, который должен был удалиться после проверки.
Во флоте таких нашлось **13** (calibre-web, freshrss, openclaw, plex,
sonarr, radarr, prowlarr, bazarr, overseerr, tautulli, navidrome, linkding,
prometheus, syncthing). Работающие остановлены — порты освобождены.
**Это дефект механизма обновления:** временный контейнер нужно
останавливать сразу после успешной проверки новой версии.
### Третья находка: проверка «контейнер запущен» бесполезна
Первая попытка объявила успех по состоянию контейнера, а приложения
внутри падали. Теперь проверка обязательно включает **ответ через API**:
версия читается — значит, приложение действительно работает.
### Инструмент
`ops/scripts/migrate-arr.sh` — перенос медиа-сервисов: точка отката,
разведка, схема от службы, удаление контейнера, загрузка с сохранением
таблиц миграций, проверка по каждой таблице.
---
## ✅ VAULTWARDEN ПЕРЕНЕСЁН НА POSTGRESQL (15.10.2026)
**Хранилище паролей переведено на центральную PostgreSQL.**
```
пользователи: 2
записи хранилища: 12
устройства: 6
подключений к PostgreSQL: 4 (роль vaultwarden_user, 192.168.1.109)
служба: 200, страница входа отвечает
```
### Как проверялось
Не «контейнер запущен», а сверка содержимого:
| Проверка | Результат |
|---|---|
| Хеши паролей (2 пользователя) | **совпадают** по 64 знака |
| Соли | **совпадают** по 128 знаков |
| Размер каждой из 12 записей | **совпадает байт в байт** |
| Суммарный объём записей | файл 7715 = база 7715 |
| Файловая база | не изменялась с 12.10 — запись идёт в PostgreSQL |
Хранилище зашифровано на стороне клиента, поэтому записи проверены
по объёму и количеству — прочитать их нельзя ни у меня, ни на сервере.
### Четыре препятствия и что они дали
| # | Препятствие | Суть |
|---|---|---|
| 1 | Переменная попала не в ту службу | в файле четыре службы (db, nextcloud, vaultwarden, files_net), а вставка шла в первый блок environment — у службы db. Переменная теперь ставится **строго по имени службы** |
| 2 | Проверка связей между таблицами | `ciphers` ссылается на `users`, и при неудаче `users` валилось всё зависимое. Теперь при загрузке `session_replication_role = replica` — порядок загрузки перестал быть важен |
| 3 | Ложное расхождение по ключу | сверка искала строку по столбцу `name`, которого в `users` нет — ключ называется `uuid`. Данные были на месте, а проверка сообщала о потере. Теперь ключевой столбец берётся из первичного ключа |
| 4 | Ложное расхождение по регистру | `hex()` в файловой базе даёт ЗАГЛАВНЫЕ буквы, `encode(...,'hex')` в PostgreSQL — строчные. Сравнение идёт в одном регистре |
**Три из четырёх — это ошибки проверки, а не переноса.** Данные
переносились правильно, а инструмент сообщал о потере. Отсюда правило:
если проверка говорит о расхождении, сначала проверь саму проверку.
### Правило о служебных таблицах (уточнено)
Служебные таблицы версий миграций **сохраняются** при очистке:
| Служба | Таблица |
|---|---|
| Vaultwarden | `__diesel_schema_migrations` |
| Sonarr, Radarr, Prowlarr | `VersionInfo` |
| Paperless, Bazarr | `alembic_version` |
Их нельзя ни очищать, ни переносить: по ним служба понимает, какие
миграции уже применены.
---
## ✅ BAZARR ПЕРЕНЕСЁН НА POSTGRESQL (15.10.2026)
```
таблиц с данными: 3 из 3 — совпали
настройки языков: 187
настройки увеличений: 129
ответ службы: 200
```
Bazarr переключается флагом `postgresql.enabled` в `config.yaml`.
Схему создаёт сам через Alembic; её служебная таблица `alembic_version`
сохранена, как и положено.
### Пятое правило проверки
**Состояние контейнера «running» не означает готовности службы.**
Bazarr (Python/waitress) поднимает веб-сервер через 60–90 секунд, и первая
попытка была откачена из-за ложного отказа: контейнер работал, а служба
ещё не отвечала. Теперь готовность определяется **ответом 200**, а не
статусом контейнера.
Общий список правил проверки, накопленный за спринт:
| # | Правило | На чём выяснено |
|---|---|---|
| 1 | Пустой список объектов — это ПРОВАЛ, а не успех | Grafana: сравнили пустоту с пустотой |
| 2 | Проверять результат по каталогу, а не вывод команды | переименование базы с дефисом |
| 3 | Контейнер службы УДАЛЯТЬ на время загрузки | Grafana перезаписывала перенос |
| 4 | Таблицы миграций не очищать и не переносить | *arr: падение FluentMigrator |
| 5 | Готовность = ответ службы, а не статус контейнера | Bazarr: 60–90 секунд до ответа |
| 6 | Ключевой столбец брать из первичного ключа | Vaultwarden: сверка искала `name` |
| 7 | Сравнивать в одном регистре | Vaultwarden: `hex` против `encode` |
| 8 | Расхождение — сначала проверь саму проверку | три ложных расхождения за спринт |
---
## ✅ GITEA ПЕРЕНЕСЁН НА POSTGRESQL (15.10.2026)
**Система контроля версий работает на центральной PostgreSQL.**
```
таблиц с данными: 33 из 33 — совпали, ошибок 0
пользователи: 4 репозитории: 5
задачи: 343 комментарии: 697
метки: 22 ключи доступа: 8
выпуски: 2 версия схемы: 358
подключений к PostgreSQL: 2 (роль gitea_user, 192.168.1.140)
версия через API: 28.1.0
```
### Главное: репозитории НЕ ТРОНУТЫ
Перед переносом снята опись всех репозиториев — имена, размеры,
последние коммиты. После переноса она сверена:
```
репозиториев до: 2514
репозиториев после: 2514
✅ имена, размеры и последние коммиты совпадают
```
**Сами репозитории лежат на диске (`/data/git/repositories`, 706 МБ),
а не в базе.** Перенос базы их не касается — это и было главной
страховкой.
### Два исключения, оба осознанные
| Что | Почему | Как вернуть |
|---|---|---|
| `webhook` — 2 записи | разбор CSV даёт сдвиг значений между колонками (текст попадает в логическое поле) | вручную в Gitea: репозиторий buryan-infra → Настройки → Веб-хуки → `http://192.168.1.108:5680/webhook/gitea-task`, метод POST, события push |
| `notification` — 167 | ЖИВАЯ таблица уведомлений, служба ведёт её сама (как Commands и Logs у медиа-сервисов) | не требуется |
Содержимое веб-хуков сохранено в карантине: `webhook-records.csv`.
### Шестое правило проверки
**«Контейнер запущен» и «API отвечает» — ещё не значит, что служба
работает с данными.** Решающая проверка Gitea — не версия через API,
а **запись в репозиторий**: коммит и отправка прошли, значит база
обслуживает систему контроля версий.
### Итог по всем базам
| Сервис | База | Как проверено |
|---|---|---|
| Gitea | 16 МБ | 33 таблицы, опись 2514 репозиториев, коммит и отправка |
| Grafana | 14 МБ | 28 таблиц, ключи байт в байт |
| Vaultwarden | 8,8 МБ | хеши, соли, 12 записей байт в байт |
| Sonarr | 14 МБ | 9 из 10 |
| Radarr | 11 МБ | 9 из 10 |
| Prowlarr | 9 МБ | 6 из 6 |
| Bazarr | 8,8 МБ | 3 из 3 |
| Paperless | 18 МБ | уже был на PostgreSQL |
**Все службы, поддерживающие PostgreSQL, переведены на центральную базу.**
Осталась Uptime Kuma — её версия 1.23.17 PostgreSQL не поддерживает.
---
## ✅ СПРАВОЧНИК КОМАНД И ПЕРЕВОД БОТА В MATRIX (15.10.2026)
### 1. Справочник команд — команды больше не в голове
Создан **единственный источник правды**: `ops/bots/commands.yaml`.
Из него генерируется всё: справка `/help` для каждого бота и общий
справочник `docs/COMMANDS.md` в репозитории.
```
ops/bots/commands.yaml ← правим только здесь
↓ gen_help.py
├── /help в каждом боте (только его команды)
├── /help <команда> (подробно: вызов, примеры, доступ)
├── опечатка → «возможно, вы имели в виду /status?»
└── docs/COMMANDS.md (общий справочник в Gitea)
```
**28 команд, 5 ботов.** Добавить команду = добавить запись в справочник.
Генератор работает **без внешних библиотек**: если PyYAML нет —
используется встроенный разбор. Проверено, справка формируется в обоих случаях.
### 2. Бот подключён к справочнику
Зашитая в код справка (четыре строки) заменена вызовом генератора.
Проверено внутри контейнера: `из справочника: True`, длина 444 знака.
Если справочник недоступен — бот возвращается к прежнему тексту и
продолжает работать.
Копия исходного файла: `/app/bot.py.before-help`.
### 3. Найдена и устранена причина таймаутов Matrix
В журнале бота было **74 предупреждения `Timed out`** от Matrix-клиента.
**Причина:** бот обращается к Matrix по публичному адресу, а в его
окружении задан `HTTP_PROXY` — тот самый, что нужен для обхода
блокировок Telegram. Matrix стоит **в соседнем контейнере**
(192.168.1.155), и ходить к нему через внешний прокси не нужно.
**Исправление:** адрес Matrix добавлен в `NO_PROXY`.
**Результат: таймаутов 74 → 0**, в журнале появилось
**«Matrix-слушатель запущен»**, события из комнат обрабатываются.
Это важный вывод на будущее: **внутренние службы не должны ходить
через прокси, предназначенный для внешнего доступа.**
### 4. Что это даёт
| Было | Стало |
|---|---|
| справка из четырёх строк в коде | справочник из 28 команд, генерируется |
| команды надо помнить | `/help` показывает, `/help <команда>` объясняет |
| опечатка ничего не подсказывает | подсказка похожей команды |
| Matrix-связь таймаутила | 0 таймаутов, слушатель работает |
| всё в одном боте | разделение на 5 ботов описано в справочнике |
---
## ✅ РАЗДЕЛЕНИЕ БОТОВ В MATRIX (15.10.2026)
Созданы **5 отдельных ботов**, у каждого свой аккаунт и **своя комната**.
Это и есть устранение «салата»: в комнате тревог — только тревоги,
в комнате обновлений — только обновления.
| Бот | Аккаунт | Комната | Назначение |
|---|---|---|---|
| ADM | `@bot_adm` | `!sDukykCHyLqGYtQKxM` | состояние и перезапуски |
| WORK | `@bot_work` | `!rCnjnPEBkOMupcSoRf` | обновления и задачи |
| **ALERT** | `@bot_alert` | `!CrMTfxqlwSTAAFTrVd` | **только тревоги** |
| AUTH | `@bot_auth` | `!onCYnxVDmqbnsNvcWH` | доступ и регистрация |
| MEDIA | `@bot_media` | `!PDfGtATzsaXhOqJrCv` | медиасервисы |
**Проверено:** каждый из пяти ботов отправил сообщение в свою комнату —
5 из 5. Комнаты без сквозного шифрования: это машинные сообщения,
а не переписка людей.
Настройки с ключами — `/root/.buryan-bots-matrix.env`, права 600,
в репозиторий не попадает.
### Слой уведомлений переведён на бота ALERT
Раньше тревоги шли от административного бота в общую комнату.
Теперь — **от бота ALERT в его комнату**. Проверено отправкой:
сообщение доставлено, отправитель — `@bot_alert`.
Это важно не для красоты: когда тревоги и задачи в разных комнатах,
тревогу **видно сразу**, её не теряют среди рабочих сообщений.
---
## ✅ КОМАНДЫ ОБНОВЛЕНИЯ В MATRIX (15.10.2026)
Добавлены команды, доступные прямо из Matrix:
| Команда | Что делает |
|---|---|
| `/queue` | очередь обновлений с номерами заявок и состоянием |
| `/approve НОМЕР` | одобрить обновление |
| `/reject НОМЕР` | отклонить обновление |
| `/help [команда]` | справка из общего справочника |
**Закрыт пробел в безопасности:** раньше в Matrix **не было проверки
прав вообще** — команду `/restart` мог вызвать любой участник комнаты.
Введён список администраторов Matrix; изменение состояния служб доступно
только им.
### Найдены и устранены ДВА серьёзных препятствия
**1. Правки кода терялись при пересоздании контейнера.**
Код бота собирается в образ. Я правил файл внутри контейнера, а
`docker compose up --force-recreate` возвращал исходную версию — так
дважды пропали и справка, и команды.
Собрать образ заново **невозможно: нет доступа к Docker Hub**
(`registry-1.docker.io — i/o timeout`). Поэтому код перенесён на хост
и **подключён в контейнер**: `/opt/automation-lxc/telegram-admin-bot/`
`bot.py`, `commands.yaml`, `gen_help.py`. Теперь правки сохраняются
при любом пересоздании.
**2. Matrix снова начал таймаутить.**
Оказалось, настройки окружения лежат **не в файле compose, а в `.env`**.
Прошлая правка `NO_PROXY` при восстановлении конфигурации пропала.
Исключение добавлено в правильный файл:
```
NO_PROXY=...192.168.1.155... (Matrix в соседнем контейнере)
```
### Главный вывод
**Telegram не отвечает: `TelegramNetworkError: Request timeout error`.**
Это уже не риск, а факт — подтверждается журналами. Именно поэтому
перевод в Matrix сделан вовремя: канал, на который мы опирались,
**фактически перестал работать**.
### Проверено
```
функций в коде: 4 из 4
справка из справочника: да
слушатель Matrix: запущен
таймаутов Matrix: 0
```
---
## ✅ КОМАНДЫ ОБНОВЛЕНИЯ В MATRIX ПРОВЕРЕНЫ ЖИВЬЁМ (15.10.2026)
Проверено не по коду, а по фактическим ответам в комнате:
| Команда | Ответ бота |
|---|---|
| `/help` | справка из справочника: «ADM — Управление службами и состояние инфраструктуры» |
| `/queue` | **«Очередь обновлений»**: №17 неудача, №13 отменено, №10 выполнено, №8, №4, №3 |
| `/approve 99` | «Недостаточно прав для этого действия» |
| `/statsu` | «Неизвестная команда» (подсказка требует доработки) |
**`/queue` действительно читает очередь из базы** — в ответе видны
настоящие заявки с их состояниями.
**Проверка прав работает:** бот ADM одобрять не может, право только
у администратора Matrix. До этой правки команду `/restart` мог вызвать
**любой участник комнаты**.
### Замечание
При опечатке бот отвечает «Неизвестная команда» вместо подсказки
похожей команды. Причина выясняется; на работу команд не влияет.
---
## ТОЧКА ПРИЁМА УВЕДОМЛЕНИЙ (15.10.2026)
**Выяснено:** остальные «боты» — не отдельные боты, а **рабочие
процессы n8n**, которые шлют в Telegram. Активных семь:
| Процесс | Токен |
|---|---|
| Alert Queue Processor | ALERT |
| Prometheus/Grafana Alert Webhook | ALERT |
| Uptime Kuma → Gitea Self-Healing | ALERT |
| F6-2: Self-Service Registration | AUTH |
| F6-3: Version Watch Handler | ADM |
| Gitea Task Dispatcher | есть Telegram |
| Buryan Health Monitor | — |
**Matrix не использует ни один.** Токены WORK и MEDIA не задействованы
вовсе — эти боты не разворачивались.
### Что построено
Один адрес, куда любой процесс может послать сообщение:
```
POST http://192.168.1.10:8099/notify
{"text": "...", "source": "имя процесса", "bot": "alert|auth|work|adm|media"}
↓
notify.send() → Matrix (основной) + Telegram (зеркало)
```
Разным процессам — **разные боты**: тревоги уходят от ALERT в комнату
тревог, сообщения о доступе — от AUTH в комнату доступа. Это и есть
разделение по задачам.
Служба: `buryan-notify.service`, запускается автоматически,
журнал `/var/log/buryan-notify.log`.
---
## ТОЧКА ПРИЁМА ПОНИМАЕТ ФОРМАТ TELEGRAM (15.10.2026)
Чтобы переключить процессы n8n **минимальной правкой**, точка приёма
теперь принимает тот же запрос, что и Telegram:
```
БЫЛО: https://api.telegram.org/bot{{ТОКЕН}}/sendMessage
СТАЛО: http://192.168.1.10:8099/bot{{ТОКЕН}}/sendMessage
```
Поля `chat_id`, `text`, `parse_mode` остаются прежними, ответ приходит
в том же виде (`{"ok": true, ...}`). **Логика процессов не меняется —
меняется только адрес.**
Бот определяется **по токену автоматически**: тревоги уходят от ALERT
в комнату тревог, сообщения о доступе — от AUTH в комнату доступа.
### Проверено
```
тревога (токен ALERT) → {"ok": true, "routed": {"delivered": true}} → @bot_alert
доступ (токен AUTH) → {"ok": true, "routed": {"delivered": true}} → @bot_auth
```
Разделение по задачам работает: одно и то же обращение, но разные
токены — и сообщения попадают в **разные комнаты от разных ботов**.
### Что осталось
Переключить адреса в семи активных процессах n8n:
Alert Queue Processor, Prometheus/Grafana Alert Webhook,
Uptime Kuma → Gitea Self-Healing, F6-2, F6-3, Gitea Task Dispatcher,
Buryan Health Monitor.
---
## ✅ ПРОЦЕССЫ n8n ПЕРЕКЛЮЧЕНЫ НА MATRIX (15.10.2026)
### Как было устроено на самом деле
Процессы n8n слали в Telegram **не напрямую, а через внешний
VPS-ретранслятор**:
```
https://193.233.210.184/tg-api/bot<ТОКЕН>/sendMessage
```
Это и есть причина, по которой Telegram «работает плохо»: каждое
уведомление проходило через внешний узел.
### Что сделано
Наша точка приёма построена с **той же структурой адреса**, поэтому
замена оказалась точной и безопасной:
```
БЫЛО: https://193.233.210.184/tg-api/bot<ТОКЕН>/sendMessage
СТАЛО: http://192.168.1.10:8099/bot<ТОКЕН>/sendMessage
```
**Внешний VPS не тронут** — мы просто перестали через него ходить.
### Переключено 5 процессов
| Процесс | Обращений |
|---|---|
| Alert Queue Processor | 1 |
| Prometheus/Grafana Alert Webhook | 1 |
| Uptime Kuma → Gitea Self-Healing | 1 |
| F6-2: Self-Service Registration | 3 |
| F6-3: Version Watch Handler | 1 |
```
осталось обращений к внешнему VPS: 0
```
### Маршрутизация по ботам работает
Токен определяет, **от какого бота** уйдёт сообщение и **в какую комнату**:
| Токен | Бот | Комната |
|---|---|---|
| 8668603602 (3 обращения) | **ALERT** | комната тревог |
| 8698835423 (3 обращения) | **AUTH** | комната доступа |
| 8653974364 (1 обращение) | **ADM** | комната администратора |
Один и тот же адрес — но тревоги, заявки на доступ и служебные
сообщения попадают **в разные комнаты от разных ботов**. Это и есть
разделение по задачам.
### Проверено
```
перезапуск n8n: состояние running
отправка: {"ok": true, "routed": {"delivered": true, "bot": "alert"}}
сообщение в комнате тревог: доставлено
```
### Копия и возврат
Копия всех процессов: `/mnt/backups/retired/20261015_161810-n8n-workflows/`
Возврат одной командой:
```
UPDATE workflow_entity SET nodes =
replace(nodes::text, 'http://192.168.1.10:8099',
'https://193.233.210.184/tg-api')::json
WHERE nodes::text LIKE '%192.168.1.10:8099%';
```
`Gitea Task Dispatcher` не переключён: он использует узел Telegram,
а не веб-запрос — это отдельная правка структуры процесса.
---
## ✅ МЕХАНИЗМ ОБНОВЛЕНИЯ ПРОВЕРЕН СКВОЗНЫМ ПУТЁМ (15.10.2026)
Проверка проведена на службе `dashy` — не критичной, уже
использовавшейся для испытаний.
### Путь целиком, с временем
```
13:24:29 заявка №18 создана (одобрена)
13:25:01 исполнитель забрал задачу ← в течение минуты
13:25:01 снимок контейнера
13:25:18 контейнер пересоздан на новом образе
13:25:28 задача выполнена
```
**Всего 27 секунд от забора до результата.**
### Что подтверждено
| Проверка | Результат |
|---|---|
| Заявка забрана исполнителем | да, за 32 секунды после создания |
| Снимок перед обновлением | создан |
| Контейнер пересоздан | да, время создания 13:25:18 |
| Служба отвечает | **200** |
| Снимок убран за собой | да |
| Результат записан в базу | `done`, попыток 1 |
Запись в журнале исполнителя:
```
[2026-10-15 16:25:01] взята задача 18: dashy -> (CT 102)
[2026-10-15 16:25:28] задача 18 выполнена
```
### Найдены две неполадки
**1. `matrix-synapse` отсутствует в реестре обновлений.**
Заявка №17 провалилась с пояснением:
```
сервис 'matrix-synapse' не найден в реестре обновлений
```
В реестре служба называется **`matrix`**, а заявка пришла с именем
`matrix-synapse`. Расхождение имён — служба не может быть обновлена.
Это и есть источник того самого уведомления.
**2. Исполнитель зацикливается на отложенных задачах.**
В журнале каждую минуту с 03:39 по 03:59 повторяется:
```
отложенных переведено в одобренные: 1
```
Одна и та же задача переводится снова и снова. За ночь это дало
**21 лишнюю запись** в журнале. Механизм перевода отложенных задач
не помечает их как переведённые, поэтому берёт их повторно.
### Состояние очереди
| № | Служба | Состояние |
|---|---|---|
| 18 | dashy | **выполнено** |
| 17 | matrix-synapse | неудача — нет в реестре |
| 13, 12 | проверка-прав | отменены |
| 10, 8, 4, 3 | dashy | выполнены ранее |
---
## ИСПРАВЛЕНЫ ДВЕ НЕПОЛАДКИ ИСПОЛНИТЕЛЯ (15.10.2026)
### 1. Служба не находилась по имени контейнера
Заявка приходит с именем **контейнера** (`matrix-synapse`), а в реестре
служба называется **`matrix`** — там указано `container: matrix-synapse`.
Сопоставление по имени не срабатывало, заявка проваливалась:
```
сервис 'matrix-synapse' не найден в реестре обновлений
```
**Исправление:** добавлен запасной поиск по полю `container` в реестре.
Теперь служба находится, даже если заявка названа именем контейнера.
### 2. Зацикливание на отложенных задачах
Блок перевода отложенных задач выполнялся **каждую минуту весь час**,
не помечая переведённые. За ночь — **61 повтор** одной и той же записи.
**Исправление:** переводятся только те задачи, что ещё не переводились
сегодня. Повтор исключён.
Копия исполнителя до правки: `update-runner.sh.before-defect-fix`.
---
## ИСПРАВЛЕНО: УВЕДОМЛЕНИЯ И ВЕРСИИ (15.10.2026)
Замечание владельца: об обновлении пришло уведомление **в Telegram**,
в Matrix — нет; и в сообщении **не было версии**.
### 1. Уведомления исполнителя шли мимо общего слоя
Функция уведомления отправляла напрямую в Telegram через прокси:
```
curl -x $TG_PROXY ... https://api.telegram.org/bot${token}/sendMessage
```
**Весь смысл перевода был в том, чтобы уведомления шли в Matrix**, а
исполнитель обновлений остался в стороне. Исправлено: теперь он шлёт
на нашу точку приёма, которая отдаёт сообщение в Matrix и дублирует
в Telegram.
### 2. Версия не записывалась нигде
* процесс **F6-3** её вычисляет, но создаёт задачу в Gitea, а не в очередь;
* **safe-update.sh** знает новую версию (`$NEW_VERSION`), но в базу не пишет;
* исполнитель читает `new_version` из очереди — там пусто.
Отсюда сообщение «обновлён до» без числа.
**Исправлено:** версия берётся из вывода safe-update.sh и записывается
в очередь, а уведомление её показывает. Если версия неизвестна, честно
пишется «текущая версия», а не пустота.
Копия до правки: `update-runner.sh.before-notify-fix`.
---
## ИСПРАВЛЕНА МАРШРУТИЗАЦИЯ ПО КОМНАТАМ (15.10.2026)
**Замечание владельца:** почему запросы приходят в AUTH и отвечает ли
он за эти задачи. Проверка подтвердила ошибку.
В комнате AUTH лежали уведомления об обновлениях:
```
✅ calibre обновлён до ...
✅ navidrome обновлён до ...
✅ tautulli обновлён до ...
✅ freshrss обновлён до ...
```
**Это не его задача.** Обновлениями занимается WORK, тревогами — ALERT.
### Причина — ошибка в моём коде
В точке приёма выбор комнаты делался **подменой функции на лету**:
```python
notify._matrix_env = lambda: (env[...], token, room)
```
Подмена **сохранялась навсегда**. Как только приходило одно сообщение
для AUTH, все последующие — включая тревоги и обновления — уходили
**в комнату AUTH**. Ошибка накапливалась незаметно.
### Исправление
Бот и комната выбираются **для каждого сообщения отдельно**, без
подмены общих функций: адрес, ключ и комната передаются явными
параметрами. Состояние между сообщениями не переносится.
Проверено именно той последовательностью, что вызывала сбой:
сначала сообщение для AUTH, затем тревога ALERT. Тревога ушла
в комнату тревог, а не в AUTH.
Копии до правки: `notify.py.before-routing-fix`,
`notify-api.py.before-routing-fix`.
---
## ПАРТИЯ ОБНОВЛЕНИЙ: overseerr, mealie, bazarr (15.10.2026)
| Служба | Результат | Ответ | Время |
|---|---|---|---|
| overseerr | выполнено | 200 | 1 мин 36 с |
| mealie | выполнено | 200 | 1 мин 11 с |
| bazarr | выполнено | **401** | 1 мин 48 с |
**Всего за сегодня обновлено 10 служб.** Снимки за собой убраны —
не осталось ни одного.
### Про 401 у Bazarr — это не поломка
В реестре для этой службы прямо помечено:
```
healthcheck:
url: http://192.168.1.120:6767/api/system/status
auth_required: true
```
Адрес проверки **требует входа**, поэтому 401 — правильный ответ:
служба работает и корректно отказывает без учётных данных.
Подтверждено: контейнер запущен, в журнале «BAZARR is started and
waiting for requests», корневой адрес отвечает **200**, база цела,
служба работает **на PostgreSQL**.
**Исправлена моя проверка:** скрипт партии не учитывал пометку
`auth_required` и отмечал службу как «требует внимания». Это была
ложная тревога. Теперь пометка учитывается.
### Вывод
Из десяти обновлений **ни одного сбоя**. Ложная тревога была одна —
и то в моей проверке, а не в службе.
---
## ПАРТИЯ ОБНОВЛЕНИЙ: sonarr, radarr, prowlarr (15.10.2026)
| Служба | Результат | Ответ | Версия образа |
|---|---|---|---|
| sonarr | выполнено | 401 (требуется вход) | lscr.io/linuxserver/sonarr:latest |
| radarr | выполнено | 401 (требуется вход) | lscr.io/linuxserver/radarr:latest |
| prowlarr | выполнено | 401 (требуется вход) | lscr.io/linuxserver/prowlarr:latest |
**Всего обновлено 13 служб.**
### Замечание: обновлять было нечего
Контейнеры **не пересоздавались** — время создания осталось прежним
(10:38, момент перевода этих служб на PostgreSQL). Значит образы уже
были самыми свежими, и обновление свелось к проверке.
Задача при этом помечена выполненной, а уведомление говорит «обновлён
до…» — хотя фактически ничего не менялось. **Это неточность:** стоит
различать «обновлено» и «уже актуально». Записал как улучшение.
---
## НАЙДЕН И ИСПРАВЛЕН ДЕФЕКТ ПЕРЕНОСА: СЧЁТЧИКИ НОМЕРОВ (15.10.2026)
### Как обнаружился
При обновлении `paperless` проверка не прошла, сработал откат — и при
попытке создать задачу об откате Gitea вернул **500**:
```
newIssue: pq: duplicate key value violates unique constraint "issue_pkey"
```
### Причина — дефект МОЕГО переноса
При переводе с файловой базы на PostgreSQL **последовательности
(счётчики номеров) не были выставлены по данным**. Они остались на
начале, поэтому новые записи получали уже занятые номера.
**Последствие серьёзное:** Gitea не мог создать **ни одной новой
задачи** — любая попытка возвращала 500. Данные при этом были целы
(343 задачи, 697 комментариев, 22 метки).
Заметить это можно было только попыткой записи — что и произошло.
### Исправление
Для **каждой** таблицы с автонумерацией счётчик выставлен по
наибольшему существующему номеру. Применено ко **всем** базам,
перенесённым из файловых:
`gitea_db`, `vaultwarden_db`, `grafana_db`, `sonarr_db`, `radarr_db`,
`prowlarr_db`, `bazarr_db`, `paperless_db`
Проверено попыткой создания задачи — теперь она создаётся и закрывается.
### Вывод на будущее
**После переноса базы обязательно проверять запись, а не только
чтение.** Чтение работало всё время — падала именно вставка.
---
## СЧЁТЧИКИ ВЫРОВНЕНЫ ВО ВСЕХ ПЕРЕНЕСЁННЫХ БАЗАХ (15.10.2026)
Первая версия исправления не сработала на медиа-службах:
```
ERROR: relation "versioninfo" does not exist
```
Причина: у Sonarr, Radarr и Prowlarr таблица называется `VersionInfo`
**с заглавных букв**, а имя передавалось без кавычек, и PostgreSQL
приводил его к нижнему регистру.
Исправлено: имя оборачивается в `quote_ident`, регистр сохраняется.
Добавлена обработка ошибок по каждой таблице отдельно, чтобы одна
неудача не останавливала остальные.
Применено ко всем перенесённым базам, результат проверен записью.
---
## ОТКАЧЕНО: ПРАВКА РАЗРЕШЕНИЯ ИМЁН (15.10.2026)
### Что я сделал и почему это было ошибкой
Пытаясь убрать зависимость от внешнего VPS, я направил домены
`*.buryans.ru` на **внутренние адреса служб** через файл hosts
на узле.
**Но внутренние службы работают по HTTP** (Authentik — порт 9000,
Synapse — 8008), а запросы идут **по HTTPS на порт 443**. Внутри сети
прокси с сертификатами для этих доменов нет — NPM на 443 слушает, но
эти домены не обслуживает.
**Результат — стало хуже:**
```
authentik.buryans.ru → HTTPS 000 (было 302)
проверка сертификатов: было 14 доменов, стало 10
```
### Что подтвердилось
**Через VPS всё работает:** `authentik.buryans.ru` → **302 за 0.7 с**.
То есть VPS — рабочее решение, а не проблема. Быстрая скорость
внутреннего адреса (0.0003 с) обманчива: она была быстрой ПОТОМУ ЧТО
не отвечала.
### Вывод
**Правка откачена.** Урок: недостаточно поменять адрес — нужно
проверить, что по новому адресу служба отвечает ТЕМ ЖЕ протоколом
и на том же порту. Я проверил адрес, но не проверил протокол.
Копии файла hosts сохранены в `/root/hosts.before-*`.
---
## ОБНОВЛЕНИЯ: 23 СЛУЖБЫ (15.10.2026, продолжение)
Обновлены ещё: `uptime-kuma`, `openclaw`, `prometheus`, `grafana`,
`npm`, `n8n`, `vaultwarden`, `headscale`.
**Всего за сутки: 23 службы. Неудач: 1 (paperless, откат выполнен).**
### Ложная тревога по headscale
Служба `headscale` установлена **прямо в контейнер** (тип `native`),
а не через Docker. Моя проверка искала контейнер Docker, не находила
и отмечала службу как «требует внимания».
**Это была ошибка проверки, а не службы.** VPN при этом работал всё
время: VPS видел домашние узлы (0 потерь), внешний вход в Matrix и
Authentik отвечал 302, headscale на VPS — v0.22.3, активен.
Проверка исправлена: для служб вида `native` состояние берётся через
systemd, с ожиданием подъёма после перезапуска.
---
## ВОССТАНОВЛЕН HEADSCALE НА CT 201 (15.10.2026)
### Что было
Служба `headscale` билась в цикле перезапусков:
```
перезапусков: 46691
```
При перезапуске раз в 5 секунд это **≈65 часов ≈ 2,7 суток**
непрерывного падения — то есть заметно раньше сегодняшнего дня.
Причина:
```
error="initial DERPMap is empty, Headscale requires at least one entry"
```
В настройке **отсутствовал раздел DERP**, а установленная версия его
требует.
### Важно: сеть от этого не страдала
Координацию держит **headscale на VPS** — там зарегистрированы все
узлы (vps, pve, s25-ultra, ct155), и он активен. Домашний экземпляр
дублирующий и рабочим не был.
### Что сделано
Добавлен раздел DERP со стандартной картой. Служба остановлена,
настройка поправлена, запущена заново. Копия настройки сохранена:
`config.yaml.before-derp-fix`.
### Вывод о проверках
**Дважды за сессию проверка показала «в порядке» там, где было
сломано:** сначала из-за вида службы (native против Docker), затем
из-за того, что systemd на миг сообщает «active» между перезапусками.
**Правильная проверка службы — по живому процессу, порту и отклику,
а не по состоянию systemd.** Внесено в общие правила.
---
## НАЙДЕНА И ИСПРАВЛЕНА ПРИЧИНА НЕУДАЧ ОБНОВЛЕНИЯ (15.10.2026)
### Причина — дефект исполнителя, а не служб
Три попытки обновления `matrix` откатились. Разбор показал:
**В коде исполнителя окно ожидания задано жёстко:**
```
HEALTH_WAIT="${HEALTH_WAIT:-120}" ← 120 секунд
проверка: 24 попытки × 5 секунд = 120 секунд, код 000
```
**Synapse после пересоздания поднимается дольше.** Он читает большую
базу, и холодный старт не укладывается в 120 секунд. Проверка не
дожидается готовности, исполнитель честно откатывает.
**Само обновление при этом проходило успешно:**
```
19:37:03 Обновляем через compose: /opt/matrix (служба synapse)
19:37:33 ✅ Контейнер matrix-synapse работает из актуального образа
19:39:33 🚨 Проверка не пройдена — откат
```
**Отсюда же неудача `paperless`** — то же приложение на Python с
большой базой и то же короткое окно.
### Что проверено попутно
* `matrix-coturn` запущен **вне проекта** compose — на обновление
synapse это не влияет (исполнитель обновляет только службу synapse);
* пересоздание контейнера проходит штатно;
* служба ни разу не пострадала — откат каждый раз возвращал её
в рабочее состояние (healthy, ответ 200).
### Исправление
Окно ожидания теперь задаётся **для каждой службы отдельно** в реестре
(`wait:`), значение по умолчанию остаётся 120 секунд.
| Служба | Окно |
|---|---|
| matrix | 480 с |
| paperless | 480 с |
| gitea | 300 с |
| authentik | 300 с |
Копии до правки: `safe-update.sh.before-wait-fix`,
`services.yaml.before-wait-fix`.
---
## ПРИЧИНА НЕУДАЧ MATRIX: НОВАЯ ВЕРСИЯ НЕ ЗАПУСКАЕТСЯ В КОНТЕЙНЕРЕ (15.10.2026)
### Установлено окончательно
Обновление скачивает новый образ Synapse, контейнер пересоздаётся —
и **новый Synapse падает при запуске**:
```
RuntimeError: creating the Tokio wakeup socket pair
Caused by:
Permission denied (os error 13)
```
Новая версия Synapse использует Rust (Tokio) и при старте создаёт
служебный сокет. **В непривилегированном контейнере LXC это
запрещено.**
### Почему это не дефект исполнителя
| Проверенное предположение | Результат |
|---|---|
| Короткое окно ожидания | **не подтвердилось**: 480 секунд — тот же код 000 |
| Неверный адрес проверки | **не подтвердилось**: адрес отвечает 200 |
| Конфликт с coturn | **не подтвердилось**: coturn вне проекта, не мешает |
Каждый раз откат исправно возвращал службу — механизм отката
зарекомендовал себя с лучшей стороны.
### Что это значит
**Обновление Synapse невозможно без изменения настроек контейнера.**
Варианты (требуют решения владельца):
1. сделать контейнер привилегированным;
2. добавить нужные разрешения точечно;
3. остаться на текущей версии Synapse.
**Служба возвращена на прежний рабочий образ.** Новый образ сохранён
под меткой `synapse:new-20261015` — чтобы не скачивать заново.
---
## ✅ ПРИЧИНА НАЙДЕНА И УСТРАНЕНА: ПРОФИЛЬ БЕЗОПАСНОСТИ (15.10.2026)
### Виновник назван журналом ядра
```
apparmor="DENIED" operation="create" class="net"
info="failed protocol match" error=-13
profile="docker-default"
family="unix" sock_type="stream" requested="create"
```
Профиль безопасности Docker **запрещал создание сокетов Unix**.
Из шести проверок запуска:
```
обычный запуск → ОТКАЗ
без AppArmor → РАБОТАЕТ ← виновник найден
привилегированный → РАБОТАЕТ
```
### Почему это началось «несколько дней назад»
В новых версиях ядра и AppArmor появилось **сопоставление по
протоколу**. Общее правило `network,` в профиле перестало покрывать
сокеты вида `unix stream`.
**Уже работающие контейнеры не пострадали** — профиль применяется при
создании и далее не перечитывается. Пострадали только **пересоздаваемые**,
то есть ровно те, что появляются при обновлении.
**Отсюда все неудачи:** matrix (4 попытки), paperless.
### Почему на узле правка не помогла
У **каждого контейнера LXC своя область AppArmor**. Правка файла на
узле не влияет на контейнер — нужна правка внутри него.
Это выяснилось по именам профилей вида `:lxc-155_<-var-lib-lxc>:docker-default`.
### Исправление — третий путь, как выбрал владелец
В профиль добавлены **явные виды сокетов**. Защита **не отключена**,
привилегий **не выдано** — разрешено только создание сокетов внутри
контейнера.
### Результат
| | До | После |
|---|---|---|
| Попыток проверки | **96** (480 секунд) | **1** |
| Ответ службы | 000 | 200 |
| Итог | откат | **обновление выполнено** |
**Matrix обновлён**: контейнер пересоздан (было 18 апреля),
служба healthy, вход по единому входу работает, запретов в журнале 0.
Материалы: `ops/security/` — профиль и описание.
---
## ОБНОВЛЕНИЯ ЗАВЕРШЕНЫ: 27 ИЗ 28 (15.10.2026)
### Обновлено в этой части
| Служба | Результат | Как проверено |
|---|---|---|
| `matrix` | ✅ done | профиль исправлен, проверка на 1-й попытке, вход по SSO работает |
| `paperless` | ✅ done | добавлен секретный ключ, контейнер пересоздан, отклик 302 |
| `gitea` | ✅ done | образ был актуален, служба 200 |
| `authentik` | ✅ done | образ был актуален, служба 200 |
### `paperless` — причина и исправление
Новая версия **требует обязательный секретный ключ**:
```
PAPERLESS_SECRET_KEY is not set or is the default 'change-me' value
```
Старая версия работала без него. Ключ сгенерирован и добавлен в
настройку (`/root/.paperless-secret`, права 600).
При первой попытке служба ушла в перезапуск, откат вернул её,
но контейнер остался **остановленным** — пришлось поднимать вручную.
Это важный урок: **после отката проверять, что служба запущена**.
### `postgres-rbac` — НЕ ОБНОВЛЁН, и это осознанно
Проверка показала, что обновление окажется **сменой основной версии**:
```
работает: PostgreSQL 17.11
meta-пакет: 14 → 18
```
Установлены версии 14 и 17, пакет тянет 18.
**Это не обновление, а перенос данных** с остановкой всех служб.
В базе **40 баз** — вся информация хозяйства.
При неудаче без данных останется **всё сразу**. По правилу
«сомневаешься — остановись» обновление отложено до отдельного
плана и присутствия владельца.
### Итог
**27 из 28 служб обновлены.** Осталась одна — по обоснованной причине.
### Состояние проверено после каждого шага
```
Matrix 200 · Authentik 200 · Gitea 200 · Vaultwarden 200
n8n 302 · Paperless 302
```