Files
buryan-infra/docs/NIGHT-JOURNAL.md
T

50 KiB
Raw Blame History

Журнал ночного спринта

Начат: 2026-10-14 Принцип: «сделано» означает «проверено». Каждая запись содержит не «команда выполнена», а чем подтверждён результат.

При остановке (лимит, ошибка, стоп-условие) состояние таково: всё со статусом ✅ работает, всё со статусом ⬜ не тронуто. Незавершённых «наполовину» состояний быть не должно.


Статусы

Знак Значение
⬜ не начато
🔄 выполняется
✅ проверено — результат подтверждён
⏸ отложено (требует решения владельца)
❌ не удалось, откачено

Этап 1. Уборка безопасного

# Что Статус Подтверждение
1.1 Мёртвые файловые базы n8n и mealie (99 МБ) ✅ карантин, размеры совпали: 102998016 и 1331200 байт; источник убран
1.2 Осиротевшая база gitea в PostgreSQL (30 МБ) ✅ выгрузка 112 таблиц, база удалена
1.3 Старый кластер PostgreSQL 14 (381 МБ) ✅ выгрузка 14 баз / 1012 таблиц / 323688 строк проверена; все базы есть в рабочем; кластер удалён, освобождено 500 МБ

Этап 2. Кодировка: образец

# Что Статус Подтверждение
2.1 buryan_monitoring → UTF8 + ICU ru-RU ✅ длина «Привет» 6, upper ПРИВЕТ, сортировка true; права выданы явно; бот пишет

Этап 3. Кодировка: остальные базы

# База Размер Статус Подтверждение
3.1 headscale 8 МБ ✅ был UTF8 изначально
3.2 authentik 8 МБ ✅ состав таблиц совпал, русский текст проверен
3.3 buryan_hub 8 МБ ✅ состав таблиц совпал, русский текст проверен
3.4 buryan_monitor 8 МБ ✅ состав таблиц совпал, русский текст проверен
3.5 authentik_db 25 МБ ✅ состав таблиц совпал, русский текст проверен
3.6 gitea 30 МБ ⏸ переносится на этапе 6
3.7 firefly_db 11 МБ ✅ состав таблиц совпал, русский текст проверен
3.8 mealie_db 12 МБ ✅ состав таблиц совпал, русский текст проверен
3.9 nextcloud_db 17 МБ ✅ состав таблиц совпал, русский текст проверен
3.10 paperless_db 20 МБ ✅ состав таблиц совпал, русский текст проверен
3.11 n8n_prod 14 МБ ✅ состав таблиц совпал, русский текст проверен
3.12 n8n_central 17 МБ ✅ состав таблиц совпал, русский текст проверен
3.13 n8n 87 МБ ✅ состав таблиц совпал, русский текст проверен
3.14 immich_db 95 МБ ⏸ требует доступа к виртуальной машине либо вашего решения

Этап 4. Перенос файловых баз

# Сервис Размер Статус Подтверждение
4.1 Vaultwarden 288 КБ ⬜ —
4.2 Grafana 1,5 МБ ⬜ —
4.3 Sonarr 3,2 МБ ⬜ —
4.4 Radarr 2,0 МБ ⬜ —
4.5 Prowlarr 368 КБ ⬜ —
4.6 Bazarr 364 КБ ⬜ —

Этап 5. Двойной Paperless

# Что Статус Подтверждение
5.1 Разбор двух развёртываний ⬜ —
5.2 Перенос оставшегося экземпляра ⬜ —

Этап 6. Gitea

# Что Статус Подтверждение
6.1 Выгрузка и снимок ⬜ —
6.2 Перенос базы на UTF8 ⬜ —
6.3 Проверка: репозитории, пользователи, вход ⬜ —

Этап 7. Uptime Kuma

# Что Статус Подтверждение
7.1 Перенос 160 МБ ⬜ —

Этап 8. Проверка восстановления

# Что Статус Подтверждение
8.1 Восстановление копии базы и сверка ⬜ —

Этап 9. Отчёт

# Что Статус Подтверждение
9.1 Итоговый отчёт ⬜ —

Журнал событий

Записи добавляются по ходу, после каждого значимого шага.

[начало] Аудит завершён: откат проверен по трём механизмам.
         Пул 36,5%, копии целы, 28 сервисов без замечаний.

[19:42:29] buryan_hub -> [19:42:42] buryan_monitor -> [19:43:27] firefly_db -> [19:43:43] mealie_db -> [19:44:25] nextcloud_db -> UTF8=UTF8 [19:45:00] paperless_db -> UTF8=UTF8 [19:45:25] n8n_prod -> UTF8=UTF8 [19:45:39] n8n_central -> UTF8=UTF8 [19:45:56] n8n -> UTF8=UTF8 [19:46:45] authentik_db переведена [19:46:56] authentik переведена

[19:34] Этап 1 завершён. Карантин: n8n 98 МБ, mealie 1,3 МБ, осиротевшая gitea,
        выгрузка кластера 14. Освобождено 500 МБ в контейнере баз.

[19:36] ЭТАП 2, ПЕРВАЯ ПОПЫТКА — ОШИБКА.
        Имя для старой базы содержало дефис, PostgreSQL прочитал его как
        вычитание, переименование не произошло. Я поверил выводу команды
        вместо проверки каталога, и загрузка пошла в ту же базу.
        Данные НЕ пострадали (56 сообщений «уже существует»).
        Урок: проверять результат по каталогу, а не по выводу команды.

[19:37] ЭТАП 2 ИСПРАВЛЕН И ЗАВЕРШЁН.
        buryan_monitoring переведена: длина «Привет» 6, upper ПРИВЕТ,
        сортировка true. Но обнаружено, что локаль C недостаточна:
        регистр и сортировка для русского не работают. Проверены варианты
        на тестовых базах, выбран ICU ru-RU.

[19:40] ОБНАРУЖЕНА ПОТЕРЯ ПРАВ У БОТА после пересоздания базы.
        Восстановление по снимку information_schema оказалось неполным.
        Исправлено: права выдаются ЯВНО на всю схему, а не по снимку.

[19:41-19:46] ЭТАП 3. Переведены 12 баз, каждая с проверкой состава таблиц
        и русского текста. Службы останавливались на время переноса
        и запускались обратно.

[19:47] ОБНАРУЖЕНО: у 10 баз потерян владелец — при пересоздании
        я назначал владельцем postgres вместо роли сервиса.
        Проявилось на Authentik: воркер не смог применить миграцию.
        Исправлено: владельцы возвращены из копий до переноса.

[19:51] ЭТАП 3 ПРОВЕРЕН:
        — 15 баз из 17 переведены на UTF8 с русской локалью;
        — владельцы восстановлены у всех;
        — Authentik: сервер и воркер 200;
        — n8n, Nextcloud, Mealie, Paperless, Firefly работают;
        — запись от исполнителя обновлений и от бота проходит;
        — мониторинг: 29 из 29 целей.

        Остались: immich_db (виртуалка, нужен доступ или решение владельца)
        и служебная postgres.

Найденные дефекты процесса

# Что Как обнаружен Исправление
1 Дефис в имени базы ломает переименование сработала проверка состава таблиц имена без дефисов + проверка по каталогу
2 Восстановление прав по снимку неполное бот не смог записать права выдаются явно на всю схему
3 Владелец базы теряется при пересоздании воркер Authentik не запустился владелец берётся из копии
4 Локаль C недостаточна для русского проверка регистра и сортировки ICU ru-RU
[19:52:34] postgres переведена
[19:52:35] immich: требуется доступ к виртуалке или решение владельца
[19:52:40] проверка восстановления: таблицы 9=9, очередь 6=6 — совпало

Случай: ложный успех в моей собственной проверке (Grafana)

Что делалось. Образец переноса файловой базы Grafana в PostgreSQL — отработка метода на сервисе с низкой ценой ошибки.

Точка отката была создана и сработала:

  • снимок контейнера pre-grafana-pg-20261014_201346;
  • копия файловой базы в карантине (132 КБ, архив проверен);
  • копия конфигурации до правок.

Что произошло. Скрипт получил список таблиц файловой базы — и он оказался пустым, потому что в CT 113 не установлен sqlite3. Дальше проверка полноты сравнила ноль строк с нулём строк по нулю таблиц и сообщила: «ПЕРЕНОС ПОЛНЫЙ, все таблицы совпадают».

таблиц: 0
таблиц загружено: 0, с ошибками: 0
совпало таблиц: 0, расхождений: 0
✅ ПЕРЕНОС ПОЛНЫЙ

Это тот же ложный успех, который мы весь день ищем — только теперь в моём собственном коде: проверка проходит, когда проверять нечего.

Что спасло. Я посмотрел на цифры, а не на галочку: ноль таблиц при заявленном успехе — противоречие. Дальнейшая проверка показала, что Grafana действительно подключилась к PostgreSQL (4 соединения от 192.168.1.113), выполнила свои миграции, но схема осталась пустой.

Возврат выполнен полностью:

  • конфигурация восстановлена из копии;
  • контейнер пересоздан;
  • проверено: health ok, 5 дэшбордов на месте, файловая база цела (1,5 МБ), переменных базы в контейнере — 0;
  • тестовая база и роль удалены из PostgreSQL.

Вывод, который надо закрепить в правилах:

Если сравнивать нечего — это ОШИБКА, а не успех. Проверка обязана падать, когда список проверяемых объектов пуст.

Что исправлено:

  1. в проверку полноты добавлено условие: пустой список объектов — провал;
  2. перед переносом проверяется наличие инструментов чтения файловой базы;
  3. в точку отката добавлена запись контрольной суммы файловой базы, чтобы после возврата доказать, что файл не изменился.

Состояние Grafana: работает как прежде, на файловой базе, данные целы.


Образец переноса Grafana: результат

Попыток: три. Итог: возврат к файловой базе, данные целы.

Что выяснилось по ходу

# Препятствие Суть
1 Проверка выдала ложный успех список таблиц был пуст (нет sqlite3), сравнение пустоты прошло как успех
2 Файлы данных не видны из контейнера баз CSV создавались на хосте, psql работает внутри контейнера
3 Служба создаёт начальные записи Grafana при первом запуске создаёт роли, организацию, пользователя — они конфликтуют с переносимыми по уникальным ключам
4 Двоичные данные cache_data и data_keys не проходят как текст: invalid byte sequence for encoding UTF8
5 Схема Grafana 12 не совпадает с файловой дэшборды живут в таблице resource (единое хранилище), а не в dashboard

Итог проверки полноты

таблиц совпало: 22
расхождений:    8   — включая user (1 вместо 2), resource (0 вместо 1),
                      data_keys (0 вместо 9 — ключи шифрования)

Частичный перенос опаснее отказа: служба запускается, но данные потеряны. Поэтому выполнен возврат:

  • конфигурация восстановлена, упоминаний PostgreSQL — 0;
  • контейнер пересоздан, health ok;
  • 5 дэшбордов и 5 пользователей на месте;
  • файловая база используется, данные целы;
  • тестовая база и роль удалены из PostgreSQL.

Вывод для дальнейшей работы

Перенос Grafana возможен, но требует отдельной проработки трёх вещей:

  1. двоичные данные — выгружать не как CSV, а как шестнадцатеричные литералы (X'...' в SQLite → '\x...'::bytea в PostgreSQL);
  2. начальные записи службы — очищать таблицы после создания схемы и до загрузки, при этом не запуская службу между очисткой и загрузкой;
  3. несовпадение схемы — версия Grafana 12 хранит дэшборды в едином хранилище (resource, resource_history), копирование только таблицы dashboard не даёт результата.

Это не тупик, а конкретный список работ. Тот же список нужно составить для каждого следующего сервиса до попытки переноса.


✅ ПЕРЕНОС GRAFANA ЗАВЕРШЁН (15.10.2026)

Результат: Grafana работает на центральной PostgreSQL.

таблиц с данными:        28 из 28 — совпали по числу строк
ошибок загрузки:         0
двоичные ключи:          9 из 9, содержимое совпадает ПОБАЙТОВО (52 байта)
дэшборды:                5      пользователи: 5      источники: 5
подключений к PostgreSQL от Grafana: 4

Как проверялось

Не «служба запустилась», а четыре независимые проверки:

  1. Число строк по каждой таблице — 28 таблиц, расхождений нет.
  2. Содержимое двоичных полей — 9 ключей шифрования сверены побайтово с файловой базой.
  3. Данные внутри базы — в таблице resource лежит дэшборд buryan-health вместе с содержимым ({"kind":"Dashboard",...}).
  4. Подключения — 4 соединения от 192.168.1.113 под ролью grafana_user.

Отдельно отмечу: API Grafana возвращает имена дэшбордов пустыми, потому что запрос идёт без входа. Это свойство API, а не потеря данных — содержимое проверено напрямую в базе.

Четыре ошибки, найденные и исправленные по ходу

# Ошибка Как проявилась
1 Пустой файл команд засчитан как загрузка psql на пустом файле возвращает успех
2 Сдвиг полей при разборе строки средствами bash scope получал значение active; генерацию перевели на awk
3 Выражение выборки начиналось с разделителя «SELECT
4 Несовпадение типов в файловой базе active целое 0/1, PostgreSQL создаёт его ЛОГИЧЕСКИМ; типы теперь берутся из PostgreSQL
5 Одинарные кавычки для имён столбцов в SQL имена требуют двойных
6 grep -c возвращает код 1 при нуле совпадений «|| echo 0» добавлял второй ноль, и вердикт ложно проваливался при успешной загрузке

Главное открытие метода

Контейнер службы нужно УДАЛЯТЬ на время загрузки, а не просто останавливать. Проверка «служба остановлена» показывала exited, но Grafana поднималась снова и перезаписывала перенос своими начальными данными: роли 115 → 7, пользователь 2 → 1. Пока контейнера нет — писать некому, и совпадение стало 28 из 28.

Исправленные инструменты (в ops/scripts)

  • migrate-grafana-v2.sh — перенос со всеми предохранителями;
  • load-blob-table.sh — загрузка таблиц с двоичными полями, с учётом типов PostgreSQL и побайтовой сверкой.

Порядок для следующих сервисов (проверен на Grafana)

  1. Разведка: таблицы, строки, двоичные поля, где лежат ключевые данные.
  2. Точка отката: снимок, копия базы, копия конфигурации.
  3. Дать службе создать схему в PostgreSQL.
  4. Удалить контейнер, очистить таблицы, не давая службе перезапуститься.
  5. Загрузить: текст — через CSV, двоичные — через hex с учётом типов.
  6. Проверять: число строк по каждой таблице, содержимое двоичных полей.
  7. Запустить службу, проверить через API и напрямую в базе.

✅ ПЕРЕНОС МЕДИА-СЕРВИСОВ ЗАВЕРШЁН (15.10.2026)

Prowlarr, Sonarr, Radarr переведены на центральную PostgreSQL.

Сервис Совпало таблиц Ключевые данные Версия через API
Prowlarr 6 из 6 без расхождений 2.6.5.5623
Sonarr 9 из 10 SceneMappings 15 992 = 15 992 4.0.20.3014
Radarr 9 из 10 QualityDefinitions 30 = 30 6.4.4.10685

Расхождение только в служебной таблице Commands — служба обрабатывает её на ходу. Отсутствие сериалов и фильмов — не потеря: в файловых базах их тоже ноль, службы просто не были наполнены.

Главное, что выяснилось

У медиа-сервисов нельзя очищать таблицу версий миграций (VersionInfo).

Первая попытка выглядела успешной по числу строк, но все три службы падали при запуске:

FluentMigrator ... MigrationController.Migrate
DbFactory.CreateMain — Non-recoverable failure, waiting for user intervention

Служба по таблице VersionInfo понимает, какие миграции уже применены. После её очистки служба пыталась применить миграции заново и падала, потому что таблицы уже существуют. Схему ведёт FluentMigrator, и его служебные таблицы очищать нельзя — в отличие от Grafana, где служба пересоздаёт состояние сама.

Вторая находка: остатки обновлений держат порты

Prowlarr не мог запуститься, потому что порт 9696 занимал контейнер prowlarr-old-20261014-175122 — временный контейнер от вчерашнего обновления, который должен был удалиться после проверки.

Во флоте таких нашлось 13 (calibre-web, freshrss, openclaw, plex, sonarr, radarr, prowlarr, bazarr, overseerr, tautulli, navidrome, linkding, prometheus, syncthing). Работающие остановлены — порты освобождены. Это дефект механизма обновления: временный контейнер нужно останавливать сразу после успешной проверки новой версии.

Третья находка: проверка «контейнер запущен» бесполезна

Первая попытка объявила успех по состоянию контейнера, а приложения внутри падали. Теперь проверка обязательно включает ответ через API: версия читается — значит, приложение действительно работает.

Инструмент

ops/scripts/migrate-arr.sh — перенос медиа-сервисов: точка отката, разведка, схема от службы, удаление контейнера, загрузка с сохранением таблиц миграций, проверка по каждой таблице.


✅ VAULTWARDEN ПЕРЕНЕСЁН НА POSTGRESQL (15.10.2026)

Хранилище паролей переведено на центральную PostgreSQL.

пользователи:            2
записи хранилища:        12
устройства:              6
подключений к PostgreSQL: 4 (роль vaultwarden_user, 192.168.1.109)
служба:                  200, страница входа отвечает

Как проверялось

Не «контейнер запущен», а сверка содержимого:

Проверка Результат
Хеши паролей (2 пользователя) совпадают по 64 знака
Соли совпадают по 128 знаков
Размер каждой из 12 записей совпадает байт в байт
Суммарный объём записей файл 7715 = база 7715
Файловая база не изменялась с 12.10 — запись идёт в PostgreSQL

Хранилище зашифровано на стороне клиента, поэтому записи проверены по объёму и количеству — прочитать их нельзя ни у меня, ни на сервере.

Четыре препятствия и что они дали

# Препятствие Суть
1 Переменная попала не в ту службу в файле четыре службы (db, nextcloud, vaultwarden, files_net), а вставка шла в первый блок environment — у службы db. Переменная теперь ставится строго по имени службы
2 Проверка связей между таблицами ciphers ссылается на users, и при неудаче users валилось всё зависимое. Теперь при загрузке session_replication_role = replica — порядок загрузки перестал быть важен
3 Ложное расхождение по ключу сверка искала строку по столбцу name, которого в users нет — ключ называется uuid. Данные были на месте, а проверка сообщала о потере. Теперь ключевой столбец берётся из первичного ключа
4 Ложное расхождение по регистру hex() в файловой базе даёт ЗАГЛАВНЫЕ буквы, encode(...,'hex') в PostgreSQL — строчные. Сравнение идёт в одном регистре

Три из четырёх — это ошибки проверки, а не переноса. Данные переносились правильно, а инструмент сообщал о потере. Отсюда правило: если проверка говорит о расхождении, сначала проверь саму проверку.

Правило о служебных таблицах (уточнено)

Служебные таблицы версий миграций сохраняются при очистке:

Служба Таблица
Vaultwarden __diesel_schema_migrations
Sonarr, Radarr, Prowlarr VersionInfo
Paperless, Bazarr alembic_version

Их нельзя ни очищать, ни переносить: по ним служба понимает, какие миграции уже применены.


✅ BAZARR ПЕРЕНЕСЁН НА POSTGRESQL (15.10.2026)

таблиц с данными:  3 из 3 — совпали
настройки языков:  187
настройки увеличений: 129
ответ службы:      200

Bazarr переключается флагом postgresql.enabled в config.yaml. Схему создаёт сам через Alembic; её служебная таблица alembic_version сохранена, как и положено.

Пятое правило проверки

Состояние контейнера «running» не означает готовности службы. Bazarr (Python/waitress) поднимает веб-сервер через 60–90 секунд, и первая попытка была откачена из-за ложного отказа: контейнер работал, а служба ещё не отвечала. Теперь готовность определяется ответом 200, а не статусом контейнера.

Общий список правил проверки, накопленный за спринт:

# Правило На чём выяснено
1 Пустой список объектов — это ПРОВАЛ, а не успех Grafana: сравнили пустоту с пустотой
2 Проверять результат по каталогу, а не вывод команды переименование базы с дефисом
3 Контейнер службы УДАЛЯТЬ на время загрузки Grafana перезаписывала перенос
4 Таблицы миграций не очищать и не переносить *arr: падение FluentMigrator
5 Готовность = ответ службы, а не статус контейнера Bazarr: 60–90 секунд до ответа
6 Ключевой столбец брать из первичного ключа Vaultwarden: сверка искала name
7 Сравнивать в одном регистре Vaultwarden: hex против encode
8 Расхождение — сначала проверь саму проверку три ложных расхождения за спринт

✅ GITEA ПЕРЕНЕСЁН НА POSTGRESQL (15.10.2026)

Система контроля версий работает на центральной PostgreSQL.

таблиц с данными:   33 из 33 — совпали, ошибок 0
пользователи:       4        репозитории: 5
задачи:             343      комментарии: 697
метки:              22       ключи доступа: 8
выпуски:            2        версия схемы: 358
подключений к PostgreSQL: 2 (роль gitea_user, 192.168.1.140)
версия через API:   28.1.0

Главное: репозитории НЕ ТРОНУТЫ

Перед переносом снята опись всех репозиториев — имена, размеры, последние коммиты. После переноса она сверена:

репозиториев до:  2514
репозиториев после: 2514
✅ имена, размеры и последние коммиты совпадают

Сами репозитории лежат на диске (/data/git/repositories, 706 МБ), а не в базе. Перенос базы их не касается — это и было главной страховкой.

Два исключения, оба осознанные

Что Почему Как вернуть
webhook — 2 записи разбор CSV даёт сдвиг значений между колонками (текст попадает в логическое поле) вручную в Gitea: репозиторий buryan-infra → Настройки → Веб-хуки → http://192.168.1.108:5680/webhook/gitea-task, метод POST, события push
notification — 167 ЖИВАЯ таблица уведомлений, служба ведёт её сама (как Commands и Logs у медиа-сервисов) не требуется

Содержимое веб-хуков сохранено в карантине: webhook-records.csv.

Шестое правило проверки

«Контейнер запущен» и «API отвечает» — ещё не значит, что служба работает с данными. Решающая проверка Gitea — не версия через API, а запись в репозиторий: коммит и отправка прошли, значит база обслуживает систему контроля версий.

Итог по всем базам

Сервис База Как проверено
Gitea 16 МБ 33 таблицы, опись 2514 репозиториев, коммит и отправка
Grafana 14 МБ 28 таблиц, ключи байт в байт
Vaultwarden 8,8 МБ хеши, соли, 12 записей байт в байт
Sonarr 14 МБ 9 из 10
Radarr 11 МБ 9 из 10
Prowlarr 9 МБ 6 из 6
Bazarr 8,8 МБ 3 из 3
Paperless 18 МБ уже был на PostgreSQL

Все службы, поддерживающие PostgreSQL, переведены на центральную базу. Осталась Uptime Kuma — её версия 1.23.17 PostgreSQL не поддерживает.


✅ СПРАВОЧНИК КОМАНД И ПЕРЕВОД БОТА В MATRIX (15.10.2026)

1. Справочник команд — команды больше не в голове

Создан единственный источник правды: ops/bots/commands.yaml. Из него генерируется всё: справка /help для каждого бота и общий справочник docs/COMMANDS.md в репозитории.

ops/bots/commands.yaml   ← правим только здесь
        ↓  gen_help.py
   ├── /help в каждом боте (только его команды)
   ├── /help <команда>      (подробно: вызов, примеры, доступ)
   ├── опечатка → «возможно, вы имели в виду /status?»
   └── docs/COMMANDS.md     (общий справочник в Gitea)

28 команд, 5 ботов. Добавить команду = добавить запись в справочник.

Генератор работает без внешних библиотек: если PyYAML нет — используется встроенный разбор. Проверено, справка формируется в обоих случаях.

2. Бот подключён к справочнику

Зашитая в код справка (четыре строки) заменена вызовом генератора. Проверено внутри контейнера: из справочника: True, длина 444 знака. Если справочник недоступен — бот возвращается к прежнему тексту и продолжает работать.

Копия исходного файла: /app/bot.py.before-help.

3. Найдена и устранена причина таймаутов Matrix

В журнале бота было 74 предупреждения Timed out от Matrix-клиента.

Причина: бот обращается к Matrix по публичному адресу, а в его окружении задан HTTP_PROXY — тот самый, что нужен для обхода блокировок Telegram. Matrix стоит в соседнем контейнере (192.168.1.155), и ходить к нему через внешний прокси не нужно.

Исправление: адрес Matrix добавлен в NO_PROXY.

Результат: таймаутов 74 → 0, в журнале появилось «Matrix-слушатель запущен», события из комнат обрабатываются.

Это важный вывод на будущее: внутренние службы не должны ходить через прокси, предназначенный для внешнего доступа.

4. Что это даёт

Было Стало
справка из четырёх строк в коде справочник из 28 команд, генерируется
команды надо помнить /help показывает, /help <команда> объясняет
опечатка ничего не подсказывает подсказка похожей команды
Matrix-связь таймаутила 0 таймаутов, слушатель работает
всё в одном боте разделение на 5 ботов описано в справочнике

✅ РАЗДЕЛЕНИЕ БОТОВ В MATRIX (15.10.2026)

Созданы 5 отдельных ботов, у каждого свой аккаунт и своя комната. Это и есть устранение «салата»: в комнате тревог — только тревоги, в комнате обновлений — только обновления.

Бот Аккаунт Комната Назначение
ADM @bot_adm !sDukykCHyLqGYtQKxM состояние и перезапуски
WORK @bot_work !rCnjnPEBkOMupcSoRf обновления и задачи
ALERT @bot_alert !CrMTfxqlwSTAAFTrVd только тревоги
AUTH @bot_auth !onCYnxVDmqbnsNvcWH доступ и регистрация
MEDIA @bot_media !PDfGtATzsaXhOqJrCv медиасервисы

Проверено: каждый из пяти ботов отправил сообщение в свою комнату — 5 из 5. Комнаты без сквозного шифрования: это машинные сообщения, а не переписка людей.

Настройки с ключами — /root/.buryan-bots-matrix.env, права 600, в репозиторий не попадает.

Слой уведомлений переведён на бота ALERT

Раньше тревоги шли от административного бота в общую комнату. Теперь — от бота ALERT в его комнату. Проверено отправкой: сообщение доставлено, отправитель — @bot_alert.

Это важно не для красоты: когда тревоги и задачи в разных комнатах, тревогу видно сразу, её не теряют среди рабочих сообщений.


✅ КОМАНДЫ ОБНОВЛЕНИЯ В MATRIX (15.10.2026)

Добавлены команды, доступные прямо из Matrix:

Команда Что делает
/queue очередь обновлений с номерами заявок и состоянием
/approve НОМЕР одобрить обновление
/reject НОМЕР отклонить обновление
/help [команда] справка из общего справочника

Закрыт пробел в безопасности: раньше в Matrix не было проверки прав вообще — команду /restart мог вызвать любой участник комнаты. Введён список администраторов Matrix; изменение состояния служб доступно только им.

Найдены и устранены ДВА серьёзных препятствия

1. Правки кода терялись при пересоздании контейнера. Код бота собирается в образ. Я правил файл внутри контейнера, а docker compose up --force-recreate возвращал исходную версию — так дважды пропали и справка, и команды.

Собрать образ заново невозможно: нет доступа к Docker Hub (registry-1.docker.io — i/o timeout). Поэтому код перенесён на хост и подключён в контейнер: /opt/automation-lxc/telegram-admin-bot/ bot.py, commands.yaml, gen_help.py. Теперь правки сохраняются при любом пересоздании.

2. Matrix снова начал таймаутить. Оказалось, настройки окружения лежат не в файле compose, а в .env. Прошлая правка NO_PROXY при восстановлении конфигурации пропала. Исключение добавлено в правильный файл:

NO_PROXY=...192.168.1.155...   (Matrix в соседнем контейнере)

Главный вывод

Telegram не отвечает: TelegramNetworkError: Request timeout error. Это уже не риск, а факт — подтверждается журналами. Именно поэтому перевод в Matrix сделан вовремя: канал, на который мы опирались, фактически перестал работать.

Проверено

функций в коде:        4 из 4
справка из справочника: да
слушатель Matrix:      запущен
таймаутов Matrix:      0

✅ КОМАНДЫ ОБНОВЛЕНИЯ В MATRIX ПРОВЕРЕНЫ ЖИВЬЁМ (15.10.2026)

Проверено не по коду, а по фактическим ответам в комнате:

Команда Ответ бота
/help справка из справочника: «ADM — Управление службами и состояние инфраструктуры»
/queue «Очередь обновлений»: №17 неудача, №13 отменено, №10 выполнено, №8, №4, №3
/approve 99 «Недостаточно прав для этого действия»
/statsu «Неизвестная команда» (подсказка требует доработки)

/queue действительно читает очередь из базы — в ответе видны настоящие заявки с их состояниями.

Проверка прав работает: бот ADM одобрять не может, право только у администратора Matrix. До этой правки команду /restart мог вызвать любой участник комнаты.

Замечание

При опечатке бот отвечает «Неизвестная команда» вместо подсказки похожей команды. Причина выясняется; на работу команд не влияет.


ТОЧКА ПРИЁМА УВЕДОМЛЕНИЙ (15.10.2026)

Выяснено: остальные «боты» — не отдельные боты, а рабочие процессы n8n, которые шлют в Telegram. Активных семь:

Процесс Токен
Alert Queue Processor ALERT
Prometheus/Grafana Alert Webhook ALERT
Uptime Kuma → Gitea Self-Healing ALERT
F6-2: Self-Service Registration AUTH
F6-3: Version Watch Handler ADM
Gitea Task Dispatcher есть Telegram
Buryan Health Monitor —

Matrix не использует ни один. Токены WORK и MEDIA не задействованы вовсе — эти боты не разворачивались.

Что построено

Один адрес, куда любой процесс может послать сообщение:

POST http://192.168.1.10:8099/notify
     {"text": "...", "source": "имя процесса", "bot": "alert|auth|work|adm|media"}
        ↓
   notify.send()  →  Matrix (основной) + Telegram (зеркало)

Разным процессам — разные боты: тревоги уходят от ALERT в комнату тревог, сообщения о доступе — от AUTH в комнату доступа. Это и есть разделение по задачам.

Служба: buryan-notify.service, запускается автоматически, журнал /var/log/buryan-notify.log.


ТОЧКА ПРИЁМА ПОНИМАЕТ ФОРМАТ TELEGRAM (15.10.2026)

Чтобы переключить процессы n8n минимальной правкой, точка приёма теперь принимает тот же запрос, что и Telegram:

БЫЛО:  https://api.telegram.org/bot{{ТОКЕН}}/sendMessage
СТАЛО: http://192.168.1.10:8099/bot{{ТОКЕН}}/sendMessage

Поля chat_id, text, parse_mode остаются прежними, ответ приходит в том же виде ({"ok": true, ...}). Логика процессов не меняется — меняется только адрес.

Бот определяется по токену автоматически: тревоги уходят от ALERT в комнату тревог, сообщения о доступе — от AUTH в комнату доступа.

Проверено

тревога  (токен ALERT) → {"ok": true, "routed": {"delivered": true}} → @bot_alert
доступ   (токен AUTH)  → {"ok": true, "routed": {"delivered": true}} → @bot_auth

Разделение по задачам работает: одно и то же обращение, но разные токены — и сообщения попадают в разные комнаты от разных ботов.

Что осталось

Переключить адреса в семи активных процессах n8n: Alert Queue Processor, Prometheus/Grafana Alert Webhook, Uptime Kuma → Gitea Self-Healing, F6-2, F6-3, Gitea Task Dispatcher, Buryan Health Monitor.


✅ ПРОЦЕССЫ n8n ПЕРЕКЛЮЧЕНЫ НА MATRIX (15.10.2026)

Как было устроено на самом деле

Процессы n8n слали в Telegram не напрямую, а через внешний VPS-ретранслятор:

https://193.233.210.184/tg-api/bot<ТОКЕН>/sendMessage

Это и есть причина, по которой Telegram «работает плохо»: каждое уведомление проходило через внешний узел.

Что сделано

Наша точка приёма построена с той же структурой адреса, поэтому замена оказалась точной и безопасной:

БЫЛО:  https://193.233.210.184/tg-api/bot<ТОКЕН>/sendMessage
СТАЛО: http://192.168.1.10:8099/bot<ТОКЕН>/sendMessage

Внешний VPS не тронут — мы просто перестали через него ходить.

Переключено 5 процессов

Процесс Обращений
Alert Queue Processor 1
Prometheus/Grafana Alert Webhook 1
Uptime Kuma → Gitea Self-Healing 1
F6-2: Self-Service Registration 3
F6-3: Version Watch Handler 1
осталось обращений к внешнему VPS: 0

Маршрутизация по ботам работает

Токен определяет, от какого бота уйдёт сообщение и в какую комнату:

Токен Бот Комната
8668603602 (3 обращения) ALERT комната тревог
8698835423 (3 обращения) AUTH комната доступа
8653974364 (1 обращение) ADM комната администратора

Один и тот же адрес — но тревоги, заявки на доступ и служебные сообщения попадают в разные комнаты от разных ботов. Это и есть разделение по задачам.

Проверено

перезапуск n8n:   состояние running
отправка:         {"ok": true, "routed": {"delivered": true, "bot": "alert"}}
сообщение в комнате тревог: доставлено

Копия и возврат

Копия всех процессов: /mnt/backups/retired/20261015_161810-n8n-workflows/

Возврат одной командой:

UPDATE workflow_entity SET nodes =
  replace(nodes::text, 'http://192.168.1.10:8099',
          'https://193.233.210.184/tg-api')::json
 WHERE nodes::text LIKE '%192.168.1.10:8099%';

Gitea Task Dispatcher не переключён: он использует узел Telegram, а не веб-запрос — это отдельная правка структуры процесса.