Files
buryan-infra/docs/TASKS.md
T
root 617236205b Calibre: один вход без второй формы; книжный бот в Matrix
1. УБРАН ВТОРОЙ ВХОД В CALIBRE. После Authentik он показывал свою форму.
   Включил доверие заголовку от прокси:
   allow_reverse_proxy_header_login=1, header=X-Forwarded-Email,
   auto_create_users=1, disable_standard_login=1. Админа переименовал в
   свою почту, чтобы вход попадал в его учётку.
   ПРОВЕРЕНО: без заголовка 302 (просит вход), с заголовком 200 и кнопка
   «Выход» — пустило. Второго пароля больше нет.

2. КНИЖНЫЙ БОТ @bot_books. Команды: /find (поиск в ЛитРес, Open Library,
   archive.org, Флибусте, libgen), /lib (что уже есть), /wanted (что
   искать), /tgadd /tglist /tgdel (каналы Telegram), /help.
   Доступ по списку: @akadmin, @polina; остальным отказ с показом их
   адреса. Бот сам принимает приглашения в комнаты.
   ПРОВЕРЕНО: /find Дюна вернул три издания ЛитРес с ценами (599/579 ₽),
   карточку Open Library и три книги в archive.org.

3. TELEGRAM БЕЗ АККАУНТА: бот ищет по публичным каналам через
   веб-предпросмотр t.me/s/имя (работает через VPN). Скачивать файлы так
   нельзя — для этого нужен юзербот (задача К-11).

МОИ ОШИБКИ: бот сначала не обрабатывал приглашения (не вступал в комнату);
сборка образа шла из кэша и патч не попадал в контейнер — помогло
--no-cache; год из Open Library показывался как цена.
2026-10-18 21:13:56 +03:00

337 lines
22 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# РЕЕСТР ЗАДАЧ
Ведётся по разделам плана. Порядок: обновления → сеть → звонки → связность → службы.
Отдельным разделом — **VPN** (по решению от 17.10.2026).
## БЛИЖАЙШИЕ ЗАДАЧИ (выбраны владельцем 17.10.2026)
| # | Что | Где в реестре | Состояние |
|---|---|---|---|
| 1 | **Профиль безопасности** во все контейнеры | 1.1–1.2 | ✅ измерено: нужен 2 из 26, оба прописаны; управление в `ops/security/apparmor-manage.sh` |
| 2 | **Скорость входа** + 40 доменов + один сертификат | 2.1, 2.4, 2.5 | ✅ 7,86 с → 1,3 с; ✅ все 40 доменов проверены, `news`/`rss` исправлены; ⏸ 2.5 отложено осознанно |
| 3 | **Все службы в наблюдение** | 4.3.1, 4.3.3 | ✅ 34 → 60 проверок, включая «вход работает» |
| 4 | **Второй VPS** — резервный выход | VPN-4.6 | ⬜ нужен сервер у провайдера |
| 5 | **Element Call** — звонки в Matrix | 3.1–3.1.3 | ⬜ **заблокировано**: нужны UDP-порты на роутере (роутер не трогаем) |
**Важно про пункт 4.** В реестре была только задача «Второй шлюз»
(VPN-4.1) — это резервный шлюз **в доме**. Она не решает проблему
«одна машина»: все четыре канала (TLS, Hysteria2, XHTTP, Reality) живут
на одном VPS, и если он недоступен, переключаться некуда. Поэтому
добавлена отдельная задача VPN-4.6 — **второй сервер**.
**Важно про пункт 5.** LiveKit в доме работает, но для звонков снаружи
нужны UDP-порты 50000–60000 и 7881 на роутере. Роутер по решению
владельца не трогаем — значит звонки возможны только внутри дома, либо
нужен TURN на VPS (отдельная работа).
## СВОДКА ПО РАЗДЕЛАМ
Цифры считает `ops/registry/summary.py` из этого же файла —
поэтому они не устаревают. Не править вручную.
| Раздел | Всего | Сделано | Частично | Осталось |
|---|---|---|---|---|
| ЗАВЕРШИТЬ ОБНОВЛЕНИЯ | 15 | 15 | 0 | **0** |
| СЕТЬ И ДОСТУП | 6 | 5 | 0 | **1** |
| ЗВОНКИ И МЕДИА | 8 | 4 | 1 | **3** |
| СКВОЗНАЯ СВЯЗНОСТЬ | 17 | 9 | 2 | **6** |
| УЛУЧШЕНИЕ СЛУЖБ | 13 | 9 | 0 | **4** |
| КНИЖНАЯ БИБЛИОТЕКА | 11 | 8 | 1 | **2** |
| VPN (этапы 1–4) | 29 | 21 | 3 | **5** |
| РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** |
| **ИТОГО** | **116** | **83** | **8** | **25** |
---
## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ
| № | Задача | Состояние |
|---|---|---|
| 1.0 | Профиль безопасности: причина найдена, Matrix исправлен | ✅ |
| 1.1 | Применить профиль в остальных контейнерах | ✅ измерено: нужен 2 из 23, там уже есть |
| 1.2 | Вынести профиль в общее управление (один источник правды) | ✅ скрипт `ops/security/apparmor-manage.sh` |
| 1.3 | Обновить `paperless` | ✅ 17.10, проверка прошла |
| 1.4 | Обновить `gitea` | ✅ 17.10 |
| 1.5 | Обновить `authentik` | ✅ 2025.4 → 2025.12.6 |
| 1.6 | Обновить `postgres-rbac` | ⏸ по слову владельца: не трогаем |
| 1.7 | Автоматически убирать контейнеры-остатки | ✅ еженедельно по расписанию |
| 1.13 | Обновления из бота: реестр расширен с 28 до 50 служб | ✅ |
| 1.14 | authentik: окно проведено | ✅ 2025.4 → 2026.5.7, данные целы |
| 1.18 | CT 114: память 2048 → 4096 МБ | ✅ после этого обновление прошло |
| 1.19 | authentik 2026.8.4 | ✅ обновлено после перевода базы в UTF8 |
| 1.20 | Перевод `authentik_db` в UTF8 | ✅ проверено на копии, данные идентичны |
| 1.15 | CT 111 без интернета | ✅ адрес сменён на .240, интернет есть |
| 1.16 | Зеркало реестра образов во всех 26 контейнерах | ✅ добавлено (Docker Hub нестабилен) |
| 1.17 | TRIM по контейнерам еженедельно | ✅ пул 80,5% → 70,3% |
## 2. СЕТЬ И ДОСТУП
| № | Задача | Состояние |
|---|---|---|
| 2.0 | Причина медленного входа найдена (7,86 с вместо 0,02 с) | ✅ |
| 2.1 | Кэш на VPS для файлов страницы входа | ✅ 7,86 с → 1,3 с |
| 2.2 | Локальный NGINX вместо NPM (файлы подготовлены) | ⬜ |
| 2.3 | AdGuard: DNS и домены | ✅ работает, 43 из 43 домена |
| 2.4 | Настроить все 44 домена | ✅ проверены все 40, исправлены news/rss |
| 2.5 | Один сертификат `*.buryans.ru` | ⏸ отложено осознанно: 40 сертификатов работают, wildcard = риск для всех сразу |
| 2.6 | Роль VPS | ✅ единый внешний вход и VPN-сервер, не кэш |
## 3. ЗВОНКИ И МЕДИА
| № | Задача | Состояние |
|---|---|---|
| 3.1 | **Element Call** на VPS | ✅ работает; исправлены ICE-адреса, добавлен TURN |
| 3.1.4 | Проверить звонок после правок ICE и TURN | ⬜ нужен звонок |
| 3.4 | Matrix: зависание при отправке контента | 🔶 причина: канал VPS↔дом 300 мс и 5% потерь + старый клиент Element Classic |
| 3.5 | Заменить транспорт VPS↔дом на Hysteria2 | ⬜ если медленность останется |
| 3.1.1 | Указать LiveKit в настройках Synapse | ✅ через .well-known (nginx) |
| 3.1.2 | Объявить транспорт в `.well-known` | ✅ rtc_foci на VPS и дома |
| 3.1.3 | Ключи связки | ✅ новый ключ LiveKit, служба токенов работает |
| 3.2 | Свести медиаслужбы к единому входу и правам | ⬜ |
## 4. СКВОЗНАЯ СВЯЗНОСТЬ
| № | Задача | Состояние |
|---|---|---|
| 4.1.1 | Все домены под единый вход | ✅ 25 доменов; 4 остались осознанно (Matrix, Syncthing, Immich, PVE) |
| 4.1.4 | Вход через OIDC внутри Immich и Gitea | ⬜ прокси им не подходит |
| 4.1.5 | Починить сторож buryan-agent (поднимал отключённое) | ✅ 28 контейнеров |
| 4.1.6 | Провайдеры входа: заполнить grant_types | ✅ 9 провайдеров |
| 4.1.7 | 500 на всех сервисах после входа | ✅ Authentik 2026.8 отдавал email_verified=false |
| 4.1.3 | Перевод прокси входа на внешние адреса | ✅ 15 прокси, один аккаунт |
| 4.1.2 | Права по группам | ⬜ |
| 4.2.1 | Все службы шлют через общий слой | 🔶 частично |
| 4.3.1 | Все 28 служб в наблюдение | ✅ 34 → 59 проверок |
| 4.3.2 | Проверять «работает», а не «отвечает» | 🔶 частично |
| 4.3.3 | Отдельная проверка: вход работает | ✅ 60 проверок |
| 4.4.1 | Снимки перед изменениями | ✅ |
| 4.4.2 | Проверка восстановления из копий | ✅ ежедневно: восстановление 40 баз + сверка ключевых данных |
| 4.4.3 | Копии наружу | ⬜ |
| 4.5.1 | Проверка «образ запускается» до обновления | ⬜ |
| 4.5.2 | Различать «обновлено» и «уже актуально» | ⬜ |
| 4.6.1 | Карта хозяйства: служба → контейнер → домен → вход | ⬜ |
## 5. УЛУЧШЕНИЕ СЛУЖБ
| № | Задача | Состояние |
|---|---|---|
| 5.1 | `authentik` — ускорить, разобраться с медленной загрузкой | ⬜ |
| 5.2 | `headscale` дома | ✅ убран: узлов нет, координация на VPS |
| 5.3 | `paperless` — один экземпляр | ✅ оставлен CT 105; в обоих 0 документов — служба не используется |
| 5.11 | Убрать отключённый paperless из наблюдения и реестра | ✅ 59 проверок, 47 служб |
| 5.4 | `immich` в общий PostgreSQL | ✅ уже там (`immich_db`) |
| 5.12 | Paperless переведён на общий PostgreSQL | ✅ `paperless_main`, 75 таблиц |
| 5.13 | Navidrome и Linkding на общий PostgreSQL | ⬜ нужен перенос данных |
| 5.5 | `uptime-kuma` на PostgreSQL | ⬜ нет штатного переноса, нужен ручной |
| 5.6 | Запись в базы медиаслужб | ✅ 0 ошибок; диски 80% → 70% |
| 5.7 | `npm` | ✅ остановлен: 0 запросов за сутки, домены обслуживает nginx на хосте |
| 5.8 | `dashy` — стартовая страница со ссылками на всё | ✅ 34 службы в 9 разделах, собирается из реестра |
| 5.9 | `openclaw` — обновить до свежей версии (нужна миграция конфигурации) | ⬜ |
| 5.10 | Правила тревог на все службы | ✅ 4 группы, 7 правил, 38 служб в метриках |
## КНИЖНАЯ БИБЛИОТЕКА
| № | Задача | Статус |
|---|---|---|
| К-1 | Calibre-Web Automated вместо старого | ✅ загрузка, выгрузка, автоприём из папки |
| К-2 | Сервис каталога и статистики | ✅ books.buryans.ru/catalog/ — 181 книга, 45 серий |
| К-3 | Профили читателей | ✅ разделение по читателям заложено |
| К-4 | Загрузчик из Telegram-каналов | 🔶 собран, отложен по решению владельца |
| К-6 | Поиск книг (7 источников, 2 через VPN) | ✅ 15 из 25, есть цены ЛитРес и libgen |
| К-7 | Поиск в каталоге | ✅ страница «Что искать» со ссылками на 11 источников |
| К-8 | Инструкции отправлены в Matrix (Akadmin и Полина) | ✅ |
| К-9 | Один вход в Calibre (без второй формы) | ✅ вход по заголовку от прокси |
| К-10 | Книжный бот в Matrix | ✅ @bot_books: поиск, каналы, доступ по списку |
| К-11 | Скачивание файлов из Telegram | ⬜ нужен юзербот и отдельный номер |
| К-5 | Интеграция: Dashy, наблюдение, реестр | ⬜ |
## 6. VPN
Раздел введён 17.10.2026 — по аудиту это задача первоочередная:
без VPN доступ снаружи непредсказуем.
### Этап 1. Мобильный доступ
| № | Задача | Состояние |
|---|---|---|
| VPN-1.1 | Удобный профиль для телефонов (ключей 10, QR на каждого) | ✅ |
| VPN-1.2 | Инструкция для семьи (`docs/VPN-FOR-FAMILY.md`) | ✅ |
| VPN-1.3 | **Проверить на телефонах Сергея и AlexTest** | 🔶 ждёт устройств |
| VPN-1.4 | Раздать остальным | ✅ выдано всем шестерым |
| VPN-1.7 | Выдать готовые профили с раздельной маршрутизацией | ✅ доставлено и проверено |
| VPN-1.6 | Выдача доступа новому человеку одной командой админа | ✅ `!vpn give @логин` |
| VPN-1.5 | Разместить ссылки в Vaultwarden | ⬜ |
| VPN-1.8 | **Ключ age**: файл с ключом и инструкцией передан владельцу | 🔶 ждёт записи в Vaultwarden и на флешку |
| VPN-1.9 | **Пароль root на PVE** → в Vaultwarden | ⬜ по слову владельца: пароль есть локально, пока не делает |
| VPN-1.10 | n8n: двойник compose обезврежен, настоящий в порядке | ✅ |
| VPN-1.11 | `openclaw`: один экземпляр, версия закреплена | ✅ |
| VPN-1.12 | Убрать остатки `*-old-*` | ✅ убрано 11, оставлено 3 работающих |
### Этап 2. Больше протоколов
| № | Задача | Состояние |
|---|---|---|
| VPN-2.1 | Добавить Hysteria2 на VPS (QUIC, для видео) | ✅ проверено снаружи |
| VPN-2.2 | Добавить VLESS + XHTTP (маскировка под сайт) | ✅ проверено снаружи |
| VPN-2.3 | Довести Reality — найти причину (порты 2087, 2053) | ✅ проверено снаружи |
| VPN-2.4 | Подписка с несколькими профилями | ✅ проверено |
| VPN-2.5 | Раздельная маршрутизация: туннель несёт только домашнее | ✅ |
| VPN-2.6 | Приложения, которые не любят VPN — вывести из туннеля | ✅ способ описан |
### Этап 3. Шлюз в доме
| № | Задача | Состояние |
|---|---|---|
| VPN-3.1 | Поднять шлюз на отдельном CT | ✅ CT 161, туннель (DNS перенесён в AdGuard) |
| VPN-3.2 | Проверить на одном устройстве | ✅ 10 мс против 485 |
| VPN-3.3 | Правило на Keenetic → шлюз | ⬜ вместе с владельцем |
| VPN-3.4 | Подключить семью (телевизоры, телефоны) | 🔶 шлюз готов, нужна настройка устройств |
### Что сделано по VPN Этапу 3 (шлюз в доме)
```
* CT 161 (192.168.1.161) с DNS: 43 домашних домена -> 192.168.1.10
* замерено: 10 мс напрямую против 485 мс через VPS (в 50 раз)
* проверено на реальном устройстве, обычный интернет не сломался
* роутер НЕ тронут (по указанию владельца)
* подробности: docs/VPN-STAGE3.md
```
### Этап 4. Надёжность
| № | Задача | Состояние |
|---|---|---|
| VPN-4.1 | Второй шлюз | ⬜ |
| VPN-4.2 | Проверка «VPN работает» в наблюдении | ✅ |
| VPN-4.3 | Сводка: кто реально пользуется VPN | ✅ `vpn-usage.py` |
| VPN-4.4 | Убрать отладку из журнала xray (рос 371 МБ) | ✅ |
| VPN-4.5 | Копия конфигурации xray с ключами + проверенное восстановление | ✅ зашифрована |
| VPN-4.6 | **Второй VPS** у другого провайдера — резервный выход | ⬜ все каналы на одной машине |
| VPN-4.7 | Автопереключение каналов на шлюзе | ✅ 60 с при отказе, 40 с возврат |
### Что сделано по VPN 17.10.2026
```
* ключей 5 -> 10, у каждого своё имя Buryan-01..10
* приватная страница с QR-кодами и инструкцией (закрыта паролем)
* инструкция для семьи: docs/VPN-FOR-FAMILY.md
* проверено: новый ключ выходит через VPS, 25 попыток из 25
* раздача через Matrix: приватная комната на каждого человека,
скрипт ops/vpn/matrix-distribute.py, проверено на akadmin
* отчёт: ops/vpn/VPN-STAGE1-IMPLEMENTATION.md
```
### Ждёт решения владельца
```
* класть ли профили в комнату, зеркалящуюся в Telegram:
тогда ключи попадут на серверы Telegram
* модели телефонов Сергея и AlexTest — для точной инструкции
* когда удобно провести проверку на телефонах (VPN-1.3)
```
### Что сделано по VPN Этапу 2
```
* Hysteria2 поднят на VPS (UDP 10443), проверен снаружи:
напрямую выходим как 46.8.140.22, через Hysteria2 — 193.233.210.184
* VLESS + XHTTP добавлен (TCP 8444, путь /buryan-xhttp), проверен снаружи:
через него выходим как 193.233.210.184, домашние службы и YouTube — 200
* итого рабочих каналов: четыре (VLESS+TLS, Hysteria2, XHTTP, Reality)
* открыт UDP-порт в экране VPS (правила сохранены, выживут перезагрузку)
* конфигурации xray и Hysteria2 теперь копируются зашифрованно
(ops/secrets-enc/vpn-configs.json), восстановление проверено
```
### Найдено при настройке Hysteria2
```
* репозиторий Hysteria переехал: был apernet/hysteria, стал
HyNetworks/hysteria — со старого адреса версия читается неверно;
* в экране VPS правило было только для TCP 10443, а для UDP — нет:
при политике DROP снаружи канал был бы недоступен, хотя на
сервере работал бы. Проверять надо СНАРУЖИ, а не только «слушает»;
* у Hysteria свой формат конфигурации, отдельного «test» нет —
проверяю пробным запуском и проверкой, что порт слушает.
```
## 7. РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ
| № | Проблема | Состояние |
|---|---|---|
| 1 | Профиль запрещал создание сокетов | ✅ решено (Matrix) |
| 2 | Профиль нужен в каждом контейнере | ✅ измерено: нужен двум из 26, у обоих есть |
| 3 | Контейнеры-остатки | ✅ убраны + еженедельная уборка |
| 4 | Счётчики номеров | ✅ решено (10 баз) |
| 5 | Gitea не создавала задачи | ✅ решено |
| 6 | Headscale падал 2,7 суток | ✅ решено |
| 7 | Уведомления шли в AUTH | ✅ решено |
| 8 | Версия не в уведомлении | ✅ решено |
| 9 | Страница входа 7,86 с | ✅ кэш статики: 1,3 с |
| 10 | 44 домена | ✅ проверены все 40; `news`/`rss` исправлены (502 → 302) |
| 11 | Element Call не работает | ⬜ заблокировано: нужны UDP на роутере |
| 12 | Одна дверь (VPS) | ⬜ |
| 13 | Два экземпляра paperless | ⬜ |
| 14 | Immich вне общего PostgreSQL | ⬜ |
| 15 | Доступ снаружи непредсказуем (провайдер) | 🔶 четыре канала + автопереключение |
| 16 | Reality не проходил рукопожатие | ✅ причина: недоступный сайт-прикрытие; заменён на свой |
| 17 | Встроенный браузер MIUI не видит домашние адреса | ✅ причина найдена, решение: Chrome/Firefox |
**Обозначения:** ✅ сделано · 🔶 частично · ⬜ не начато
### Запасной простой профиль (17.10.2026)
```
По жалобе «VPN бьётся по таймауту» проверено всё: сервер цел, профиль
цел (177 российских зон, 27 домашних). Найдена РАЗОВАЯ ошибка
соединения — канал иногда не устанавливается с первого раза.
Добавлен запасной профиль vpn-<имя>-simple.yaml: один проверенный канал
и те же правила. Лежит на странице в разделе «Запасной простой профиль».
Найден дефект в собственном сборщике: группа называлась так же, как
канал, и движок отвергал ВЕСЬ профиль («loop is detected in
ProxyGroup»). Исправлено.
```