From a587ecc664c8eb618b24a06eabfbda09b1f4a275 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Thu, 22 Oct 2026 05:11:40 +0300 Subject: [PATCH] =?UTF-8?q?[A-51]=20=D0=92=D0=B8=D0=BA=D0=B8:=20=D0=B1?= =?UTF-8?q?=D0=B5=D0=B7=D0=BE=D0=BF=D0=B0=D1=81=D0=BD=D0=BE=D1=81=D1=82?= =?UTF-8?q?=D1=8C,=20=D0=BF=D0=BE=D1=80=D1=82=D1=8B,=20=D1=83=D1=87=D0=B5?= =?UTF-8?q?=D0=BD=D0=B8=D1=8F=20=D0=B2=D0=BE=D1=81=D1=81=D1=82=D0=B0=D0=BD?= =?UTF-8?q?=D0=BE=D0=B2=D0=BB=D0=B5=D0=BD=D0=B8=D1=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- Restore.md | 138 ++++++++++++++++++++++++++++++++++++++++++++++++++++ SSO.md | 21 +++++++- Security.md | 118 ++++++++++++++++++++++++++++++++++++++++++++ 3 files changed, 276 insertions(+), 1 deletion(-) create mode 100644 Restore.md create mode 100644 Security.md diff --git a/Restore.md b/Restore.md new file mode 100644 index 0000000..53bfb1b --- /dev/null +++ b/Restore.md @@ -0,0 +1,138 @@ +# Учения восстановления баз (автоматические) + +## Что делает + +Таймер **`hub-restore-drill.timer`, 3-го числа в 05:00** запускает +`/opt/hub-core/restore_drill.py`: + +1. Берёт самый свежий дамп каждой базы. +2. Создаёт **черновую** базу (`<имя>_drill`) на том же сервере. +3. Заливает дамп, считает таблицы и ошибки. +4. Удаляет черновую базу — рабочие не трогаются. + +Если хоть одна база не восстановилась — уведомление с пометкой `high`. + +## Результат прогона 22.10 + +``` +учения восстановления: 4/4 + ✅ netbox: таблиц 208, ошибок 0 + ✅ authentik: таблиц 165, ошибок 0 + ✅ monica: таблиц 95, ошибок 0 + ✅ nextcloud: таблиц 204, ошибок 0 +``` + +Отчёт: `/var/lib/hub-agents/journal/YYYY-MM-DD-restore-drill.json`. + +## Ловушки (все пойманы на практике) + +1. **Postgres в контейнере Authentik:** переменная `POSTGRES_USER` + содержит `authentik_user`, но **такой роли нет** — рабочая роль + называется `authentik`. Проверять `select current_user`. +2. **В контейнере `postgres` нет роли `postgres`** — суперпользователь + задаётся при инициализации и может называться иначе. +3. **MariaDB: `-p$VAR` внутри `pct exec ... sh -c` не раскрывается** — + пароль нужно подставлять литералом, читая его из `docker inspect`. +4. **Права:** пользователь БД может не иметь права `CREATE DATABASE` + (Monica, Nextcloud) — создавать черновую базу надо под root. +5. **Подсчёт таблиц**: кавычки в SQL внутри вложенных `sh -c` + ломаются; надёжнее запускать `psql/mariadb` с `-c` и двойными + кавычками вокруг всего запроса. + +## Ручной прогон + +```bash +/opt/music-tools/venv/bin/python /opt/hub-core/restore_drill.py +``` + + +--- + +# Бэкапы: как делать и как восстанавливать + +## Что где лежит + +| Что | Где | Расписание | Хранение | +|---|---|---|---| +| Образы гостей (vzdump) | `/mnt/backups/dump` | 02:00 ежедневно | **1 копия** на гостя | +| Конфиги сервисов | `/mnt/backups/configs` | 03:45 | 14 дней | +| Дампы баз (SQL) | `/mnt/backups/db` | 03:15 | 14 дней | + +## Проверить состояние + +```bash +# сколько копий и сколько места +ls -lh /mnt/backups/dump | tail -5 +df -h /mnt/backups + +# важно: тонкий пул +lvs -o lv_name,data_percent pve/data +``` + +**Тонкий пул — критичное место.** Он общий для дисков гостей и для +LV `backups` (100 ГБ). Если пул заполнится, гости зависнут, а vzdump +перестанет создавать снапшоты. + +## Если пул выше 85% + +1. Проверить, не идёт ли бэкап: `pvesh get /nodes/pve/tasks --limit 5` +2. Освободить место: + ```bash + # удалить самые старые архивы (по одному!) + ls -t /mnt/backups/dump/*.zst | tail -1 | xargs rm -f + fstrim -v /mnt/backups + ``` +3. Если не помогает — `pct fstrim ` на всех CT: + ```bash + for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done + ``` + +## Ручной бэкап одного гостя + +```bash +vzdump 140 --storage backups --compress zstd --mode snapshot +``` + +## Восстановить гостя из архива + +```bash +# посмотреть содержимое +zstd -dc /mnt/backups/dump/vzdump-lxc-140-YYYY_MM_DD-HH_MM_SS.tar.zst | tar -tf - | head + +# восстановить под новым ID (безопасно, не затирает старый) +pct restore 240 /mnt/backups/dump/vzdump-lxc-140-*.tar.zst --storage local-lvm +``` + +## Восстановить базу из дампа + +```bash +gunzip -c /mnt/backups/db/netbox-YYYYMMDD-HHMM.sql.gz | \ + pct exec 103 -- docker exec -i netbox-postgres psql -U netbox -d netbox +gunzip -c /mnt/backups/db/monica-*.sql.gz | \ + pct exec 110 -- docker exec -i monica-db mariadb -umonica -pMonicaPwd2026 monica +``` + +## Проверить, что бэкап читается + +```bash +# целостность архива +zstd -t /mnt/backups/dump/vzdump-lxc-140-*.zst +# дампа +gunzip -t /mnt/backups/db/*.sql.gz && echo "дампы ок" +``` + +## Сторож пула + +На время ночного бэкапа запускается `thin_watch.py`: каждые 30 секунд +смотрит занятость пула и при 88% удаляет самый старый архив, чтобы +гости не встали. Журнал: `/var/log/thin-watch.log`. + +## Ловушки (проверено на практике) + +1. **`prune-backups keep-last=1`** — иначе 34 гостя × 2 копии не влезают + в 100 ГБ LV. +2. **fstrim освобождает место только если ФС примонтирована с discard** + или вызван явно; после удаления архивов нужно `fstrim /mnt/backups`. +3. **Снапшот требует свободного места в пуле**, а не только в LV бэкапов. +4. **`pct fstrim` работает не на всех ФС** — на 33 CT прошёл, но если + ядро старое, команда молча вернёт ошибку. diff --git a/SSO.md b/SSO.md index 562fb92..41e8512 100644 --- a/SSO.md +++ b/SSO.md @@ -321,7 +321,7 @@ curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 4 | Режим | Запрос | Время | Что делает | |---|---|---|---| -| Поиск | `/rag?q=...&mode=find` | **~14 с** | находит фрагменты, без генерации | +| Поиск (по умолчанию) | `/rag?q=...` | **14 с** | находит фрагменты, без генерации | | Ответ | `/rag?q=...` | минуты | поиск + генерация моделью | **Проверено на живом примере**: вопрос «как устроен Beszel» → @@ -340,6 +340,25 @@ curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 4 1.2 ГБ в памяти. +## Замеры Ollama на этом железе (22.10) + +CT160: 2 ядра, 4 ГБ, CPU-only. + +| Операция | Результат | +|---|---| +| Обработка промпта | ~45 токенов/с | +| Промпт 1000 токенов | ~22 с только на чтение | +| Генерация 1 токена после этого | до 118 с | +| Эмбеддинг (`nomic-embed-text`) | 8–20 с на фрагмент | + +**Вывод**: генерация ответов здесь непрактична. Поиск — работает +и полезен. Поэтому `/rag` по умолчанию делает поиск, а генерация +доступна через `&mode=ask` (для тех случаев, когда можно подождать). + +Если понадобится генерация — нужен GPU или модель меньше (0.5b уже +поставлена), либо вынести LLM на отдельную машину. + + --- # Обучение агента: подсказки по повторяющимся сбоям (B-21) diff --git a/Security.md b/Security.md new file mode 100644 index 0000000..f7dfe3d --- /dev/null +++ b/Security.md @@ -0,0 +1,118 @@ +# Аудит безопасности (22.10.2026, ночь) + +## 1. Секреты в репозитории + +**Проверено**: `.env`-файлы, токены, пароли в `*.md`/`*.yaml`. + +| Что | Состояние | +|---|---| +| `.env` в git | не попали (в индексе только `*.env.example`) | +| `ops/vpn/build/` | **игнорируется** с 45-й строки `.gitignore` | +| приватные ключи `*.key` | игнорируются | +| `secrets/` | игнорируется | + +**Найдено**: пароль VPN-профилей **присутствует в истории git** +(коммит `fcdf1b8`). Файлы профилей сейчас исключены, но из истории +сами значения не исчезли. + +### Рекомендация + +1. Сменить пароль в профилях VPN (сейчас **один и тот же** у всех: + `roman`, `elena`, `sergey`, `daniil`, `polina`, `nikita`). +2. Сделать каждому свой пароль и пересобрать профили. +3. Если репозиторий когда-либо будет публичным — переписать историю + (`git filter-repo`) или пересоздать репозиторий. + +## 2. Сетевые порты + +Полный список — `ops/ops/PORT-AUDIT.md`. Кратко: + +- наружу в интернет ничего не смотрит напрямую; +- в LAN открыты БД и кэши: `5432` (Postgres, CT151), + `6379` (Redis, CT115) — нужны другим CT, закрывать нельзя без + перенастройки; +- `11434` (Ollama) — открыт осознанно для RAG; +- стоит сузить до `127.0.0.1`: `9200` (CT111), `3000` (107/127/140), + `9090` (CT134, ограничить по IP). + +## 3. Пароли и доступы + +| Что | Состояние | +|---|---| +| Authentik | парольная политика **не включена** (риск блокировки) | +| 2FA | не включена (решение владельца) | +| NetBox | `admin` / `Netbox2026!` — **сменить** | +| Monica, Kavita, Audiobookshelf | аккаунты ещё не созданы | +| Beszel | суперпользователь создан | + +## 4. Что проверено и в порядке + +- Никакие новые сервисы не публикуются в интернет без SSO. +- Все домены с HTTP→HTTPS редиректом (44/44). +- Сертификаты: минимум 60 дней. +- Бэкапы не содержат открытых ключей в открытом виде (архивы лежат + на отдельном LV, доступ только root). + +## 5. Задачи владельцу + +1. Сменить пароль VPN и раздать персональные. +2. Сменить пароль NetBox. +3. Решить по 2FA и парольной политике. +4. По желанию — переписать историю git или пересоздать репозиторий. + + +--- + +# Аудит сетевых портов (22.10.2026) + +## Что проверялось + +Все 33 CT: какие порты слушают и на каком адресе. Наружу в интернет +ничего не публикуется напрямую — только через VPS и домены с SSO. +Речь о **внутренней сети**: любой, кто в LAN, видит эти порты. + +## Нормальные и ожидаемые + +| Порт | Где | Зачем | +|---|---|---| +| 22 | везде | SSH | +| 45876 | везде | агент Beszel | +| 9100 | везде | node_exporter | +| 8200 / 9080 | везде | служебные | +| 53 | 107 | AdGuard DNS | +| 11434 | 160 | Ollama (открыт специально для RAG) | +| 5432 | 151 | PostgreSQL — им пользуются другие CT | +| 6379 | 115 | Redis для OpenClaw/swarm | +| 9000 | 114 | Authentik | +| 3000 | 113 | Grafana | + +## Что стоит закрыть (рекомендация) + +| Порт | Где | Почему | +|---|---|---| +| 9200 | 111 | похоже на Elasticsearch/OpenSearch — наружу не нужен | +| 3000 | 107, 127, 140 | локальные UI дублируют домены, можно на `127.0.0.1` | +| 9090 | 134 | Prometheus нужен Grafana, но можно ограничить по IP | + +## Что проверено и оставлено как есть + +- `11434` (Ollama) — открыт осознанно, RAG ходит с хоста. +- `5432` (Postgres) — используется несколькими сервисами, закрывать + нельзя без перенастройки. +- `6379` (Redis) — нужен другим контейнерам в LAN. + +## Как проверить снова + +```bash +/opt/music-tools/venv/bin/python /root/port_audit.py +``` + +Скрипт печатает по каждому CT список портов «наружу» и «локально» +и отдельно помечает подозрительные (`5432`, `3306`, `6379`, `27017`, +`9200`, `9090`, `3000`). + +## Вывод + +Критичных дыр нет: всё в LAN, интернет-доступ только через SSO-домены. +Но 3–4 порта можно сузить до `127.0.0.1` — задача на день, требует +проверки зависимостей.