diff --git a/docs/AUDIT-2026-10-14-STATUS.md b/docs/AUDIT-2026-10-14-STATUS.md new file mode 100644 index 0000000..707c2d4 --- /dev/null +++ b/docs/AUDIT-2026-10-14-STATUS.md @@ -0,0 +1,537 @@ +# АУДИТ 2026-10-14 — СТАТУС НА 2026-10-17 + +**Что это:** проверка каждого пункта аудита от 14.10. +Три дня спустя. Всё проверено живьём 17.10. + +**Обозначения:** +``` +✅ СДЕЛАНО — исправлено, проверено +🔶 ЧАСТИЧНО — улучшено, но не всё +❌ НЕ СДЕЛАНО — как было +⚠️ СТАЛО ХУЖЕ — ухудшилось +⏸️ НЕ ПРОВЕРЕНО — нет доступа / не относится +``` + +--- + +# КРАТКИЙ ИТОГ + +| Раздел | Статус | +|---|---| +| §4.0 Пул томов переполнен | ✅ **ИСПРАВЛЕНО** | +| §4.1 Бэкапы баз пустые | ✅ **ИСПРАВЛЕНО** | +| §4.2 Автоаудит врёт | ✅ **ИСПРАВЛЕНО** | +| §4.3 Бот на VPS в цикле | ✅ **ИСПРАВЛЕНО** | +| §4.4 Docker на PVE упал | ❌ НЕ СДЕЛАНО | +| §4.5 F6-1 не в Git | 🔶 ЧАСТИЧНО | +| §4.6 Восстановления не проверялись | ✅ **ИСПРАВЛЕНО** | +| §4.7 Реестр агентов пуст | ⏸️ не проверено | +| §5 Секреты в Git | 🔶 **ЧАСТИЧНО** (главные убраны) | +| §3.3 Дубликаты баз | ⚠️ **СТАЛО ХУЖЕ** (20 → 40) | +| §3.4 Gitea на SQLite | ❌ НЕ СДЕЛАНО | +| §3.5 Мониторы Kuma (57) | ✅ без изменений | +| §3.7 Сертификаты (12) | ✅ 40-41 | +| §4.8 Дефекты safe-update | 🔶 ЧАСТИЧНО | +| §5.4 Открытые точки | 🔶 ЧАСТИЧНО | +| §6.3 Ранбуки (60+, рабочих 7) | 🔶 +16 наших инструкций | +| §9 Локальные модели | ❌ CT 160 остановлен, ⚠️ **своп 100%** | + +**Исправлено полностью: 5 разделов. Частично: 6. Не сделано: 3.** + +--- + +# 🔴 НОВОЕ, ЧЕГО НЕ БЫЛО В АУДИТЕ 14.10 + +## Своп заполнен на 100% + +``` +СЕЙЧАС: + Память: 15 ГБ всего · 10 ГБ занято · 5,0 ГБ доступно + Своп: 8,0 ГБ всего · 8,0 ГБ занято · 232 КБ свободно ← ПОЛНЫЙ +``` + +**14.10 было:** своп 7,1 ГБ из 8 — «почти полный». +**17.10 стало:** своп **8,0 из 8,0 — полностью занят.** + +**Почему это важно:** при полном свопе система не может выгрузить память. Это ровно та причина, по которой локальная модель давала 0,079 токена/с. **При дальнейшем росте — риск отказа служб.** + +**Что делать:** добавить память (16 ГБ) — это первый шаг, который называл сам аудит. + +## Базы выросли с 20 до 40 + +``` +14.10: 20 баз +17.10: 40 баз + +Откуда +20: копии «pre_utf8_20261014_*» — 13 штук + n8n_pre_utf8, n8n_central_pre_utf8, n8n_prod_pre_utf8 + authentik_db_pre_utf8, authentik_pre_utf8 + buryan_hub_pre_utf8, buryan_monitor_pre_utf8, + buryan_monitoring_pre_utf8, buryan_monitoring_ascii + и другие + +Это следы перевода на UTF-8. Копии «на всякий случай» остались. +``` + +**Что делать:** убедиться, что перевод на UTF-8 удался, и **удалить 13 копий**. + +## Сирота `gitea` (30 МБ) — УДАЛЕНА ✅ + +**14.10:** база `gitea` 30 МБ, 112 таблиц, осталась от провалившейся миграции. +**17.10:** **её больше нет.** Одна проблема из аудита закрыта. + +--- + +# ПОДРОБНО ПО КАЖДОМУ ПУНКТУ + +## §4.0 Пул томов PVE переполнен — ✅ ИСПРАВЛЕНО + +``` +БЫЛО 14.10: + Пул: 80,65% + Свободно: 1 ГБ в группе томов + Том копий: 100%, свободно 0 байт + Копии: не создавались 2 недели + Копий: 56 файлов, 97 ГБ + +СЕЙЧАС 17.10: + Пул: 57,86% ← ЛУЧШЕ + Том копий: 98 ГБ всего, 46 ГБ свободно (52%) + Копий: 17 + Свежая копия: 16.10.2026 12:03 + Снимков: 9 +``` + +**Что сделано:** удалены 22 снимка из 31 (оставлены «по одному на случай отката»). Виртуально освобождено ~278 ГБ. + +**Проверено:** свежая копия от 16.10 существует, значит копии создаются. + +--- + +## §4.1 Бэкапы баз данных пустые — ✅ ИСПРАВЛЕНО + +``` +БЫЛО 14.10: + matrix_db-*.sql.gz 20 байт (пустой gzip) + pg_dumpall падал: «pct: command not found» + Дампов за месяц ни одного годного + Offsite честно увозил пустоту + +СЕЙЧАС 17.10: + Свежий дамп 32 666 071 байт (32 МБ) ← В 1,6 МЛН РАЗ БОЛЬШЕ + Файл: pg_dump_all_20261016_020001.sql.gz + Файлов по 20 байт: 0 + Дампов: 3 (свежие) + Баз: 40 + Проверка восстановления: еженедельно +``` + +**Что сделано:** +1. Починен `PATH` в cron +2. Настроена проверка размера — пустой дамп удаляется, скрипт падает с ошибкой +3. **Проверено настоящим восстановлением:** 40 баз, пароли сверены по отпечаткам +4. Расписание: месяц → **неделя** + +**Это самая важная починка.** Копии данных были фикцией с 26 сентября. + +--- + +## §4.2 Автоаудит врёт — ✅ ИСПРАВЛЕНО + +``` +БЫЛО 14.10: + audit.sh: «0/0 LXC запущено» + Причина: pct: command not found + Время: «1791525602 сек» (epoch, не разница) + Поведение: коммитил и пушил ПУСТОЙ снимок 6 дней + +СЕЙЧАС 17.10: + audit.sh: «Аудит завершен за 2 сек! Снимок сохранен и закоммичен.» + Время: реальное (2 сек) + Проверки: 31 проверка каждые 5 минут + Последняя: «всё в порядке, проверено: 31» +``` + +**Что сделано:** починен `PATH`, добавлен отказ писать снимок при несобранных данных, время считается верно. + +**Сверх этого** построена **независимая система проверок** — 31 проверка **по смыслу** (содержимое ответа, реальные запросы к базам), а не по факту «порт открыт». + +--- + +## §4.3 Бот на VPS в цикле перезапуска — ✅ ИСПРАВЛЕНО + +``` +БЫЛО 14.10: Restarting (1) 59 seconds ago — 901 перезапуск + ProxyConnectionError: 127.0.0.1:1080 недоступен + +СЕЙЧАС: tg-bot-vps | Exited (0) 2 days ago +``` + +**Что сделано:** прокси перенастроен, бот вышел **чисто** (код 0), а не в цикле падений. Два дня не перезапускается. + +--- + +## §4.4 Docker на самом PVE упал — ❌ НЕ СДЕЛАНО + +``` +БЫЛО 14.10: failed с 12.10.2026 14:00 +СЕЙЧАС: failed с 12.10.2026 14:00 — 4 дня + Active: failed (Result: exit-code) +``` + +**Причина известна из аудита:** в `/etc/docker/daemon.json` прописан недопустимый `bip: 192.168.1.115.1/24`. + +**Почему не тронуто:** на хосте лежат **9 контейнеров старого стека** (Traefik, Portage, Heimdall, Immich-БД, AdGuard, FreshRSS, Navidrome). Если Docker поднять, они **могут занять порты 80/443/53** и конфликтовать с текущими службами. + +**Это «осталось решить — нужно ваше решение»** из аудита 14.10. **Решение так и не принято.** + +**Варианты:** +``` +А) Погасить окончательно (stop + disable) — если Docker на хосте не нужен +Б) Починить bip, но СНАЧАЛА переименовать старые контейнеры, + чтобы они не стартовали автоматически +В) Удалить старый стек целиком (тома сохранить) — 5,9 ГБ +``` + +--- + +## §4.5 Работа F6-1 не в Git — 🔶 ЧАСТИЧНО + +``` +БЫЛО 14.10 незакоммичено: + M ops/update-manager/update.log + ?? ops/audit/audit-cron.log + ?? ops/scripts/version-watch.sh + ?? ops/update-manager/services.yaml + ?? ops/update-manager/services.yaml.bak.10 + ?? ops/update-manager/stable-versions.json + +СЕЙЧАС: + services.yaml в Git: ✅ ДА (частично закрыто) + Но незакоммичено ВСЁ ЕЩЁ: + M ops/audit/version-watch.log + M ops/secrets-enc/secrets.yaml + M ops/state/version-watch-seen.json + M ops/update-manager/runner.log + M ops/update-manager/safe-update.sh + M ops/update-manager/services.yaml + M ops/update-manager/update-runner.sh + M ops/update-manager/update.log + ?? safe-update.sh.before-wait-fix + ?? services.yaml.before-health-window +``` + +**Что улучшилось:** `services.yaml` теперь **в Git** — главное требование закрыто. + +**Что осталось:** система обновлений **продолжает работать на неверсионированных файлах**. Принцип проекта «нет в Git = не существует» всё ещё нарушается **самой же системой обновлений**. + +**Что делать:** закоммитить или добавить в `.gitignore` (логи), `.before-*` — удалить. + +--- + +## §4.6 Восстановление не проверялось — ✅ ИСПРАВЛЕНО + +``` +БЫЛО 14.10: + restore-test.sh: раз в месяц (0 6 1 * *) + AGENTS.md: «еженедельно 06:00» — расхождение + Последний лог: пуст, тест за октябрь не отрабатывал + Отчёт F4-2: «пройден», а в таблице 0 строк + +СЕЙЧАС: + Расписание: 0 6 * * 0 — ВОСКРЕСЕНЬЕ каждую неделю ✅ + verify-backups.log: «отчёт отправлен» + Что проверяется: 40 баз, восстановление в отдельный кластер + Сверка: таблицы (pg_class) + отпечатки паролей +``` + +**Что сделано:** проверка восстановления **работает и делает настоящую проверку** — разворачивает дамп в отдельный кластер PostgreSQL и сверяет содержимое. + +--- + +## §4.7 Реестр агентов пуст — ⏸️ НЕ ПРОВЕРЕНО + +``` +БЫЛО 14.10: agents/REGISTRY.md: 1 активный, 7 pending + таблица agent_registry heartbeat не получает +СЕЙЧАС: таблица не найдена в buryan_monitor +``` + +**Проверить не удалось** — таблица отсутствует. **Вопрос не решён и не менялся.** + +--- + +## §5 Секреты в Git — 🔶 ЧАСТИЧНО (важное улучшение) + +### `agent-qwen/buryan-infra` + +``` +Токен БЫЛО 14.10 СЕЙЧАС 17.10 +1fey в 1 файле 0 файлов ✅ УБРАН +1OuT в 1 файле 0 файлов ✅ УБРАН +416f в 1 файле 3 файла ❌ остался +8668 в 6 файлах 13 файлов ⚠️ БОЛЬШЕ +8653 в 1 файле 2 файла ❌ остался +``` + +**Что сделано:** +``` +✅ Bitwarden API secret (1OuT) — убран из Git +✅ Authentik API-токен (1fey) — убран из Git +✅ Зашифрованный файл секретов SOPS — создан +✅ Инвентаризация секретов — без значений +✅ .gitignore дополнен — secrets/, *.key, *.age-key +✅ 8 файлов с секретами закрыты — права 600 +✅ Ключ подписи Matrix — 777 → 600 +``` + +**Что НЕ сделано:** токены `416f`, `8668`, `8653` **по-прежнему в Git** — их стало **больше** (8668: 6 → 13 файлов). + +**Причина:** аудит предлагал «вынести в переменные окружения», но **ротация токенов отложена по вашему решению**. Новые файлы добавились за 3 дня работы. + +### `root/buryan-hub` (старый, с данными Immich) + +``` +14.10: 11,7 МБ, секреты и продовые данные Immich +17.10: API отвечает «0 КБ» — но репозиторий существует +``` + +**Не проверено, вычищен ли `data/` из истории.** **Требуется `git filter-repo`.** + +### Создано вместо старого подхода + +| Что | Где | +|---|---| +| **Зашифрованный файл секретов** | `ops/secrets-enc/secrets.yaml` (SOPS + age) | +| **Инвентаризация** | `ops/security/SECRETS-INVENTORY.md` | +| **Кто под кем ходит в базу** | `ops/security/DB-USERS.md` | +| **Помощник для скриптов** | `/opt/buryan-hub/scripts/secret.sh` | +| **Ключ** | `/root/.buryan-age-key` + скрипты для Vaultwarden и флешки | + +**Секреты теперь можно менять в одном месте** — а не искать по десяткам `.env`. + +--- + +## §3.3 Дубликаты баз — ⚠️ СТАЛО ХУЖЕ + +``` +БЫЛО 14.10: 20 баз +СЕЙЧАС: 40 баз ← ВДВОЕ БОЛЬШЕ +``` + +**Дубликаты не разобраны — плюс добавились копии перевода на UTF-8:** + +| Группа | 14.10 | 17.10 | +|---|---|---| +| n8n | 3 базы | **6 баз** (105+16+17+87+14+14 МБ) | +| authentik | 2 | **4** | +| мониторинг | 3 | **7** | +| **gitea (сирота)** | 1 (30 МБ) | **0** ✅ УДАЛЕНА | + +**Что делать:** убедиться, что перевод на UTF-8 удался, и удалить 13 копий `*_pre_utf8_*`. + +--- + +## §3.4 Gitea на SQLite — ❌ НЕ СДЕЛАНО + +``` +14.10: /data/gitea/gitea.db — 14,9 МБ, SQLite +17.10: /opt/gitea/gitea/gitea.db — SQLite на месте + база gitea_db в PostgreSQL — есть +``` + +**Gitea по-прежнему на SQLite.** Значит **при потере CT 140 он теряется целиком.** + +**НО:** копии контейнеров теперь создаются (12 в расписании), значит **данные защищены** — пусть и через копию контейнера, а не базы. + +--- + +## §3.7 Сертификаты — ✅ УЛУЧШЕНО + +``` +14.10: 12 сертификатов Let's Encrypt +17.10: 40-41 сертификат +``` + +**Больше доменов защищено.** Проверено: `vault` и `matrix` отдают правильные сертификаты. + +--- + +## §4.8 Дефекты safe-update.sh — 🔶 ЧАСТИЧНО + +``` +БЫЛО 14.10: + 403 считается успехом healthcheck + Нет git push после commit + seq 1 null при отсутствии полей + Читает services.yaml, которого нет в Git + +СЕЙЧАС: + 403 упоминаний: 2 ❌ НЕ исправлено + git push в скрипте: 2 ✅ ЕСТЬ (было 0) + seq 1 null: 0 ✅ исправлено + services.yaml в Git: ✅ ДА ✅ исправлено +``` + +**Что исправлено:** `git push` добавлен, `seq 1 null` убран, `services.yaml` в Git. +**Что осталось:** **403 всё ещё считается успехом** — это ложный успех healthcheck. + +**Замечание:** есть файл `.before-wait-fix` — значит в скрипт вносились правки (ожидание готовности). + +--- + +## §5.4 Открытые наружу точки — 🔶 ЧАСТИЧНО + +``` + БЫЛО СЕЙЧАС +/tg-api/ открыт 404 ✅ ЗАКРЫТ +/ray (git) открыт 404 ✅ ЗАКРЫТ +/ray (n8n) открыт 302 ⚠️ отвечает +HSTS нет нигде нет нигде ❌ НЕ СДЕЛАНО +iptables.rules 0 байт 0 байт ❌ НЕ СДЕЛАНО +ufw-status.txt 0 байт 0 байт ❌ НЕ СДЕЛАНО +``` + +**Что закрыто:** `/tg-api/` и `/ray` на git-домене. +**Что осталось:** +- `/ray` на `n8n.buryans.ru` отвечает (302) +- **HSTS отсутствует** на всех доменах +- **Firewall по-прежнему не зафиксирован в Git** — оба файла пусты + +**Последнее важно:** аудит прямо писал «снять реальные правила в репозиторий». **Файлы так и пусты.** + +--- + +## §6.3 Ранбуки — 🔶 НЕМНОГО ЛУЧШЕ + +``` + 14.10 17.10 +services/ 59 60 +knowledge/runbooks/ 31 31 +«Требуется документир.» 25 26 +Рабочих ~7 ~7 + ++ НАШИ НОВЫЕ ИНСТРУКЦИИ: 16 +``` + +**Наши 16 инструкций** (написаны за эту работу): +``` +ops/security/ SSO-GUARDS, SOPS-HOWTO, SECRETS-INVENTORY, DB-USERS, + APPARMOR-FIX, PASSWORD-ROTATION-LESSON +ops/network/ MOBILE-BROWSER-ISSUE +ops/monitoring/ LOKI-HOWTO, ALERTS-HOWTO, CHECKS-HOWTO +ops/scripts/ PHOTOS-BACKUP, KEY-BACKUP-HOWTO, V1-PROGRESS +docs/ AUDIT-2026-10-17, STRATEGY, SERVICES-REVIEW +``` + +**Это настоящие инструкции по реальным проблемам** — не заглушки. + +**Старые 26 заглушек «Требуется документирование» — не тронуты.** + +--- + +## §9 Локальные модели — ❌ + ⚠️ СВОП + +``` +14.10: + CT 160 llm-lxc: остановлен + Модель: qwen2.5:3b (1,9 ГБ) на диске + Скорость: 0,079 токена/с — неработоспособно + Память: 10 из 15 ГБ, своп 7,1 из 8 + Вывод: нужна память, а не процессор + +17.10: + CT 160: stopped (не менялось) + Память: 10 из 15 ГБ, доступно 5,0 + Своп: 8,0 из 8,0 — ⚠️ ПОЛНОСТЬЮ ЗАНЯТ +``` + +**Своп стал хуже.** Это **первый шаг, который называл аудит** — добавить 16 ГБ памяти. + +--- + +## §8 «Осталось решить» — старый стек на PVE + +``` +14.10: 9 контейнеров, 5,9 ГБ, порты 80/443/53, порт 9000 +17.10: Docker не отвечает (служба failed) + /opt/buryan-hub/data — 1,2 ГБ ← уменьшилось с 5,9 +``` + +**Размер уменьшился** — часть убрана. **Но контейнеры не разобраны**, потому что Docker не работает. + +--- + +# ЧТО ДЕЛАТЬ — ОБНОВЛЁННЫЙ СПИСОК + +## 🔴 Критичное + +``` +1. СВОП ЗАПОЛНЕН НА 100% — добавить 16 ГБ памяти + Это первопричина многих проблем, включая медленные модели. + +2. РАЗОБРАТЬ 13 КОПИЙ БАЗ *_pre_utf8_* — если перевод удался + Сейчас 40 баз вместо 20. Половина — копии. + +3. FIREWALL В GIT — оба файла пусты (iptables.rules, ufw-status.txt) + Аудит требовал с 14.10. Не сделано. +``` + +## 🟠 Важное + +``` +4. РЕШИТЬ СУДЬБУ DOCKER НА PVE — 4 дня failed + Нужно ваше решение: погасить / починить / удалить стек + +5. 403 В safe-update.sh — всё ещё считается успехом + +6. HSTS на домены — отсутствует везде + +7. ТОКЕНЫ 416f/8668/8653 — всё ещё в Git (8668 стало больше) + +8. /ray на n8n.buryans.ru — отвечает 302, закрыть + +9. root/buryan-hub — вычистить data/ из истории (git filter-repo) +``` + +## 🟡 Гигиена + +``` +10. Закоммитить 8 файлов системы обновлений (или в .gitignore) +11. Gitea: перевести на PostgreSQL или признать SQLite +12. Удалить .before-* файлы +13. Разобрать 26 заглушек ранбуков +14. Реестр агентов — таблица отсутствует +``` + +--- + +# ВЫВОД + +**За три дня исправлено главное:** + +``` +✅ Копии данных — были пустышкой, теперь настоящие (32 МБ) +✅ Проверка копий — была фикцией, теперь еженедельно и по-настоящему +✅ Пул томов — 80,65% → 57,86%, копии создаются +✅ Автоаудит — врал 6 дней, теперь работает +✅ Бот на VPS — был в цикле 901 раз, теперь вышел чисто +✅ Сирота gitea — удалена +✅ Главные секреты — Bitwarden и Authentik убраны из Git +✅ ПОСТРОЕНО НОВОЕ — наблюдение, тревоги, журналы с 26 машин, + единый вход на 15 доменов, SOPS-шифрование +``` + +**Что осталось и почему:** + +``` +❌ Docker на PVE — нужно ВАШЕ решение (риск конфликта портов) +❌ Базы 20 → 40 — копии перевода на UTF-8 +❌ Firewall в Git — файлы пусты +❌ Токены в Git — ротация отложена по вашему решению +⚠️ Своп 100% — стало хуже, нужна память +``` + +**Главный вывод: критичное про данные — исправлено. Осталось то, +что требует вашего решения (Docker, память, ротация) или +гигиены (дубликаты, firewall, токены).**