diff --git a/docs/AUTOMATION-2026-10-17.md b/docs/AUTOMATION-2026-10-17.md new file mode 100644 index 0000000..8e9946b --- /dev/null +++ b/docs/AUTOMATION-2026-10-17.md @@ -0,0 +1,71 @@ +# Автоматика: профиль безопасности, уборка, проверка входа + +**17.10.2026.** Три задачи, которые до этого держались на «помню / не +помню». + +## 1.2 Профиль безопасности — единое место правды + +**В чём была проблема.** `apparmor=unconfined` — это ослабление изоляции +контейнера, нужное только там, где LXC мешает Docker загрузить свой +профиль. Таких мест мало, но забыть про них легко: после обновления +стека служба просто не поднимается, и причина неочевидна. + +**Что сделано:** `ops/security/apparmor-manage.sh` — единственный +источник правды. Скрипт измеряет, кому обход действительно нужен, и +показывает, где он уже прописан. Правка — только по флагу `--apply`. + +**Результат измерения (26 контейнеров с Docker):** + +| Требуют обхода | Где | +|---|---| +| CT 115 OpenClaw | `/opt/openclaw/docker-compose.yml` — **есть** | +| CT 140 gitea | `/opt/gitea/docker-compose.yml` — **есть** | +| остальные 24 | обход не нужен | + +**Моя ошибка в измерении.** Первая версия проверки запускала +`docker run --rm hello-world`. Если образа нет локально, Docker идёт в +реестр и падает с `TLS handshake timeout` — и это **не про AppArmor**. +Я получил ложное срабатывание на CT 108. Исправлено: тест берёт образ, +который уже есть локально, и считает «нужен обход» только если в ошибке +есть слово `apparmor`. После исправления CT 108 честно показывает +«обход не нужен». + +## 1.7 Уборка остатков — теперь автоматически + +**Что делает:** `ops/maintenance/cleanup-leftovers.sh` раз в неделю +(воскресенье, 4:00) убирает контейнеры с `-old-` в имени, которые +**остановлены** или **крутятся в петле перезапуска**. Плюс чистит +висячие образы. + +**Чего НЕ трогает:** работающие контейнеры, даже если в имени есть +«old». В CT 115 `openclaw-old` — действующий экземпляр; удали его, и +служба пропадёт. + +**Первый прогон освободил** несколько гигабайт висячих образов в 26 +контейнерах. + +**Почему автоматически:** 14.10 после обновлений осталось 14 +контейнеров, один крутился в петле и жёг ресурсы. Руками это +забывается — и забылось. + +Расписание: `/etc/cron.d/buryan-cleanup`, копия в репозитории. + +## 4.3.3 Проверка «вход работает», а не «порт отвечает» + +**Зачем.** Служба может отвечать `302` на корень и при этом не отдавать +страницу входа — человек видит пустоту, а наблюдение молчит. + +**Что добавлено:** `check_login()` проверяет три вещи: +1. код ответа `200` **после переходов**; +2. тело непустое (больше 500 байт); +3. в теле есть признаки страницы входа Authentik. + +Наблюдение: **59 → 60 проверок**, все проходят. + +## Итог + +| Задача | Было | Стало | +|---|---|---| +| 1.2 профиль в общем управлении | ⬜ | ✅ скрипт + измерение | +| 1.7 уборка остатков | 🔶 вручную | ✅ еженедельно по расписанию | +| 4.3.3 проверка входа | ⬜ | ✅ 60 проверок | diff --git a/docs/TASKS.md b/docs/TASKS.md index 5e68644..6190731 100644 --- a/docs/TASKS.md +++ b/docs/TASKS.md @@ -31,14 +31,14 @@ | Раздел | Всего | Сделано | Частично | Осталось | |---|---|---|---|---| -| ЗАВЕРШИТЬ ОБНОВЛЕНИЯ | 8 | 5 | 1 | **2** | +| ЗАВЕРШИТЬ ОБНОВЛЕНИЯ | 8 | 7 | 0 | **1** | | СЕТЬ И ДОСТУП | 6 | 4 | 0 | **2** | | ЗВОНКИ И МЕДИА | 5 | 0 | 0 | **5** | -| СКВОЗНАЯ СВЯЗНОСТЬ | 12 | 2 | 3 | **7** | +| СКВОЗНАЯ СВЯЗНОСТЬ | 12 | 3 | 3 | **6** | | УЛУЧШЕНИЕ СЛУЖБ | 10 | 0 | 0 | **10** | | VPN (этапы 1–4) | 29 | 19 | 4 | **6** | | РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 8 | 3 | **6** | -| **ИТОГО** | **87** | **38** | **11** | **38** | +| **ИТОГО** | **87** | **41** | **10** | **36** | --- @@ -46,18 +46,19 @@ + ## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ | № | Задача | Состояние | |---|---|---| | 1.0 | Профиль безопасности: причина найдена, Matrix исправлен | ✅ | | 1.1 | Применить профиль в остальных контейнерах | ✅ измерено: нужен 2 из 23, там уже есть | -| 1.2 | Вынести профиль в общее управление (один источник правды) | ⬜ | +| 1.2 | Вынести профиль в общее управление (один источник правды) | ✅ скрипт `ops/security/apparmor-manage.sh` | | 1.3 | Обновить `paperless` | ✅ 17.10, проверка прошла | | 1.4 | Обновить `gitea` | ✅ 17.10 | | 1.5 | Обновить `authentik` | ⛔ тег :latest не существует, образ 18 мес | | 1.6 | Обновить `postgres-rbac` | ⏸ по слову владельца: не трогаем | -| 1.7 | Автоматически убирать контейнеры-остатки | 🔶 вручную сделано 17.10, автоматизации пока нет | +| 1.7 | Автоматически убирать контейнеры-остатки | ✅ еженедельно по расписанию | | 1.13 | Обновления из бота: реестр расширен с 28 до 50 служб | ✅ | | 1.14 | authentik: сменить тег и обновить через 18 мес (нужно окно + дамп базы) | ⬜ **важно** | @@ -92,7 +93,7 @@ | 4.2.1 | Все службы шлют через общий слой | 🔶 частично | | 4.3.1 | Все 28 служб в наблюдение | ✅ 34 → 59 проверок | | 4.3.2 | Проверять «работает», а не «отвечает» | 🔶 частично | -| 4.3.3 | Отдельная проверка: вход работает | ⬜ | +| 4.3.3 | Отдельная проверка: вход работает | ✅ 60 проверок | | 4.4.1 | Снимки перед изменениями | ✅ | | 4.4.2 | Проверка восстановления из копий | 🔶 проверено для конфигураций VPN | | 4.4.3 | Копии наружу | ⬜ | diff --git a/ops/maintenance/cleanup-leftovers.sh b/ops/maintenance/cleanup-leftovers.sh new file mode 100755 index 0000000..49fe412 --- /dev/null +++ b/ops/maintenance/cleanup-leftovers.sh @@ -0,0 +1,69 @@ +#!/bin/bash +# ============================================================ +# cleanup-leftovers.sh — автоматическая уборка остатков (задача 1.7) +# ============================================================ +# ЧТО УБИРАЕТМ: контейнеры с «-old-» в имени, которые ОСТАНОВЛЕНЫ или +# КРУТЯТСЯ В ПЕТЛЕ перезапуска. Это остатки от обновлений: каждый раз +# создаётся новый контейнер, старый остаётся. +# +# ЧЕГО НЕ ТРОГАЕМ: работающие контейнеры, даже если в имени есть «old». +# В CT 115 openclaw-old — это ДЕЙСТВУЮЩИЙ экземпляр (основной падал). +# Удали его — и служба пропадёт. +# +# ПОЧЕМУ АВТОМАТИЧЕСКИ: 14.10 после обновлений осталось 14 контейнеров, +# из них один крутился в петле и жег ресурсы. Руками это забывается. +# ============================================================ +set -uo pipefail + +LOG=/var/log/buryan-hub/cleanup-leftovers.log +mkdir -p "$(dirname "$LOG")" +TS=$(date '+%Y-%m-%d %H:%M:%S') + +echo "[$TS] уборка остатков" | tee -a "$LOG" + +removed=0 +kept=0 + +for ct in $(pct list 2>/dev/null | awk '$2=="running"{print $1}'); do + has=$(pct exec "$ct" -- bash -c 'command -v docker >/dev/null 2>&1 && echo ok' 2>/dev/null | tr -d '\r\n ') + [ "$has" = "ok" ] || continue + + list=$(pct exec "$ct" -- bash -c 'docker ps -a --format "{{.Names}}|{{.State}}" 2>/dev/null | grep -- "-old-"' 2>/dev/null | tr -d '\r') + [ -z "$list" ] && continue + + while IFS='|' read -r name state; do + [ -z "$name" ] && continue + case "$state" in + exited|created|dead|restarting|paused) + if pct exec "$ct" -- docker rm -f "$name" >/dev/null 2>&1; then + echo "[$TS] CT $ct: удалён $name ($state)" | tee -a "$LOG" + removed=$((removed+1)) + else + echo "[$TS] CT $ct: НЕ удалось удалить $name" | tee -a "$LOG" + fi + ;; + running) + echo "[$TS] CT $ct: оставлен $name (работает)" | tee -a "$LOG" + kept=$((kept+1)) + ;; + *) + echo "[$TS] CT $ct: $name ($state) — пропущен" | tee -a "$LOG" + ;; + esac + done <<< "$list" +done + +echo "[$TS] итог: удалено $removed, оставлено работающих $kept" | tee -a "$LOG" + +# Чистка висячих образов (не влияет на работающие контейнеры) +freed=0 +for ct in $(pct list 2>/dev/null | awk '$2=="running"{print $1}'); do + has=$(pct exec "$ct" -- bash -c 'command -v docker >/dev/null 2>&1 && echo ok' 2>/dev/null | tr -d '\r\n ') + [ "$has" = "ok" ] || continue + out=$(pct exec "$ct" -- bash -c 'docker image prune -f 2>&1 | tail -1' 2>/dev/null | tr -d '\r') + case "$out" in + *"Total reclaimed space"*) echo "[$TS] CT $ct: $out" | tee -a "$LOG" ;; + esac +done + +exit 0 diff --git a/ops/maintenance/cron-buryan-cleanup b/ops/maintenance/cron-buryan-cleanup new file mode 100644 index 0000000..d62116f --- /dev/null +++ b/ops/maintenance/cron-buryan-cleanup @@ -0,0 +1,6 @@ +# Уборка остатков от обновлений — раз в неделю, в воскресенье в 4:00. +# Убирает ТОЛЬКО остановленные и зацикленные контейнеры с «-old-» в имени. +# Работающие не трогает: в CT 115 openclaw-old — действующий экземпляр. +SHELL=/bin/bash +PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin +0 4 * * 0 root /opt/buryan-hub/scripts/cleanup-leftovers.sh >> /var/log/buryan-hub/cleanup-leftovers.log 2>&1 diff --git a/ops/monitoring/check-services.sh b/ops/monitoring/check-services.sh index cd01897..b451a9b 100755 --- a/ops/monitoring/check-services.sh +++ b/ops/monitoring/check-services.sh @@ -65,6 +65,32 @@ check_alive() { esac } +check_login() { + # Проверка 4.3.3: важно не «порт отвечает», а «страница входа отдаётся». + # Служба может отвечать 302 на корень и при этом не отдавать страницу + # входа — тогда человек видит пустоту, а наблюдение молчит. + local name="Вход Authentik" url="https://authentik.buryans.ru/" + local body code + body=$(curl -sL --max-time 25 -k "$url" 2>/dev/null) + code=$(curl -s -o /dev/null -w "%{http_code}" --max-time 25 -k -L "$url" 2>/dev/null) + if [ "$code" != "200" ]; then + FAILED="$FAILED$name:код $code;" + return 1 + fi + if [ ${#body} -lt 500 ]; then + FAILED="$FAILED$name:пустой ответ;" + return 1 + fi + case "$body" in + *ak-flow*|*authentik*|*authentik*|*"ak-flow"*) + PASSED=$((PASSED+1)) + return 0 ;; + *) + FAILED="$FAILED$name:не похоже на страницу входа;" + return 1 ;; + esac +} + check_db() { # $1=имя $2=база $3=запрос $4=ожидаемое число local name="$1" db="$2" q="$3" want="$4" local got @@ -202,6 +228,8 @@ check "Тревоги" "http://192.168.1.134:9093/-/healthy" "" check "Element" "http://192.168.1.155:8088/" "" check "Звонки LiveKit" "http://192.168.1.155:7880/" "" +check_login + check_vpn check_gateway_dns check_gateway_tunnel diff --git a/ops/security/apparmor-manage.sh b/ops/security/apparmor-manage.sh new file mode 100755 index 0000000..2131ff9 --- /dev/null +++ b/ops/security/apparmor-manage.sh @@ -0,0 +1,114 @@ +#!/bin/bash +# ============================================================ +# apparmor-manage.sh — единое управление профилем безопасности (1.2) +# ============================================================ +# ЗАДАЧА 1.2: «вынести профиль в общее управление — один источник +# правды». Лекарство от вопроса «почему в одном месте работает, а в +# другом нет». +# +# СУТЬ. В контейнерах LXC Docker не может загрузить свой профиль +# AppArmor. Там, где нужен Docker, приходится ставить +# `apparmor=unconfined` — это ОСЛАБЛЕНИЕ изоляции, а не усиление. +# +# ВАЖНО ПРО ИЗМЕРЕНИЕ (моя ошибка, которую исправил): +# Первая версия запускала `docker run --rm hello-world`. Если образа нет +# локально, Docker идёт в реестр, и при проблемах с сетью падает с +# «TLS handshake timeout» — это НЕ про AppArmor. Я получил ложное +# срабатывание на CT 108, где сеть до реестра нестабильна. +# Теперь тест: +# * берёт образ, который УЖЕ есть локально (в реестр не ходит); +# * считает «нужен обход» только если в ошибке есть apparmor. +# +# Запуск: +# apparmor-manage.sh — только показать (безопасно) +# apparmor-manage.sh --apply — прописать обход тем, кто без него не может +# ============================================================ +set -uo pipefail + +APPLY=false +[ "${1:-}" = "--apply" ] && APPLY=true + +echo "=== ИЗМЕРЕНИЕ (без обращения к реестру) ===" +printf ' %-6s %-22s %-14s %s\n' "CT" "имя" "вывод" "где обход" +echo " ------------------------------------------------------------------------------" + +NEED="" +for ct in $(pct list 2>/dev/null | awk '$2=="running"{print $1}'); do + has=$(pct exec "$ct" -- bash -c 'command -v docker >/dev/null 2>&1 && echo ok' 2>/dev/null | tr -d '\r\n ') + [ "$has" = "ok" ] || continue + + name=$(pct config "$ct" 2>/dev/null | grep '^hostname' | awk '{print $2}') + + # образ, который уже есть локально — в реестр не ходим + img=$(pct exec "$ct" -- bash -c 'docker images --format "{{.Repository}}:{{.Tag}}" 2>/dev/null | grep -v "" | head -1' 2>/dev/null | tr -d '\r') + + if [ -z "$img" ]; then + printf ' %-6s %-22s %-14s %s\n' "$ct" "${name:0:22}" "нет образов" "проверить вручную" + continue + fi + + out=$(timeout 60 pct exec "$ct" -- docker run --rm --entrypoint /bin/true "$img" 2>&1) + rc=$? + + if [ "$rc" -eq 0 ]; then + printf ' %-6s %-22s %-14s %s\n' "$ct" "${name:0:22}" "обход не нужен" "—" + continue + fi + + if echo "$out" | grep -qi "apparmor"; then + where="НЕ ПРОПИСАН" + for f in $(pct exec "$ct" -- bash -c 'ls /opt/*/docker-compose.yml /opt/*/*/docker-compose.yml 2>/dev/null' 2>/dev/null | tr -d '\r'); do + if pct exec "$ct" -- grep -q "apparmor" "$f" 2>/dev/null; then where="$f"; break; fi + done + printf ' %-6s %-22s %-14s %s\n' "$ct" "${name:0:22}" "НУЖЕН ОБХОД" "$where" + NEED="$NEED $ct" + else + reason=$(echo "$out" | grep -oE "exec: \"[^\"]+\"|OCI runtime|no such file" | head -1) + printf ' %-6s %-22s %-14s %s\n' "$ct" "${name:0:22}" "иная ошибка" "${reason:-см. вручную}" + fi +done + +echo " ------------------------------------------------------------------------------" +echo " требуют обхода:${NEED:- ни один}" + +if [ "$APPLY" != true ]; then + echo + echo " Это отчёт. Прописать обход там, где его нет:" + echo " $0 --apply" + echo + echo " ВАЖНО: обход ОСЛАБЛЯЕТ изоляцию. Только тем, кто в списке." + exit 0 +fi + +echo +echo "=== ПРОПИСЫВАЮ ОБХОД ===" +for ct in $NEED; do + files=$(pct exec "$ct" -- bash -c 'ls /opt/*/docker-compose.yml 2>/dev/null' 2>/dev/null | tr -d '\r') + changed=0 + for f in $files; do + if pct exec "$ct" -- grep -q "apparmor" "$f" 2>/dev/null; then + echo " CT $ct: $f — уже есть" + changed=1 + continue + fi + pct exec "$ct" -- cp -p "$f" "$f.before-apparmor" 2>/dev/null + if pct exec "$ct" -- sed -i 's/^\( *\)container_name: \(.*\)$/\1container_name: \2\n\1apparmor:unconfined/' "$f" 2>/dev/null; then + echo " CT $ct: $f — добавлено" + changed=1 + else + echo " CT $ct: $f — НЕ удалось" + fi + done + [ "$changed" -eq 0 ] && echo " CT $ct: compose не найден — разбор вручную" +done + +echo +echo "=== ПРОВЕРКА ПОСЛЕ ===" +for ct in $NEED; do + img=$(pct exec "$ct" -- bash -c 'docker images --format "{{.Repository}}:{{.Tag}}" 2>/dev/null | grep -v "" | head -1' 2>/dev/null | tr -d '\r') + if timeout 60 pct exec "$ct" -- docker run --rm --entrypoint /bin/true "$img" >/dev/null 2>&1; then + echo " CT $ct: работает (обход подействует и на новые контейнеры стека)" + else + echo " CT $ct: проверьте — возможно, нужен перезапуск стека" + fi +done