Files
buryan-infra/ops/audits/README-DEEP-AUDIT.md
T

4.5 KiB
Raw Blame History

Глубокий аудит после LLM: как запускается и что уже нашёл (12.11.2026)

Задача

После того как LLM-сбор закончит очередь — полный read-only аудит всей инфраструктуры, отчёт нам на разбор. Ничего не меняется: только чтение.

Как это устроено

Компонент Что делает
ops/scripts/deep_audit.py 12 разделов проверок, отчёт в ops/audits/<дата>-deep-audit.md
ops/scripts/after-llm-audit.sh запускает аудит, только когда очередь LLM пуста
Hermes deep-audit-after-llm каждые 30 минут проверяет условие, раз в сутки делает аудит

Условие «LLM закончил»: по всем очередям (queue*.jsonl) не осталось необработанных адресов. Пока есть остаток — тишина в журнале.

Что проверяет аудит

  1. Ресурсы хоста (CPU, память, диск, load, топ процессов)
  2. Сбои systemd
  3. Таймеры
  4. Контейнеры по каждому CT
  5. Ошибки (prio err) за 7 дней по службам
  6. Топ повторяющихся ошибок
  7. Место на диске и крупнейшие каталоги
  8. Свежесть бэкапов
  9. Сеть: VPN, порты, DNS
  10. Гигиена: дубли unit-файлов, кроны, старые копии, __pycache__
  11. Безопасность: сертификаты, неудачные входы
  12. Состояние LLM-сбора

Первый прогон (12.11, 45 с, 12 разделов)

🔴 Критичное

Находка Значение
hub-db-dumps.service failed — дампы БД не делаются
hub-rag.service failed ×2 — переиндексация RAG падает
hub-cert-sync.service failed — сертификаты не синхронизируются с VPS
Память хоста 12 из 15 ГБ, свободно 167 МБ, swap 17 ГБ, kswapd активен
«task blocked for more than N seconds» 10+ записей — хост в memory pressure
NVMe Critical Warning (Temperature) ×10 — диск перегревается
LVM EXTN-fs: write access unavailable, skipping orphan cleanup ×99

🟡 Гигиена

Находка Значение
Заданий Hermes 49 + 16 строк crontab — возможны пересечения
Старые копии 10+ файлов *.bak-* в /root
__pycache__ 11 каталогов в /opt
Порты на 0.0.0.0 1080/1081/1088, 111/2049 (NFS), 8080, 8096, 8095, 8101–8106
DNS 100.100.100.100 — Tailscale; если он падает, DNS тоже

🟢 Что в порядке

  • дублей unit-файлов нет;
  • неудачных попыток входа за 7 дней — 0;
  • VPN wgvps жив: хендшейк 25 с, 121 МиБ принято / 524 МиБ отправлено;
  • журнал занимает 364 МБ — не критично;
  • / занят на 42% (43 из 109 ГБ).

Почему это важно

Три failed службы — это не косметика:

  1. hub-db-dumps — нет свежих логических дампов баз. При аварии восстанавливать нечем.
  2. hub-cert-sync — сертификаты на домашнем nginx не обновляются с VPS. Однажды истечёт срок — и половина доменов отвалится.
  3. hub-rag — поиск по документам работает на неполном индексе.

Плюс memory pressure: когда памяти 167 МБ, kswapd грузит диск, и любые сервисы начинают отвечать медленно — это и выглядит как «то работает, то нет».

Что дальше

Аудит запустится сам, когда LLM доберёт остаток (344 документа на момент записи). Дальше — разбираем находки с владельцем и чиним по одной, начиная с hub-db-dumps и памяти.