4.5 KiB
4.5 KiB
Глубокий аудит после LLM: как запускается и что уже нашёл (12.11.2026)
Задача
После того как LLM-сбор закончит очередь — полный read-only аудит всей инфраструктуры, отчёт нам на разбор. Ничего не меняется: только чтение.
Как это устроено
| Компонент | Что делает |
|---|---|
ops/scripts/deep_audit.py |
12 разделов проверок, отчёт в ops/audits/<дата>-deep-audit.md |
ops/scripts/after-llm-audit.sh |
запускает аудит, только когда очередь LLM пуста |
Hermes deep-audit-after-llm |
каждые 30 минут проверяет условие, раз в сутки делает аудит |
Условие «LLM закончил»: по всем очередям (queue*.jsonl) не осталось
необработанных адресов. Пока есть остаток — тишина в журнале.
Что проверяет аудит
- Ресурсы хоста (CPU, память, диск, load, топ процессов)
- Сбои systemd
- Таймеры
- Контейнеры по каждому CT
- Ошибки (prio err) за 7 дней по службам
- Топ повторяющихся ошибок
- Место на диске и крупнейшие каталоги
- Свежесть бэкапов
- Сеть: VPN, порты, DNS
- Гигиена: дубли unit-файлов, кроны, старые копии,
__pycache__ - Безопасность: сертификаты, неудачные входы
- Состояние LLM-сбора
Первый прогон (12.11, 45 с, 12 разделов)
🔴 Критичное
| Находка | Значение |
|---|---|
hub-db-dumps.service |
failed — дампы БД не делаются |
hub-rag.service |
failed ×2 — переиндексация RAG падает |
hub-cert-sync.service |
failed — сертификаты не синхронизируются с VPS |
| Память хоста | 12 из 15 ГБ, свободно 167 МБ, swap 17 ГБ, kswapd активен |
| «task blocked for more than N seconds» | 10+ записей — хост в memory pressure |
| NVMe | Critical Warning (Temperature) ×10 — диск перегревается |
| LVM | EXTN-fs: write access unavailable, skipping orphan cleanup ×99 |
🟡 Гигиена
| Находка | Значение |
|---|---|
| Заданий Hermes | 49 + 16 строк crontab — возможны пересечения |
| Старые копии | 10+ файлов *.bak-* в /root |
__pycache__ |
11 каталогов в /opt |
Порты на 0.0.0.0 |
1080/1081/1088, 111/2049 (NFS), 8080, 8096, 8095, 8101–8106 |
| DNS | 100.100.100.100 — Tailscale; если он падает, DNS тоже |
🟢 Что в порядке
- дублей unit-файлов нет;
- неудачных попыток входа за 7 дней — 0;
- VPN
wgvpsжив: хендшейк 25 с, 121 МиБ принято / 524 МиБ отправлено; - журнал занимает 364 МБ — не критично;
/занят на 42% (43 из 109 ГБ).
Почему это важно
Три failed службы — это не косметика:
hub-db-dumps— нет свежих логических дампов баз. При аварии восстанавливать нечем.hub-cert-sync— сертификаты на домашнем nginx не обновляются с VPS. Однажды истечёт срок — и половина доменов отвалится.hub-rag— поиск по документам работает на неполном индексе.
Плюс memory pressure: когда памяти 167 МБ, kswapd грузит диск, и любые
сервисы начинают отвечать медленно — это и выглядит как «то работает,
то нет».
Что дальше
Аудит запустится сам, когда LLM доберёт остаток (344 документа на момент
записи). Дальше — разбираем находки с владельцем и чиним по одной,
начиная с hub-db-dumps и памяти.