Files
buryan-infra/ops/audits/README-DEEP-AUDIT.md
T

85 lines
4.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Глубокий аудит после LLM: как запускается и что уже нашёл (12.11.2026)
## Задача
После того как LLM-сбор закончит очередь — **полный read-only аудит** всей
инфраструктуры, отчёт нам на разбор. Ничего не меняется: только чтение.
## Как это устроено
| Компонент | Что делает |
|---|---|
| `ops/scripts/deep_audit.py` | 12 разделов проверок, отчёт в `ops/audits/<дата>-deep-audit.md` |
| `ops/scripts/after-llm-audit.sh` | запускает аудит, **только когда очередь LLM пуста** |
| Hermes `deep-audit-after-llm` | каждые 30 минут проверяет условие, раз в сутки делает аудит |
Условие «LLM закончил»: по всем очередям (`queue*.jsonl`) не осталось
необработанных адресов. Пока есть остаток — тишина в журнале.
### Что проверяет аудит
1. Ресурсы хоста (CPU, память, диск, load, топ процессов)
2. Сбои systemd
3. Таймеры
4. Контейнеры по каждому CT
5. Ошибки (prio err) за 7 дней по службам
6. Топ повторяющихся ошибок
7. Место на диске и крупнейшие каталоги
8. Свежесть бэкапов
9. Сеть: VPN, порты, DNS
10. Гигиена: дубли unit-файлов, кроны, старые копии, `__pycache__`
11. Безопасность: сертификаты, неудачные входы
12. Состояние LLM-сбора
## Первый прогон (12.11, 45 с, 12 разделов)
### 🔴 Критичное
| Находка | Значение |
|---|---|
| `hub-db-dumps.service` | **failed** — дампы БД не делаются |
| `hub-rag.service` | failed ×2 — переиндексация RAG падает |
| `hub-cert-sync.service` | failed — сертификаты не синхронизируются с VPS |
| Память хоста | **12 из 15 ГБ, свободно 167 МБ**, swap 17 ГБ, `kswapd` активен |
| «task blocked for more than N seconds» | 10+ записей — хост в memory pressure |
| NVMe | `Critical Warning (Temperature)` ×10 — диск перегревается |
| LVM | `EXTN-fs: write access unavailable, skipping orphan cleanup` ×99 |
### 🟡 Гигиена
| Находка | Значение |
|---|---|
| Заданий Hermes | **49** + 16 строк crontab — возможны пересечения |
| Старые копии | 10+ файлов `*.bak-*` в `/root` |
| `__pycache__` | 11 каталогов в `/opt` |
| Порты на `0.0.0.0` | 1080/1081/1088, **111/2049 (NFS)**, 8080, 8096, 8095, 8101–8106 |
| DNS | `100.100.100.100` — Tailscale; если он падает, DNS тоже |
### 🟢 Что в порядке
* дублей unit-файлов нет;
* неудачных попыток входа за 7 дней — **0**;
* VPN `wgvps` жив: хендшейк 25 с, 121 МиБ принято / 524 МиБ отправлено;
* журнал занимает 364 МБ — не критично;
* `/` занят на 42% (43 из 109 ГБ).
## Почему это важно
Три **failed** службы — это не косметика:
1. **`hub-db-dumps`** — нет свежих логических дампов баз. При аварии
восстанавливать нечем.
2. **`hub-cert-sync`** — сертификаты на домашнем nginx не обновляются с VPS.
Однажды истечёт срок — и половина доменов отвалится.
3. **`hub-rag`** — поиск по документам работает на неполном индексе.
Плюс memory pressure: когда памяти 167 МБ, `kswapd` грузит диск, и любые
сервисы начинают отвечать медленно — это и выглядит как «то работает,
то нет».
## Что дальше
Аудит запустится сам, когда LLM доберёт остаток (344 документа на момент
записи). Дальше — разбираем находки с владельцем и чиним по одной,
начиная с `hub-db-dumps` и памяти.