85 lines
4.5 KiB
Markdown
85 lines
4.5 KiB
Markdown
# Глубокий аудит после LLM: как запускается и что уже нашёл (12.11.2026)
|
||
|
||
## Задача
|
||
|
||
После того как LLM-сбор закончит очередь — **полный read-only аудит** всей
|
||
инфраструктуры, отчёт нам на разбор. Ничего не меняется: только чтение.
|
||
|
||
## Как это устроено
|
||
|
||
| Компонент | Что делает |
|
||
|---|---|
|
||
| `ops/scripts/deep_audit.py` | 12 разделов проверок, отчёт в `ops/audits/<дата>-deep-audit.md` |
|
||
| `ops/scripts/after-llm-audit.sh` | запускает аудит, **только когда очередь LLM пуста** |
|
||
| Hermes `deep-audit-after-llm` | каждые 30 минут проверяет условие, раз в сутки делает аудит |
|
||
|
||
Условие «LLM закончил»: по всем очередям (`queue*.jsonl`) не осталось
|
||
необработанных адресов. Пока есть остаток — тишина в журнале.
|
||
|
||
### Что проверяет аудит
|
||
|
||
1. Ресурсы хоста (CPU, память, диск, load, топ процессов)
|
||
2. Сбои systemd
|
||
3. Таймеры
|
||
4. Контейнеры по каждому CT
|
||
5. Ошибки (prio err) за 7 дней по службам
|
||
6. Топ повторяющихся ошибок
|
||
7. Место на диске и крупнейшие каталоги
|
||
8. Свежесть бэкапов
|
||
9. Сеть: VPN, порты, DNS
|
||
10. Гигиена: дубли unit-файлов, кроны, старые копии, `__pycache__`
|
||
11. Безопасность: сертификаты, неудачные входы
|
||
12. Состояние LLM-сбора
|
||
|
||
## Первый прогон (12.11, 45 с, 12 разделов)
|
||
|
||
### 🔴 Критичное
|
||
|
||
| Находка | Значение |
|
||
|---|---|
|
||
| `hub-db-dumps.service` | **failed** — дампы БД не делаются |
|
||
| `hub-rag.service` | failed ×2 — переиндексация RAG падает |
|
||
| `hub-cert-sync.service` | failed — сертификаты не синхронизируются с VPS |
|
||
| Память хоста | **12 из 15 ГБ, свободно 167 МБ**, swap 17 ГБ, `kswapd` активен |
|
||
| «task blocked for more than N seconds» | 10+ записей — хост в memory pressure |
|
||
| NVMe | `Critical Warning (Temperature)` ×10 — диск перегревается |
|
||
| LVM | `EXTN-fs: write access unavailable, skipping orphan cleanup` ×99 |
|
||
|
||
### 🟡 Гигиена
|
||
|
||
| Находка | Значение |
|
||
|---|---|
|
||
| Заданий Hermes | **49** + 16 строк crontab — возможны пересечения |
|
||
| Старые копии | 10+ файлов `*.bak-*` в `/root` |
|
||
| `__pycache__` | 11 каталогов в `/opt` |
|
||
| Порты на `0.0.0.0` | 1080/1081/1088, **111/2049 (NFS)**, 8080, 8096, 8095, 8101–8106 |
|
||
| DNS | `100.100.100.100` — Tailscale; если он падает, DNS тоже |
|
||
|
||
### 🟢 Что в порядке
|
||
|
||
* дублей unit-файлов нет;
|
||
* неудачных попыток входа за 7 дней — **0**;
|
||
* VPN `wgvps` жив: хендшейк 25 с, 121 МиБ принято / 524 МиБ отправлено;
|
||
* журнал занимает 364 МБ — не критично;
|
||
* `/` занят на 42% (43 из 109 ГБ).
|
||
|
||
## Почему это важно
|
||
|
||
Три **failed** службы — это не косметика:
|
||
|
||
1. **`hub-db-dumps`** — нет свежих логических дампов баз. При аварии
|
||
восстанавливать нечем.
|
||
2. **`hub-cert-sync`** — сертификаты на домашнем nginx не обновляются с VPS.
|
||
Однажды истечёт срок — и половина доменов отвалится.
|
||
3. **`hub-rag`** — поиск по документам работает на неполном индексе.
|
||
|
||
Плюс memory pressure: когда памяти 167 МБ, `kswapd` грузит диск, и любые
|
||
сервисы начинают отвечать медленно — это и выглядит как «то работает,
|
||
то нет».
|
||
|
||
## Что дальше
|
||
|
||
Аудит запустится сам, когда LLM доберёт остаток (344 документа на момент
|
||
записи). Дальше — разбираем находки с владельцем и чиним по одной,
|
||
начиная с `hub-db-dumps` и памяти.
|