Files
buryan-infra/ops/audits/PHASE3-LOGS-2026-11-16.md
T

86 lines
4.2 KiB
Markdown

# Фаза 3: ночной разбор журналов по сигнатурам (16.11.2026)
## Что делает
Не «хвост ошибок», а детектор **нового и изменившегося**:
1. собирает `journalctl -p warning` за сутки (до 8000 строк);
2. нормализует строки в сигнатуры: ID, числа, пути, IP → плейсхолдеры
(`EXT4-fs (dm-37)` → `EXT4-fs (dm-<n>)`);
3. сравнивает с базой за 7 дней (`/var/lib/log-signatures/YYYY-MM-DD.json`);
4. находит:
* **новые** сигнатуры (не встречались 7 дней);
* **всплески** (≥5 и ≥3× среднего в день);
* **корреляции** (разные службы в одном 5-минутном окне);
5. локальная модель (3b → DeepSeek) пишет короткий дайджест с гипотезами
и шагами;
6. при находках — уведомление в ALERT, иначе только файл.
Файлы: `/var/log/hub/log-digest-YYYY-MM-DD.md`.
## Задание
Hermes: `log-signatures`, ежедневно **08:00**:
```yaml
log-signatures:
command: /usr/bin/python3 /root/buryan-infra/ops/scripts/log_signatures.py --notify
daily_at: 08:00
timeout: 900
retries: 0
```
## Первый прогон (бэкфилл + сегодня)
```
база 2026-11-15: 12 сигнатур
база 2026-11-14: 6
база 2026-11-13: 99 ← день сбоев
база 2026-11-12: 1
база 2026-11-11: 1
база 2026-11-10: 1
база 2026-11-09: 1
сегодня: 10 сигнатур
новых: 0 | всплесков: 1 | корреляций: 0
```
## Что нашлось сразу
**Всплеск:** `kernel: EXT4-fs (dm-37): write access unavailable, skipping orphan cleanup` —
**32 раза** за сутки против ~6/день в базе.
Время: 01:00, 01:30, 02:00, 02:00… — ночное окно бэкапов. Скорее всего
том монтируется только для чтения на время копирования, но это стоит
проверить: read-only EXT4 на диске с бэкапами — не то, что хочется видеть
каждую ночь.
Дайджест модели: `[critical] write access unavailable → проверить диск,
файловую систему и память`.
## Уведомление в ALERT
```
🌙 Ночной разбор журналов
x32 (dm-<n>): write access unavailable
Новых: 0 · всплесков: 1 · корреляций: 0
Отчёт: /var/log/hub/log-digest-2026-11-16.md
```
## Ловушки
| Ловушка | Что было |
|---|---|
| первый запуск | без базы **всё** выглядело «новым» (15 сигнатур). Теперь при пустой базе сравнение откладывается до следующего прогона |
| бэкфилл | сначала писал 7-дневный агрегат в файл «сегодня»; теперь каждый день — отдельный файл |
| «действий не требуется» | 3b на `write access unavailable` отвечала «система сама пропускает». Усилен промпт: read-only/I/O/OOM/segfault — критично |
| заголовок | `notify.py` слал с заголовком «Проверка служб»; добавлен `--title` |
| таймаут 3b | дайджест иногда не успевал (45 с → 60 с), при сбое — фраза «Разбор без модели», отчёт всё равно пишется |
## Что осталось
* Корреляции пока шумные (kernel×499 в окне 14:05 — вероятно, фон от
предыдущих проверок). Нужен фильтр по «служба действительно упала».
* Пока не сравниваем с алертами: можно связать сигнатуры с инцидентами
и учиться на подтверждённых случаях.