86 lines
4.2 KiB
Markdown
86 lines
4.2 KiB
Markdown
# Фаза 3: ночной разбор журналов по сигнатурам (16.11.2026)
|
|
|
|
## Что делает
|
|
|
|
Не «хвост ошибок», а детектор **нового и изменившегося**:
|
|
|
|
1. собирает `journalctl -p warning` за сутки (до 8000 строк);
|
|
2. нормализует строки в сигнатуры: ID, числа, пути, IP → плейсхолдеры
|
|
(`EXT4-fs (dm-37)` → `EXT4-fs (dm-<n>)`);
|
|
3. сравнивает с базой за 7 дней (`/var/lib/log-signatures/YYYY-MM-DD.json`);
|
|
4. находит:
|
|
* **новые** сигнатуры (не встречались 7 дней);
|
|
* **всплески** (≥5 и ≥3× среднего в день);
|
|
* **корреляции** (разные службы в одном 5-минутном окне);
|
|
5. локальная модель (3b → DeepSeek) пишет короткий дайджест с гипотезами
|
|
и шагами;
|
|
6. при находках — уведомление в ALERT, иначе только файл.
|
|
|
|
Файлы: `/var/log/hub/log-digest-YYYY-MM-DD.md`.
|
|
|
|
## Задание
|
|
|
|
Hermes: `log-signatures`, ежедневно **08:00**:
|
|
|
|
```yaml
|
|
log-signatures:
|
|
command: /usr/bin/python3 /root/buryan-infra/ops/scripts/log_signatures.py --notify
|
|
daily_at: 08:00
|
|
timeout: 900
|
|
retries: 0
|
|
```
|
|
|
|
## Первый прогон (бэкфилл + сегодня)
|
|
|
|
```
|
|
база 2026-11-15: 12 сигнатур
|
|
база 2026-11-14: 6
|
|
база 2026-11-13: 99 ← день сбоев
|
|
база 2026-11-12: 1
|
|
база 2026-11-11: 1
|
|
база 2026-11-10: 1
|
|
база 2026-11-09: 1
|
|
сегодня: 10 сигнатур
|
|
новых: 0 | всплесков: 1 | корреляций: 0
|
|
```
|
|
|
|
## Что нашлось сразу
|
|
|
|
**Всплеск:** `kernel: EXT4-fs (dm-37): write access unavailable, skipping orphan cleanup` —
|
|
**32 раза** за сутки против ~6/день в базе.
|
|
|
|
Время: 01:00, 01:30, 02:00, 02:00… — ночное окно бэкапов. Скорее всего
|
|
том монтируется только для чтения на время копирования, но это стоит
|
|
проверить: read-only EXT4 на диске с бэкапами — не то, что хочется видеть
|
|
каждую ночь.
|
|
|
|
Дайджест модели: `[critical] write access unavailable → проверить диск,
|
|
файловую систему и память`.
|
|
|
|
## Уведомление в ALERT
|
|
|
|
```
|
|
🌙 Ночной разбор журналов
|
|
x32 (dm-<n>): write access unavailable
|
|
|
|
Новых: 0 · всплесков: 1 · корреляций: 0
|
|
Отчёт: /var/log/hub/log-digest-2026-11-16.md
|
|
```
|
|
|
|
## Ловушки
|
|
|
|
| Ловушка | Что было |
|
|
|---|---|
|
|
| первый запуск | без базы **всё** выглядело «новым» (15 сигнатур). Теперь при пустой базе сравнение откладывается до следующего прогона |
|
|
| бэкфилл | сначала писал 7-дневный агрегат в файл «сегодня»; теперь каждый день — отдельный файл |
|
|
| «действий не требуется» | 3b на `write access unavailable` отвечала «система сама пропускает». Усилен промпт: read-only/I/O/OOM/segfault — критично |
|
|
| заголовок | `notify.py` слал с заголовком «Проверка служб»; добавлен `--title` |
|
|
| таймаут 3b | дайджест иногда не успевал (45 с → 60 с), при сбое — фраза «Разбор без модели», отчёт всё равно пишется |
|
|
|
|
## Что осталось
|
|
|
|
* Корреляции пока шумные (kernel×499 в окне 14:05 — вероятно, фон от
|
|
предыдущих проверок). Нужен фильтр по «служба действительно упала».
|
|
* Пока не сравниваем с алертами: можно связать сигнатуры с инцидентами
|
|
и учиться на подтверждённых случаях.
|