# Фаза 3: ночной разбор журналов по сигнатурам (16.11.2026) ## Что делает Не «хвост ошибок», а детектор **нового и изменившегося**: 1. собирает `journalctl -p warning` за сутки (до 8000 строк); 2. нормализует строки в сигнатуры: ID, числа, пути, IP → плейсхолдеры (`EXT4-fs (dm-37)` → `EXT4-fs (dm-)`); 3. сравнивает с базой за 7 дней (`/var/lib/log-signatures/YYYY-MM-DD.json`); 4. находит: * **новые** сигнатуры (не встречались 7 дней); * **всплески** (≥5 и ≥3× среднего в день); * **корреляции** (разные службы в одном 5-минутном окне); 5. локальная модель (3b → DeepSeek) пишет короткий дайджест с гипотезами и шагами; 6. при находках — уведомление в ALERT, иначе только файл. Файлы: `/var/log/hub/log-digest-YYYY-MM-DD.md`. ## Задание Hermes: `log-signatures`, ежедневно **08:00**: ```yaml log-signatures: command: /usr/bin/python3 /root/buryan-infra/ops/scripts/log_signatures.py --notify daily_at: 08:00 timeout: 900 retries: 0 ``` ## Первый прогон (бэкфилл + сегодня) ``` база 2026-11-15: 12 сигнатур база 2026-11-14: 6 база 2026-11-13: 99 ← день сбоев база 2026-11-12: 1 база 2026-11-11: 1 база 2026-11-10: 1 база 2026-11-09: 1 сегодня: 10 сигнатур новых: 0 | всплесков: 1 | корреляций: 0 ``` ## Что нашлось сразу **Всплеск:** `kernel: EXT4-fs (dm-37): write access unavailable, skipping orphan cleanup` — **32 раза** за сутки против ~6/день в базе. Время: 01:00, 01:30, 02:00, 02:00… — ночное окно бэкапов. Скорее всего том монтируется только для чтения на время копирования, но это стоит проверить: read-only EXT4 на диске с бэкапами — не то, что хочется видеть каждую ночь. Дайджест модели: `[critical] write access unavailable → проверить диск, файловую систему и память`. ## Уведомление в ALERT ``` 🌙 Ночной разбор журналов x32 (dm-): write access unavailable Новых: 0 · всплесков: 1 · корреляций: 0 Отчёт: /var/log/hub/log-digest-2026-11-16.md ``` ## Ловушки | Ловушка | Что было | |---|---| | первый запуск | без базы **всё** выглядело «новым» (15 сигнатур). Теперь при пустой базе сравнение откладывается до следующего прогона | | бэкфилл | сначала писал 7-дневный агрегат в файл «сегодня»; теперь каждый день — отдельный файл | | «действий не требуется» | 3b на `write access unavailable` отвечала «система сама пропускает». Усилен промпт: read-only/I/O/OOM/segfault — критично | | заголовок | `notify.py` слал с заголовком «Проверка служб»; добавлен `--title` | | таймаут 3b | дайджест иногда не успевал (45 с → 60 с), при сбое — фраза «Разбор без модели», отчёт всё равно пишется | ## Что осталось * Корреляции пока шумные (kernel×499 в окне 14:05 — вероятно, фон от предыдущих проверок). Нужен фильтр по «служба действительно упала». * Пока не сравниваем с алертами: можно связать сигнатуры с инцидентами и учиться на подтверждённых случаях.