Files
buryan-infra/ops/audits/PHASE3-LOGS-2026-11-16.md
T

4.2 KiB

Фаза 3: ночной разбор журналов по сигнатурам (16.11.2026)

Что делает

Не «хвост ошибок», а детектор нового и изменившегося:

  1. собирает journalctl -p warning за сутки (до 8000 строк);
  2. нормализует строки в сигнатуры: ID, числа, пути, IP → плейсхолдеры (EXT4-fs (dm-37) → EXT4-fs (dm-<n>));
  3. сравнивает с базой за 7 дней (/var/lib/log-signatures/YYYY-MM-DD.json);
  4. находит:
    • новые сигнатуры (не встречались 7 дней);
    • всплески (≥5 и ≥3× среднего в день);
    • корреляции (разные службы в одном 5-минутном окне);
  5. локальная модель (3b → DeepSeek) пишет короткий дайджест с гипотезами и шагами;
  6. при находках — уведомление в ALERT, иначе только файл.

Файлы: /var/log/hub/log-digest-YYYY-MM-DD.md.

Задание

Hermes: log-signatures, ежедневно 08:00:

log-signatures:
  command: /usr/bin/python3 /root/buryan-infra/ops/scripts/log_signatures.py --notify
  daily_at: 08:00
  timeout: 900
  retries: 0

Первый прогон (бэкфилл + сегодня)

база 2026-11-15: 12 сигнатур
база 2026-11-14: 6
база 2026-11-13: 99   ← день сбоев
база 2026-11-12: 1
база 2026-11-11: 1
база 2026-11-10: 1
база 2026-11-09: 1
сегодня: 10 сигнатур
новых: 0 | всплесков: 1 | корреляций: 0

Что нашлось сразу

Всплеск: kernel: EXT4-fs (dm-37): write access unavailable, skipping orphan cleanup — 32 раза за сутки против ~6/день в базе.

Время: 01:00, 01:30, 02:00, 02:00… — ночное окно бэкапов. Скорее всего том монтируется только для чтения на время копирования, но это стоит проверить: read-only EXT4 на диске с бэкапами — не то, что хочется видеть каждую ночь.

Дайджест модели: [critical] write access unavailable → проверить диск, файловую систему и память.

Уведомление в ALERT

🌙 Ночной разбор журналов
x32 (dm-<n>): write access unavailable

Новых: 0 · всплесков: 1 · корреляций: 0
Отчёт: /var/log/hub/log-digest-2026-11-16.md

Ловушки

Ловушка Что было
первый запуск без базы всё выглядело «новым» (15 сигнатур). Теперь при пустой базе сравнение откладывается до следующего прогона
бэкфилл сначала писал 7-дневный агрегат в файл «сегодня»; теперь каждый день — отдельный файл
«действий не требуется» 3b на write access unavailable отвечала «система сама пропускает». Усилен промпт: read-only/I/O/OOM/segfault — критично
заголовок notify.py слал с заголовком «Проверка служб»; добавлен --title
таймаут 3b дайджест иногда не успевал (45 с → 60 с), при сбое — фраза «Разбор без модели», отчёт всё равно пишется

Что осталось

  • Корреляции пока шумные (kernel×499 в окне 14:05 — вероятно, фон от предыдущих проверок). Нужен фильтр по «служба действительно упала».
  • Пока не сравниваем с алертами: можно связать сигнатуры с инцидентами и учиться на подтверждённых случаях.