Files
buryan-infra/ops/audits/SPRINT-SELFCHECK-2026-11-16.md
T

4.5 KiB
Raw Blame History

Спринт-самопроверка (16.11.2026, автономный час)

Задача: проверить, что всё сделанное за день работает, и не сломано ли что-то.

Главный результат: регрессия

/root/buryan-infra/ops/scripts/selfcheck_platform.py — 19 проверок:

Проверка Результат
Упавшие юниты 0
Службы 74 / 74, лежит 0
Боты 9/9, token_failures: []
Matrix/SSO чекер 4 из 4 ok
Ollama чекер в порядке, 3 модели
n8n активные воркфлоу 4
Ночной разбор / утренняя сводка файлы на месте
Отчёты weekly / trust / research «## Главное» есть
Реестр автоматизаций drift «без изменений»
cron.d без мёртвых файлов да
База задач work открытых 1
Очередь заявок пусто
Hermes active, 54 задания, все с записями
Ошибки журнала (6 ч) 1
Диски 42%

Поставлено в Hermes: selfcheck-platform каждые 6 часов.

Что нашёл и починил

1. Планировщик мог запускать одно задание параллельно

run_job пишет last_run только после завершения. Если задание висит, следующий проход (30 с) снова видит его «просроченным» и запускает копию.

Нашёл на живом примере: check-services.sh висел 89 секунд, и копии копились (6 процессов одновременно).

Исправлено в hermes.py: множество RUNNING — пока задание выполняется, повторный запуск не стартует.

2. check-services висел 89 секунд и всегда «проваливался»

Причина: проверка VPN-шлюза — 3 попытки × 2 URL × таймаут 20 с. Прокси жив, но выходной IP не VDS → каждая проверка (раз в 5 минут) считалась провалом: в Postgres накопилось 3036 fails.

Исправлено:

  • одна быстрая попытка (2 URL × 8 с);
  • провал шлюза — предупреждение, а не провал всей проверки (VPN отдельно мониторится vpn-health и path-monitor).

Проверка: rc=0 за 20 с, в журнале ⚠️ шлюз:выход 'нет ответа' и ✅ всё в порядке, проверено: 59.

3. Ложная тревога в моём же аудите

Я прочитал hermes.db (SQLite) и решил, что 27 заданий «ни разу не запускались». Оказалось, Hermes уже на Postgres (hermes.jobs), а SQLite-файл — legacy-копия. В Postgres: 56 записей, все 54 задания выполняются, последние запуски — минуты назад.

Урок: проверять _PgConn в коде, а не только наличие файла.

4. Реестр честно поймал изменение

После добавления morning-digest и удаления morning-briefing drift показал «изменился: 161 → 161» (количество то же, состав другой). Реестр пересобран, drift снова 0.

Проверка после правок

selfcheck: 19 проверок, провалов 0
check-services: rc=0, 20 с (было 89 с и rc=1)
Hermes: active, 54 задания, записи у всех
реестр: без изменений

Ловушки

Ловушка Что было
SQLite vs Postgres hermes.db читается, но не является источником истины
нет guard от параллельного запуска зависшее задание плодит копии каждые 30 с
проверка «шлюза» внутри check-services одна сломанная VPN-проверка делала 3036 ложных провалов
last_run пишется после завершения по нему нельзя понять «сейчас выполняется»