4.5 KiB
Спринт-самопроверка (16.11.2026, автономный час)
Задача: проверить, что всё сделанное за день работает, и не сломано ли что-то.
Главный результат: регрессия
/root/buryan-infra/ops/scripts/selfcheck_platform.py — 19 проверок:
| Проверка | Результат |
|---|---|
| Упавшие юниты | 0 |
| Службы | 74 / 74, лежит 0 |
| Боты | 9/9, token_failures: [] |
| Matrix/SSO чекер | 4 из 4 ok |
| Ollama чекер | в порядке, 3 модели |
| n8n активные воркфлоу | 4 |
| Ночной разбор / утренняя сводка | файлы на месте |
| Отчёты weekly / trust / research | «## Главное» есть |
| Реестр автоматизаций | drift «без изменений» |
| cron.d без мёртвых файлов | да |
| База задач work | открытых 1 |
| Очередь заявок | пусто |
| Hermes | active, 54 задания, все с записями |
| Ошибки журнала (6 ч) | 1 |
| Диски | 42% |
Поставлено в Hermes: selfcheck-platform каждые 6 часов.
Что нашёл и починил
1. Планировщик мог запускать одно задание параллельно
run_job пишет last_run только после завершения. Если задание висит,
следующий проход (30 с) снова видит его «просроченным» и запускает копию.
Нашёл на живом примере: check-services.sh висел 89 секунд, и копии
копились (6 процессов одновременно).
Исправлено в hermes.py: множество RUNNING — пока задание выполняется,
повторный запуск не стартует.
2. check-services висел 89 секунд и всегда «проваливался»
Причина: проверка VPN-шлюза — 3 попытки × 2 URL × таймаут 20 с. Прокси жив, но выходной IP не VDS → каждая проверка (раз в 5 минут) считалась провалом: в Postgres накопилось 3036 fails.
Исправлено:
- одна быстрая попытка (2 URL × 8 с);
- провал шлюза — предупреждение, а не провал всей проверки
(VPN отдельно мониторится
vpn-healthиpath-monitor).
Проверка: rc=0 за 20 с, в журнале ⚠️ шлюз:выход 'нет ответа' и
✅ всё в порядке, проверено: 59.
3. Ложная тревога в моём же аудите
Я прочитал hermes.db (SQLite) и решил, что 27 заданий «ни разу не
запускались». Оказалось, Hermes уже на Postgres (hermes.jobs), а
SQLite-файл — legacy-копия. В Postgres: 56 записей, все 54 задания
выполняются, последние запуски — минуты назад.
Урок: проверять _PgConn в коде, а не только наличие файла.
4. Реестр честно поймал изменение
После добавления morning-digest и удаления morning-briefing drift
показал «изменился: 161 → 161» (количество то же, состав другой). Реестр
пересобран, drift снова 0.
Проверка после правок
selfcheck: 19 проверок, провалов 0
check-services: rc=0, 20 с (было 89 с и rc=1)
Hermes: active, 54 задания, записи у всех
реестр: без изменений
Ловушки
| Ловушка | Что было |
|---|---|
| SQLite vs Postgres | hermes.db читается, но не является источником истины |
| нет guard от параллельного запуска | зависшее задание плодит копии каждые 30 с |
| проверка «шлюза» внутри check-services | одна сломанная VPN-проверка делала 3036 ложных провалов |
last_run пишется после завершения |
по нему нельзя понять «сейчас выполняется» |