lxc_verify.sh (воскресенье 05:00): берёт самый маленький свежий архив,
разворачивает в свободный CT, запускает без сети, проверяет hostname и ОС,
удаляет тестовый контейнер.
Проверено: архив 555M развернулся за 4 с, контейнер поднялся (Ubuntu 22.04,
hostname headscale-lxc), затем удалён.
Найдено: thin pool local-lvm заполнен на 82% — восстановление туда не
проходит, поэтому тест использует хранилище local. Кандидат на очистку —
снапшот vm-115 на 25 ГБ от 14.10 (не удалял, это точка отката).
В сверку добавлен контроль хранилищ: 80% и выше — проблема с уведомлением.
Сразу поймала local-lvm 82%.
GET /services — источники с числом событий и временем последнего,
GET /service/<имя> — история по одному сервису.
cron_guard.py проверяет, что задачи реально отрабатывают: смотрит время
последней записи в журналах и отправляет service.stale боту Инфраструктура.
Подключён к ночной сверке.
Проверено: все десять задач прогнаны как cron и записали журналы, сторож
показывает 10 в порядке, 0 просрочено; telegram честно помечен «ещё не
запускался» (нет ключей).
Раньше сверка писала проблемы только в базу — человек о них не узнавал.
Теперь каждая находка уходит событием service.down через маршрутизацию ядра,
а восстановление — одним сообщением «Все службы в порядке».
Проверено: обычный прогон молчит (0 проблем), имитация падения дала
тревогу в боте Инфраструктура, после удаления имитации снова 0.
CT 126 (frigate-lxc): 2 ядра, 2 ГБ, 16 ГБ, /mnt/media/frigate под записи.
Образ 6.3 ГБ, версия 0.18.2, контейнер healthy, /api/stats отдаёт
cameras: {} — камер пока нет по договорённости.
Подключено: MQTT (mosquitto 192.168.1.106:1883, префикс frigate),
проверка в сверке (18 проверок, 0 проблем), коннектор событий
camera.detection для шины.
Отдельно зафиксирована проблема загрузки: ghcr.io из этой сети почти
недоступен, образ получен через зеркало ghcr.nju.edu.cn с последующим
перетегированием.
reconcile.py проверяет 17 служб по HTTP, смотрит состояние контейнера и
поднимает остановленные, записывая действие в журнал actions с командой
отката. Проблемы ведутся в таблице problems: новые создаются, исчезнувшие
закрываются.
Проверено: первый прогон нашёл 1 проблему (n8n на неверном порту),
контейнер работал — автопочинки не было; после правки порта 0 проблем.
Расписание 03:30, лог /var/log/hub-reconcile.log.