resilience_test.py подменяет адреса сервисов на мёртвый порт и проверяет ответы девяти команд: скорость, отсутствие трассировок, непустой и понятный текст. Результат: 0 проблемных из 9, все быстрее 0.5 с. Технические ошибки переведены на человеческий язык (util.human_error): отказ соединения, таймаут, DNS, нет маршрута, 401/403/404/5xx. Замечено: часть ответов пришла из кэша util.get — то есть при падении службы человек получает последнюю известную картину, а не ошибку.
2.3 KiB
2.3 KiB
Устойчивость ботов: что если сервис недоступен
Проверка: resilience_test.py в /opt/hub-bots. Он подменяет адреса всех
сервисов на заведомо мёртвый порт (127.0.0.1:9) и смотрит ответы ботов.
Реальные службы при этом не трогаются.
Что проверяется
- ответ приходит быстро (не дольше 15 с);
- нет трассировок и исключений;
- ответ не пустой;
- текст понятный человеку.
Результат
✅ media «статистика» — 0.5 с
✅ media «что нового» — Jellyfin не отвечает: служба выключена или не запущена
✅ media «очередь» — 0.0 с
✅ photo «статистика» — 0.5 с
✅ book «статистика» — 0.5 с
✅ home «статистика» — 0.5 с
✅ infra «статус» — Prometheus не отвечает: служба выключена или не запущена
✅ infra «бэкапы» — 0.4 с
✅ infra «место» — Служба: неверно задан адрес
проблемных ответов: 0 из 9
Что улучшено
Технические тексты ошибок заменены на человеческие:
| Было | Стало |
|---|---|
urlopen error [Errno 111] Connection refused |
«служба выключена или не запущена» |
timed out |
«не ответила вовремя: возможно, перегружена» |
control characters in URL |
«неверно задан адрес» |
HTTP 401 |
«отклонила доступ: проверьте ключ» |
Функция util.human_error() знает про отказ соединения, таймаут, DNS,
отсутствие маршрута, 401/403/404/5xx.
Важное наблюдение
Часть команд ответила мгновенно (0.0–0.5 с), потому что данные были в кэше
util.get — и это правильно: кэш переживает падение службы, и человек
получает последнюю известную картину, а не ошибку.