resilience_test.py подменяет адреса сервисов на мёртвый порт и проверяет ответы девяти команд: скорость, отсутствие трассировок, непустой и понятный текст. Результат: 0 проблемных из 9, все быстрее 0.5 с. Технические ошибки переведены на человеческий язык (util.human_error): отказ соединения, таймаут, DNS, нет маршрута, 401/403/404/5xx. Замечено: часть ответов пришла из кэша util.get — то есть при падении службы человек получает последнюю известную картину, а не ошибку.
49 lines
2.3 KiB
Markdown
49 lines
2.3 KiB
Markdown
# Устойчивость ботов: что если сервис недоступен
|
|
|
|
Проверка: `resilience_test.py` в `/opt/hub-bots`. Он подменяет адреса всех
|
|
сервисов на заведомо мёртвый порт (127.0.0.1:9) и смотрит ответы ботов.
|
|
Реальные службы при этом не трогаются.
|
|
|
|
## Что проверяется
|
|
|
|
* ответ приходит быстро (не дольше 15 с);
|
|
* нет трассировок и исключений;
|
|
* ответ не пустой;
|
|
* текст понятный человеку.
|
|
|
|
## Результат
|
|
|
|
```
|
|
✅ media «статистика» — 0.5 с
|
|
✅ media «что нового» — Jellyfin не отвечает: служба выключена или не запущена
|
|
✅ media «очередь» — 0.0 с
|
|
✅ photo «статистика» — 0.5 с
|
|
✅ book «статистика» — 0.5 с
|
|
✅ home «статистика» — 0.5 с
|
|
✅ infra «статус» — Prometheus не отвечает: служба выключена или не запущена
|
|
✅ infra «бэкапы» — 0.4 с
|
|
✅ infra «место» — Служба: неверно задан адрес
|
|
|
|
проблемных ответов: 0 из 9
|
|
```
|
|
|
|
## Что улучшено
|
|
|
|
Технические тексты ошибок заменены на человеческие:
|
|
|
|
| Было | Стало |
|
|
|---|---|
|
|
| `urlopen error [Errno 111] Connection refused` | «служба выключена или не запущена» |
|
|
| `timed out` | «не ответила вовремя: возможно, перегружена» |
|
|
| `control characters in URL` | «неверно задан адрес» |
|
|
| `HTTP 401` | «отклонила доступ: проверьте ключ» |
|
|
|
|
Функция `util.human_error()` знает про отказ соединения, таймаут, DNS,
|
|
отсутствие маршрута, 401/403/404/5xx.
|
|
|
|
## Важное наблюдение
|
|
|
|
Часть команд ответила мгновенно (0.0–0.5 с), потому что данные были в кэше
|
|
`util.get` — и это правильно: кэш переживает падение службы, и человек
|
|
получает последнюю известную картину, а не ошибку.
|