4.8 KiB
4.8 KiB
Голосовой ассистент Buryans Hub (23.10)
Что уже работает
| Слой | Реализация | Скорость |
|---|---|---|
| Правила (команды) | /opt/hub-core/voice_router.py |
0.02–0.6 с |
| Свободная речь | DeepSeek (deepseek-chat) + инструменты |
5–8 с |
| Память диалога | /var/lib/hub-core/voice_history.json (8 реплик) |
— |
| Ввод голосом | браузер (Web Speech, ru-RU) — /voice.html |
0.3–1 с |
| Ответ голосом | TTS на Яндекс-колонку (проверено) | 1–2 с |
| Ввод текстом | та же страница / curl | — |
Команды, которые понимает сразу (без ИИ)
что посмотреть · найди <название> · сколько всего · кто дома ·
погода · список желаемого · похожее на <название> · сезоны <название>
Что умеет DeepSeek (инструменты)
search_media · media_stats · recommend · watchlist · mark_watch ·
ha_state · notify · secretary · add_movie · add_series · downloads
Пример проверенного диалога:
Я: что у меня есть из фантастики
А: По запросу «фантастика» нашлись только два документа…
Я: а что из этого уже скачано
А: Сейчас качается только «Интерстеллар» — 4,5 ГБ…
Я: а что посоветуешь на вечер
А: На вечер советую «Прибытие» — умная фантастика…
Память: 6 реплик в файле, контекст передаётся в запрос.
Главное ограничение: колонка не может быть микрофоном
Яндекс.Станция — закрытое устройство: Алиса не пускает сторонние ассистенты. Мы можем:
- ✅ отправлять на неё TTS (проверено — колонка говорит);
- ✅ управлять громкостью (локальный протокол, порт 1961);
- ❌ слушать её микрофон (нет API;
send_commandдо Алисы не доходит).
Поэтому «свой умный ассистент» строится так: микрофон отдельно, колонка — только динамик.
Варианты микрофона
| Вариант | Цена | Задержка | Что нужно |
|---|---|---|---|
Телефон/ПК через /voice.html |
0 | 0.3–1 с | ничего, работает сейчас |
| ESP32-S3 (Atom Echo) + ESPHome | ~1.5–2 тыс. ₽ | 1–2 с | прошивка, HA Assist pipeline |
| Home Assistant Voice PE | ~6 тыс. ₽ | 1–2 с | готовое устройство |
| Мини-ПК с микрофоном | от 5 тыс. ₽ | 0.5–1 с | локальный Whisper |
Почему не локальный LLM
Замерено: qwen2.5:3b на CT160 (2 ядра) отвечает 121 с на один запрос.
Для диалога не годится. DeepSeek — 1 с без инструментов, 5–8 с с
несколькими вызовами. Гибрид обязателен: правила → ИИ только когда нужно.
Куда развивать (по возрастанию сложности)
- Память и характер — уже есть; добавить «профиль семьи» (кто что любит).
- Больше действий: пауза/продолжить в Jellyfin, «что качается», «поставь в очередь», «удали просмотренное» — новые инструменты (1–2 дня).
- Локальный STT (faster-whisper small) на CT160 — минус зависимость от облака, +1–2 с задержки на слабом CPU.
- Wake word + постоянно включённый микрофон — ESP32-сателлит.
- Мультирум: несколько сателлитов, ответ в комнате, где спросили.
- Проактивность: «скачался Интерстеллар — посмотреть?», «вышла новая серия Кларксона».
- Полный контроль медиасервера: «включи на телевизоре», «перемотай на 20
минут», «продолжи с места» — требует живого TV в HA (сейчас
unavailable).