Files
buryan-infra/ops/home/VOICE-ASSISTANT.md
T

4.8 KiB
Raw Blame History

Голосовой ассистент Buryans Hub (23.10)

Что уже работает

Слой Реализация Скорость
Правила (команды) /opt/hub-core/voice_router.py 0.02–0.6 с
Свободная речь DeepSeek (deepseek-chat) + инструменты 5–8 с
Память диалога /var/lib/hub-core/voice_history.json (8 реплик) —
Ввод голосом браузер (Web Speech, ru-RU) — /voice.html 0.3–1 с
Ответ голосом TTS на Яндекс-колонку (проверено) 1–2 с
Ввод текстом та же страница / curl —

Команды, которые понимает сразу (без ИИ)

что посмотреть · найди <название> · сколько всего · кто дома · погода · список желаемого · похожее на <название> · сезоны <название>

Что умеет DeepSeek (инструменты)

search_media · media_stats · recommend · watchlist · mark_watch · ha_state · notify · secretary · add_movie · add_series · downloads

Пример проверенного диалога:

Я: что у меня есть из фантастики
А: По запросу «фантастика» нашлись только два документа…
Я: а что из этого уже скачано
А: Сейчас качается только «Интерстеллар» — 4,5 ГБ…
Я: а что посоветуешь на вечер
А: На вечер советую «Прибытие» — умная фантастика…

Память: 6 реплик в файле, контекст передаётся в запрос.

Главное ограничение: колонка не может быть микрофоном

Яндекс.Станция — закрытое устройство: Алиса не пускает сторонние ассистенты. Мы можем:

  • ✅ отправлять на неё TTS (проверено — колонка говорит);
  • ✅ управлять громкостью (локальный протокол, порт 1961);
  • ❌ слушать её микрофон (нет API; send_command до Алисы не доходит).

Поэтому «свой умный ассистент» строится так: микрофон отдельно, колонка — только динамик.

Варианты микрофона

Вариант Цена Задержка Что нужно
Телефон/ПК через /voice.html 0 0.3–1 с ничего, работает сейчас
ESP32-S3 (Atom Echo) + ESPHome ~1.5–2 тыс. ₽ 1–2 с прошивка, HA Assist pipeline
Home Assistant Voice PE ~6 тыс. ₽ 1–2 с готовое устройство
Мини-ПК с микрофоном от 5 тыс. ₽ 0.5–1 с локальный Whisper

Почему не локальный LLM

Замерено: qwen2.5:3b на CT160 (2 ядра) отвечает 121 с на один запрос. Для диалога не годится. DeepSeek — 1 с без инструментов, 5–8 с с несколькими вызовами. Гибрид обязателен: правила → ИИ только когда нужно.

Куда развивать (по возрастанию сложности)

  1. Память и характер — уже есть; добавить «профиль семьи» (кто что любит).
  2. Больше действий: пауза/продолжить в Jellyfin, «что качается», «поставь в очередь», «удали просмотренное» — новые инструменты (1–2 дня).
  3. Локальный STT (faster-whisper small) на CT160 — минус зависимость от облака, +1–2 с задержки на слабом CPU.
  4. Wake word + постоянно включённый микрофон — ESP32-сателлит.
  5. Мультирум: несколько сателлитов, ответ в комнате, где спросили.
  6. Проактивность: «скачался Интерстеллар — посмотреть?», «вышла новая серия Кларксона».
  7. Полный контроль медиасервера: «включи на телевизоре», «перемотай на 20 минут», «продолжи с места» — требует живого TV в HA (сейчас unavailable).