Voice_Assistant.AXERA

AX650 板端实时语音对话助手 Demo。

特征

• 支持浏览器麦克风输入和浏览器播放
• 支持 Web UI 一键启动 VAD / ASR / LLM / TTS 服务
• 支持 Web UI 分模块选择模型：VAD、ASR、LLM、TTS
• ASR 支持 SenseVoiceSmall 和 FireRedASR2
• TTS 支持 MeloTTS、Kokoro、ZipVoice（支持语音克隆）
• LLM 支持 DeepSeek 云服务和本地 Qwen3.5-0.8B

各模块模型

模块	模型
VAD	SileroVAD / AX-FSMN-VAD
ASR	SenseVoiceSmall / FireRedASR2
LLM本地	Qwen3.5-0.8B
LLM云服务	DeepSeek API
TTS	MeloTTS / Kokoro / ZipVoice

模型下载

bash download_models.sh

下载所有模型到 models/ 目录。国内用户可先设置镜像：

export HF_ENDPOINT=https://hf-mirror.com

目录结构

Voice_Assistant.AXERA/
├── app.py
├── axllm
├── asr_server.py
├── sherpa_tts_server.py
├── zipvoice_tts_ctypes.py
├── zipvoice_cpp_server/
├── config/
│   └── board_config.yaml
├── models/
│   ├── SenseVoiceSmall/
│   ├── FireRedASR2/
│   ├── Vad/
│   ├── melotts_sherpa/
│   ├── kokoro/
│   ├── zipvoice/
│   └── Qwen3.5-0.8B/
├── stageflow/
│   ├── core/    (gateway, session, catalog, contracts)
│   └── units/   (VAD, ASR, LLM, TTS)
├── web/
│   └── index.html
├── scripts/
├── requirements.txt
└── README.md

环境

安装依赖

cd Voice_Assistant.AXERA
pip install -r requirements.txt

安装 pyaxengine

pyaxengine Releases 下载对应版本安装：

pip install axengine-x.x.x-py3-none-any.whl

LLM 模型

DeepSeek 云服务

自行获取 API Key：https://platform.deepseek.com/

本地 LLM

Qwen3.5-0.8B-AX650-C128-P1152-CTX2047

启动 Web 服务

export DEEPSEEK_API_KEY=sk-*
bash scripts/run_server.sh

浏览器访问：

https://<设备IP>:8008

网页使用步骤

1. 打开 Web UI
2. 选择 VAD / ASR / LLM / TTS 各模块模型
3. 选择 ZipVoice 时可上传自定义参考音
4. 点击「一键启动服务」
5. 点击「开始对话」

具体如下：

参考

• Fay
• ASR-LLM-TTS
• bailing
• OpenAvatarChat
• sherpa-onnx
• M5Stack / Abandon-ht