AI大模型语音实时对话聊天机器人实现:ollama、funasr;支持语音实时语音打断;回音消除噪声抑制

慈云数据 2024-05-14 技术支持 66 0

ASR:funasr(1.0.19)
LLM:ollama(Qwen)
TTS(edge_tts)

支持语音实时语音打断:这是通过子进程控制创建与杀掉,这里是通过有人再次说话就打断tts

回音消除噪声抑制:喇叭的tts播报影响到麦克风的识别了,播报的声音被错误的识别;这里可以jd买个回音消除的麦克风设备;或者有Nvidia卡的官方下载broadcast软件也可以尝试下
https://www.nvidia.cn/geforce/broadcasting/broadcast-app/
在这里插入图片描述

参考:
HTTPS://blog.csdn.net/weixin_42357472/article/details/137489437

1)ASR(实时语音转录,支持自动vad识别)

from funasr import AutoModel
model = AutoModel(model="paraformer-zh
微信扫一扫加客服

微信扫一扫加客服

点击启动AI问答
Draggable Icon