『瀚思彼岸』» 智能家居技术论坛

 找回密码
 立即注册
查看: 2540|回复: 25

[插件集成] 分享两个离线语音转文字的服务,可以配合语音助手使用

[复制链接]

15

主题

108

帖子

1351

积分

论坛技术达人

积分
1351
金钱
1238
HASS币
20

教程狂人

发表于 2024-7-7 21:23:40 | 显示全部楼层 |阅读模式
本帖最后由 花开堪折枝 于 2024-7-8 00:48 编辑


都是纯本地的服务 , 群辉记得修改端口,不要用 5001 ,访问不了。部署完成之后可以直接访问 ip:端口, 有一个测试页面可以使用

两个服务都支持企业微信使用, stt 填写: ip:端口/api   这样 即可

funAsr
模型使用的是阿里的 FunASR , 这里做了一个http 服务,加上一些文件转换,方便对接一些服务使用。
语言支持: 没有测试过
$PWD : 是当前目录,记得修改
启动时需要下载模型, 2g 大小
docker run -d \
--restart=always -it \
--name fun-asr \
-p 5001:5001 \
-v $PWD/models:/models \
yaming116/fun-asr:latest
sherpa-onnx-asr
模型使用的是小米的 k2-fsa/sherpa-onnx, 这里做了一个http 服务,加上一些文件转换,方便对接一些服务使用。
github  地址: https://github.com/yaming116/sherpa-onnx-asr
如果你是 HAOS 或 hassio 可以直接通过添加三方addon 进行安装使用,仓库地址:https://github.com/knoop7/hassio-addons

语言支持: 支持四川、河南、天津和普通话

模型: 内置了模型,下载即可使用
# 第一版本的镜像 
docker pull yaming116/sherpa-onnx-asr:latest

# 目前zipformer 和 latest 模型版本一致,sherpa-onnx 推荐实用 paraformer 模型
# 目前为了保持稳定暂时latest不修改
docker pull yaming116/sherpa-onnx-asr:zipformer-2024-7-5

# paraformer 非流式识别模式,效果更好, 官方推荐
docker pull yaming116/sherpa-onnx-asr:paraformer-2024-7-5
docker run -d \
--restart=always -it --name sherpa-onnx-asr \
-p 5001:5001 \
yaming116/sherpa-onnx-asr:paraformer-2024-7-5



性能比较
  • • sherpa-onnx-asr - 占用资源少(1g内存,j1900秒出结果),识别率较好
  • • FunAsr - 占用资源较高(2-3g内存,j1900 需要2-3秒出结果),识别率好





Home-assistant-fun-asr

是我开发支持调用本地 stt 的HomeAssistant 的插件,可以选择手动安装或者添加到 hacs 自定义仓库中安装

项目地址:https://github.com/yaming116/home-assistant-fun-asr



其他:
  两个插件都支持中文数字转阿拉伯数字,这样就比较适配语音助手了


640.png A64B16ADA1B852322A77A63A02D619D3.png







评分

参与人数 7金钱 +100 收起 理由
penguinmm + 8 必须满分
book123 + 10 感谢楼主分享!
25989406 + 20 优秀!
咸味土豆 + 20 膜拜大神!
dscao + 20 感谢楼主分享!
DDDear + 10 膜拜大神!
隔壁的王叔叔 + 12

查看全部评分

回复

使用道具 举报

27

主题

2143

帖子

8924

积分

论坛元老

Rank: 8Rank: 8

积分
8924
金钱
6776
HASS币
30

论坛元老

发表于 2024-7-7 21:47:50 | 显示全部楼层
花神666!
回复

使用道具 举报

0

主题

100

帖子

933

积分

高级会员

Rank: 4

积分
933
金钱
833
HASS币
0
发表于 2024-7-7 23:44:29 | 显示全部楼层
花神666!
回复

使用道具 举报

26

主题

211

帖子

2250

积分

论坛技术达人

积分
2250
金钱
2034
HASS币
20
发表于 2024-7-8 00:10:36 | 显示全部楼层
厉害
回复

使用道具 举报

15

主题

406

帖子

2726

积分

金牌会员

Rank: 6Rank: 6

积分
2726
金钱
2320
HASS币
0
发表于 2024-7-8 03:53:12 | 显示全部楼层
這個太高級了  我到現在都還不會用語音助手
是要在HA上加一個麥克風跟喇叭嗎??
回复

使用道具 举报

22

主题

610

帖子

2747

积分

金牌会员

Rank: 6Rank: 6

积分
2747
金钱
2137
HASS币
0
发表于 2024-7-8 08:04:14 | 显示全部楼层
花总,,这是正式教程了吗?小米的要不要去注册开发者账号?
回复

使用道具 举报

13

主题

571

帖子

3035

积分

论坛元老

HomeAssistant

Rank: 8Rank: 8

积分
3035
金钱
2459
HASS币
20
发表于 2024-7-8 08:13:07 | 显示全部楼层
paraformer 非流式识别模式,我这里显示占用了540M内存左右
回复

使用道具 举报

13

主题

571

帖子

3035

积分

论坛元老

HomeAssistant

Rank: 8Rank: 8

积分
3035
金钱
2459
HASS币
20
发表于 2024-7-8 08:23:04 | 显示全部楼层
george65 发表于 2024-7-8 03:53
這個太高級了  我到現在都還不會用語音助手
是要在HA上加一個麥克風跟喇叭嗎?? ...

目前试过多种方案可是实现
0.ha app点击右上角的三个点,再点击麦克风图标使用,网页版也可以,不过需要https(已测试)
1.在HA上加一個麥克風跟喇叭 ,用官方addon接入(未测试)
2.esp32接入https://esphome.io/components/voice_assistant.html (已测试)
3.相机(RTSP/HTTP/RTMP)接入https://github.com/AlexxIT/StreamAssist (已测试)
回复

使用道具 举报

2

主题

21

帖子

116

积分

注册会员

Rank: 2

积分
116
金钱
95
HASS币
0
发表于 2024-7-8 08:54:47 | 显示全部楼层
没怎么研究过,不太懂这个能语音唤醒吗 部署好需要什么硬件支持吗
回复

使用道具 举报

15

主题

108

帖子

1351

积分

论坛技术达人

积分
1351
金钱
1238
HASS币
20

教程狂人

 楼主| 发表于 2024-7-8 16:09:53 | 显示全部楼层
AriesIce 发表于 2024-7-8 08:54
没怎么研究过,不太懂这个能语音唤醒吗 部署好需要什么硬件支持吗

这个是语音助手的必要部分,你可以看一下 ha 官方说明了解下整个流程
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Hassbian

GMT+8, 2024-11-21 14:23 , Processed in 1.339510 second(s), 36 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表