『瀚思彼岸』» 智能家居技术论坛

 找回密码
 立即注册
楼主: ptbsare

[技术探讨] 本地语言助手基于Sherpa Onnx的Wyoming STT/TTS Addon无惧断网纯离线

[复制链接]

6

主题

258

帖子

1785

积分

金牌会员

Rank: 6Rank: 6

积分
1785
金钱
1527
HASS币
0
发表于 昨天 14:25 | 显示全部楼层
本帖最后由 z741554038 于 2025-3-3 14:27 编辑

我是来交作业的

语音转文字听广东话的朋友可以尝试用我这个配置,但是我实测 TTS 广东话没有我喜欢听的,所以用广东话讲,同普通话说。  

注意:STT 模型改成 zipformer 的形式,AI 一直是给我 from_zipformer 的配置,其实 Sherpa Onnx 没有这个表达。  

配置如下:

language: zh-CN
speed: 1
stt_model: custom_stt_model
stt_use_int8_onnx_model: true
stt_thread_num: 3
tts_model: vits-melo-tts-zh_en
tts_thread_num: 3
tts_speaker_sid: 0
debug: true
custom_stt_model: sherpa-onnx-zipformer-cantonese-2024-03-13
custom_stt_model_eval: |-
  sherpa_onnx.OfflineRecognizer.from_transducer(      
    encoder="/stt-models/sherpa-onnx-zipformer-cantonese-2024-03-13/encoder-epoch-45-avg-35.int8.onnx",      
    decoder="/stt-models/sherpa-onnx-zipformer-cantonese-2024-03-13/decoder-epoch-45-avg-35.int8.onnx",      
    joiner="/stt-models/sherpa-onnx-zipformer-cantonese-2024-03-13/joiner-epoch-45-avg-35.int8.onnx",      
    tokens="/stt-models/sherpa-onnx-zipformer-cantonese-2024-03-13/tokens.txt",
    num_threads=3,
    decoding_method="greedy_search",
    provider="cpu",
    sample_rate=16000,
    feature_dim=80,
    debug=True
  )

如果对你有帮助,请给我一个赞 !


回复

使用道具 举报

2

主题

97

帖子

1904

积分

金牌会员

Rank: 6Rank: 6

积分
1904
金钱
1807
HASS币
0
发表于 昨天 18:48 来自手机 | 显示全部楼层
各位大佬,这集成太大了,ghcr.io拉不下来,有好用的另外镜像源吗?我用南大的镜像源直接返回unknown?
顺便问下,这个tts可以设置cache吗?
回复

使用道具 举报

1

主题

47

帖子

300

积分

论坛技术达人

积分
300
金钱
253
HASS币
0
 楼主| 发表于 昨天 20:29 | 显示全部楼层
本帖最后由 ptbsare 于 2025-3-3 20:48 编辑
lyf86822 发表于 2025-3-3 18:48
各位大佬,这集成太大了,ghcr.io拉不下来,有好用的另外镜像源吗?我用南大的镜像源直接返回unknown?
顺 ...

tts的cache是homeassistant自行管理的,默认是有的,需要你手动清理tts缓存。使用homeassistant的这个服务:tts.clear_cache。具体参见官方文档。
回复

使用道具 举报

1

主题

47

帖子

300

积分

论坛技术达人

积分
300
金钱
253
HASS币
0
 楼主| 发表于 昨天 20:30 | 显示全部楼层
z741554038 发表于 2025-3-3 14:25
[md]
我是来交作业的

感谢,已置顶
回复

使用道具 举报

1

主题

47

帖子

300

积分

论坛技术达人

积分
300
金钱
253
HASS币
0
 楼主| 发表于 昨天 21:01 | 显示全部楼层
物联网不互联 发表于 2025-2-16 17:41
我在树莓派上装的是HAOS,直接加载项安装的,刚重新安装0.2.9,还是一样问题,文字一长就无法播放语音
...

你好,这个现在查到应该是官方上游Wyoming协议的问题,就连官方的语音助手也有这个问题,具体可以参见下面这两个链接。需要上游解决。
https://github.com/home-assistant/core/issues/134910
https://github.com/home-assistant/addons/issues/3360
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Hassbian

GMT+8, 2025-3-4 19:58 , Processed in 0.285216 second(s), 26 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表