中文离线语音合成(TTS) Addon 开发意见征求

riceball · 发表于 2022-5-21 20:45:20

本帖最后由 riceball 于 2024-1-30 19:14 编辑

1. 是否大家需要能够离线的中文语音合成(TTS),还是线上的TTS就够了

2. 离线语音合成(TTS) Addon 必须盒子能跑, 还是 PC, 或者最好两者都能运行

3. 音质有要求么?

附件不支持MP3,只好用点好玩的上传MP3: 声音文件1-3

welcome-zh1.mp3: AI处理合成
welcome-zh2.mp3: 普通合成
welcome-zh3.mp3: 普通合成

音质从大到小的顺序是?

4. 其他有啥建议的?

已经开发完毕,见这里: 免费开源离线本地中英文多语言语音合成Addon

welcome-zh-mp3.zip (44.97 KB, 下载次数: 30)

riceball · 发表于 2022-5-22 07:42:28

ryanh7 发表于 2022-5-21 22:48
有在线的还是比较香的，但也需要一个离线的作为failback

AI 合成的音质已经和线上音质一样,几乎听不出和人的差别. 就是开销大.普通盒子的性能接受不了, 就刚才那句要20-30秒AI才能合成. PC在5秒内.

普通合成,盒子完全没问题,就是音质,一听就是机器发声的

除了不怕断网, 离线的另一个优势还能保障安全和隐私, 估摸没多少人在意.

人少我就懒得弄,就这样自己随便用用.

bainiu · 发表于 2022-5-22 10:56:56

本帖最后由 bainiu 于 2022-5-22 11:01 编辑

一直在寻找离线语音合成本地API接口，有必要，就希望稳定，不依靠外网，小延迟。第1个welcome-zh1.mp3声音最自然，如果离线合成可以达到第1个声音就非常好了。当然合成时间至少不能比网上合成慢就好。我在用阿里云的TTS，他可以支持边合成边播放，也可以合成完再播放，建议使用流式播放，即边接收语音数据边播放，减少延时。至于用到离线合成系统的开销的问题，现在很多都是all in one机子搞的，系统资源足。希望楼主能搞。

hassfan · 发表于 2022-5-22 11:46:09

离线的另一个优势还能保障安全和隐私

riceball · 发表于 2022-5-22 13:00:19

ryanh7 发表于 2022-5-22 10:10
边合成边播放会不会快点

AI 要求联系上下文才更自然,
普通方式倒是可以但是又没必要.

riceball · 发表于 2022-5-23 19:34:17

目前 HA 自带的两个TTS集成都不支持中文

ghostist · 发表于 2022-5-27 15:42:20

遵循先说有没有再说好不好的原则
建议先做开销小的，能稳定跑起来后考虑AI合成

riceball · 发表于 2022-5-28 22:06:18

发现 OpenTTS, 支持多TTS引擎,不过有一些问题要解决, 准备基于此简化开发.

leozen · 发表于 2024-1-19 18:40:04

这么好的帖子要顶起来，没有离线语音，那用小爱音箱更省事

leozen · 发表于 2024-1-19 18:41:16

楼主要是开发成了addon，顺手做个docker版本。

		自动登录	找回密码
密码			立即注册

[技术探讨] 中文离线语音合成(TTS) Addon 开发意见征求

1. 是否大家需要能够离线的中文语音合成(TTS),还是线上的TTS就够了

2. 离线语音合成(TTS) Addon 必须盒子能跑, 还是 PC, 或者 最好两者都能运行

3. 音质有要求么?

4. 其他有啥建议的?

2. 离线语音合成(TTS) Addon 必须盒子能跑, 还是 PC, 或者最好两者都能运行