本地语言助手基于Sherpa Onnx的Wyoming STT/TTS Addon无惧断网纯离线

25989406

对模型框架不是很理解问个小白的问题
你这个框架能跑 CosyVoice和Sensevoice吗？
CosyVoice https://github.com/FunAudioLLM/CosyVoice/tree/main

Sensevoice  看介绍目前他是跑在funasr阿里的框架https://github.com/modelscope/FunASR/blob/main/README_zh.md

ptbsare

25989406 发表于 2025-2-11 17:12
对模型框架不是很理解问个小白的问题
你这个框架能跑 CosyVoice和Sensevoice吗？
CosyVoice https://github ...

你好，只是听说过这两个框架，没有看过具体代码，理论上只要能提供Python接口的模型都可以，不难支持，只需要修改下handler函数；如果不是使用Sherpa Onnx框架也可以另开一个addon修改过去，也欢迎你研究后在github上提交pull request代码提供支持。

csukuangfj

25989406 发表于 2025-2-11 17:12
对模型框架不是很理解问个小白的问题
你这个框架能跑 CosyVoice和Sensevoice吗？
CosyVoice https://github ...

sherpa-onnx 支持 sense voice, 但是不支持cosy voice.

sherpa-onnx 还支持 whisper.

sherpa-onnx 还支持最新的Kokoro 1.0 TTS, 里面有中文的 tts 功能。


--- 来自 sherpa-onnx 开发者的回复.

csukuangfj

cosy voice 是个tts 模型，超级大。

你用任意的 cpu 去跑，速度都非常慢。

没有好的 gpu, 你就别跑 cosy voice 了.

ptbsare

目前正在计划在下一个版本中添加调用GPU的支持，方便docker用户使用提速。GPU版本可能单开是一个独立addon

25989406

csukuangfj 发表于 2025-2-11 18:17
cosy voice 是个tts 模型，超级大。

你用任意的 cpu 去跑，速度都非常慢。

活抓大佬了哈哈哈，感谢解惑


我自己尝试部署cosyvoice 5G一个模型确实大，下载都下的我要崩溃了 一直没成功

C哩C哩

厉害，感谢

25989406

请问我想下载vits-melo-tts-zh_en.tar.bz2模型的话参数要怎么填？

环境变量这样填对吗，还是说要填完整的vits-melo-tts-zh_en.tar.bz2
    environment:
      LANGUAGE: "zh-CN"
      TTS_MODEL: "vits-melo-tts-zh_en"


0.2.8版本下指定模型的话会报这个错，无论上面我那种形式写

Traceback (most recent call last):
  File "/app/run.py", line 430, in <module>
    asyncio.run(main())
  File "/usr/lib/python3.11/asyncio/runners.py", line 190, in run
    return runner.run(main)
           ^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/asyncio/runners.py", line 118, in run
    return self._loop.run_until_complete(task)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/asyncio/base_events.py", line 653, in run_until_complete
    return future.result()
           ^^^^^^^^^^^^^^^
  File "/app/run.py", line 420, in main
    tts_model,
    ^^^^^^^^^
UnboundLocalError: cannot access local variable 'tts_model' where it is not associated with a value

复制代码

ptbsare

不对，如果自定义模型需要用到custom开头的变量 例如你这里：
需要指定CUSTOM_TTS_MODEL: "vits-melo-tts-zh_en"
同时需要指定CUSTOM_TTS_MODEL_EVAL: 你自行构建的python eval表达式，具体见文档例子

ptbsare

25989406 发表于 2025-2-11 22:08
请问我想下载vits-melo-tts-zh_en.tar.bz2模型的话参数要怎么填？

环境变量这样填对吗，还是说要填完整的v ...

你提供了空白的CUSTOM_TTS_MODEL_EVAL，没有构建tts_model，报错是正常的。自定义模型建议编程爱好者使用或者先看下源码。