『瀚思彼岸』» 智能家居技术论坛

 找回密码
 立即注册
查看: 869|回复: 13

[技术探讨] ha语音助手的疑惑?

[复制链接]

158

主题

2508

帖子

7788

积分

元老级技术达人

积分
7788
金钱
5275
HASS币
30
发表于 2025-1-5 15:51:14 | 显示全部楼层 |阅读模式
本帖最后由 bugensui 于 2025-1-5 15:53 编辑

元旦到手了ha官方的语音助手硬件,我记得ha官方12月版本中,语音助手只要设置好优先使用内置意图复杂的交给第三方ai处理(翻译成人话就是:简单的打开电视,打开厨房灯ha内置的意图就可以直接处理,不需要交给第三方,除非说的不是标准命令,会交给第三方ai协同处理,这样效率更好),语音助手硬件使用 了2天,发现2个问题,不知道有没有大佬知道不?

1,打开电视这种常规操作,为什么在ha里会调用第三方ai(我的是智谱清言),这样效率真的很低,时间很慢,难道是我的设置不对吗?调试工具里显示这个打开电视是智谱清言处理的,如果是内置的意图是秒处理。

2,打开电视可以,可是待会说,关闭电视就不行了,是第三方ai智谱清言理解不了这个操作吗?我很疑惑,这个就是最普通的命令,但是我加上区域基本上都能关闭,比如说关闭客厅电视。我的ha语音助手硬件设置的区域也是在客厅。

我完全用ha内置的意图是可以的,但是命令需要说的很标准,不能多几个字,所以完全用内置的不行,如果用内置+第三方智能调用,ha貌似也没有智能优先用内置,真的很奇怪,问它天气情况,智谱清言有的时候你能回复,有的时候直接抱歉,我无法查询联网信息之类的回复,

1.png

2.png

3.png
回复

使用道具 举报

75

主题

608

帖子

2610

积分

金牌会员

Rank: 6Rank: 6

积分
2610
金钱
1997
HASS币
0
发表于 2025-1-5 16:49:28 | 显示全部楼层
这个版本,中文的回退不可用!
回复

使用道具 举报

29

主题

327

帖子

4406

积分

论坛技术达人

积分
4406
金钱
4059
HASS币
80
发表于 2025-1-5 17:14:48 | 显示全部楼层
本帖最后由 nuknoop 于 2025-1-5 17:32 编辑

建议有需求直接请到github上提出需求建议https://github.com/knoop7/zhipuai/issues

#1 作为智谱清言集成的开发者,有必要说明白下目前中文已经失效,官方针对中文有限制(态度并不是非常友好)所以直到现在10版本之前都是坏的,解决这个的办法现阶段需要搭配火天大有集成(内置hass第一个,第二个或者GPT或者清言体验会好很多),之所以可能感觉稍微又些延迟,是提示词和实体太多导致,这个后续阶段依旧会优化,包括目前一些错误的根本原因我是独立个人维护,有很多技术上问题造成的原因,因为很多实际是我强制的强规则并且调整了LLM的位置导致,国产AI还是比较笨的如果不强规则,反而会有很多意外错误

#2 目前智浦没那么简单,共计有6步原理顺序,第一步LLMAPI优先,第二个服务、第三、四自定义意图、第五内置LLM、第六处理,由于步骤太多,会造成速度较慢(如果主机性能稍微不太好,比如N1盒子这些会4-5s左右,我SSD好一些的可以1s-2s),对于失败的天气调用也是内置自定义意图有点毛病,可以搭配豆包等去做这个需要有其他大佬帮助我一起维护才能做好,个人精力有限,国内关于这块的太少

#3 没有具体讲过如何真正使用,科普下,实际上可以服务和自动化调用和脚本调用,回复 “调用、脚本、自动化、触发” 或者其他都可以很快操作(毫秒级控制)相当于打破了次元壁摆脱了内置意图,可以看看源代码就明白

def is_service_call(user_input: str) -> bool:    patterns = {
        "control": ["让", "请", "帮我", "麻烦", "把", "将"],
        "action": {
            "turn_on": ["打开", "开启", "启动", "激活", "运行", "执行"],
            "turn_off": ["关闭", "关掉", "停止"],
            "toggle": ["切换"],
            "press": ["按", "按下", "点击"],
            "select": ["选择", "下一个", "上一个", "第一个", "最后一个"],
            "trigger": ["触发", "调用"],
            "media": ["暂停", "继续播放", "播放", "停止", "下一首", "下一曲", "下一个", "切歌", "换歌","上一首", "上一曲", "上一个", "返回上一首", "音量"]
        }
    }


#4 打开电视这种常规操作,为什么在ha里会调用第三方ai(我的是智谱清言),这样效率真的很低,时间很慢,这个是官方的原因,还有就是你机器性能不太好,可能需要换一条SSD之类,电视本身是官方意图不支持,你如果需要控制电视就按照#3我的介绍可以毫秒级打开的,确实这样使用成本高了我还会继续优化的

#5 对于天气意图的增加自定义,这个没做,你可以做一个脚本 #3 操作,然后让AI读取回复即可,这个清言是支持的,或者使用联网搜索(但是清言的联网太差,也可以直接自定义Jinja2自己的天气实体)
目前缺失的有播放器选歌、空调,定时器,锁密码等一些,强制绑定自定义意图(由于是强制插入可能会又时候不执行也就是说联网搜索天气等,摄像头没问题)



评分

参与人数 1金钱 +10 收起 理由
tianzhuang55 + 10 论坛有你更精彩!

查看全部评分

回复

使用道具 举报

158

主题

2508

帖子

7788

积分

元老级技术达人

积分
7788
金钱
5275
HASS币
30
 楼主| 发表于 2025-1-6 01:18:31 | 显示全部楼层
lichao622 发表于 2025-1-5 16:49
这个版本,中文的回退不可用!

确定吗,我已经升级到2025年1月版了
回复

使用道具 举报

158

主题

2508

帖子

7788

积分

元老级技术达人

积分
7788
金钱
5275
HASS币
30
 楼主| 发表于 2025-1-6 01:37:23 | 显示全部楼层
nuknoop 发表于 2025-1-5 17:14
建议有需求直接请到github上提出需求建议https://github.com/knoop7/zhipuai/issues

#1 作为智谱清言集成 ...

谢谢智谱清言开发者能回复我这么多字,我认真看了2遍,我并没有说您开发的ai插件不好,只是使用过程中有点疑惑,我非常感谢您开发了0门槛的ai插件给我们用,这个肯定花费了很多您的宝贵时间。
1,我的硬件应该是没有问题的,我的是威联通nas,x86的,加装了20g内存,原配置是8g,cpu是j4125,有2块硬盘,一块是三星ssd,容量是1T,主要是安装威联通系统,docker,ha,旁路由,另外一块是10t的企业级机械硬盘,主要是存视频,照片,音乐这些,我的语音转文本是用docker跑的,您也看到了。stt还是蛮快的,基本上1秒出结果。应该跟物理机性能关系不大,可能真的是你所说的,就是ha官方的问题,没有中文回退,或者说中文回退暂时不支持。

2,为什么发在ha论坛里,不直接在github发呢,可能是我比较懒,另外发在论坛里,也方便后面的论坛新手查和借鉴,另外天气预报,或者是查天气是刚需,如果能智谱清言能处理的好那就好了。或者你说的我调用脚本和自动化,比如我命令个脚本,获取当天和最近的天气,那语音里,应该怎么说,智谱清言才能处理呢?这个我不是很明白了

再次感谢智谱清言插件的开发者,插件不完美很正常,毕竟您时间和精力有限,也期待插件越来越好用。
回复

使用道具 举报

29

主题

327

帖子

4406

积分

论坛技术达人

积分
4406
金钱
4059
HASS币
80
发表于 2025-1-6 07:22:15 | 显示全部楼层
bugensui 发表于 2025-1-6 01:37
谢谢智谱清言开发者能回复我这么多字,我认真看了2遍,我并没有说您开发的ai插件不好,只是使用过程中有 ...

没事我会帮助大家继续做好需求,稍等等待下我的修复稳定版本,最新的版本有些硬插入导致,确实x86会有些影响,也可以

/custom_components/zhipuai/intents.yaml

同级目录把天气和自定义意图yaml中的修改下

HassGetWeather:
  data:
    - sentences:
        - "[现在|当前][的]天气[怎么样]"
        - "查看[现在|当前][的]天气"
        - "天气[预报|情况]"
      slots:
        domain: weather

    - sentences:
        - "[查询|查看][<area>]{name}[的]天气[怎么样]"
        - "[现在|当前][<area>]{name}[的]天气[如何|状况]"
        - "[<area>]{name}天气[预报]"
      requires_context:
        domain: weather

HassGetState:
  data:
    - sentences:
        - "[查询|查看][<area>]{name}[的]状态"
        - "[<area>]{name}[现在|当前]是什么状态"
        - "[<area>]{name}[怎么样|如何]"
      slots:
        domain: all

    - sentences:
        - "[<area>]{name}[的锁](是不是|有没有){lock_states:state}"
        - "[<area>]{name}[的锁][是|有]{lock_states:state}[吗|不]"
      response: one_yesno
      requires_context:
        domain: lock
      slots:
        domain: lock

ZhipuAIWebSearch:
这里删除或者重新编辑联网就可以正常使用啦
回复

使用道具 举报

75

主题

608

帖子

2610

积分

金牌会员

Rank: 6Rank: 6

积分
2610
金钱
1997
HASS币
0
发表于 2025-1-6 09:02:48 | 显示全部楼层
bugensui 发表于 2025-1-6 01:18
确定吗,我已经升级到2025年1月版了

25.1也不支持回退
回复

使用道具 举报

43

主题

195

帖子

1388

积分

金牌会员

Rank: 6Rank: 6

积分
1388
金钱
1193
HASS币
0
发表于 2025-1-6 09:09:54 | 显示全部楼层
请教,你这个FUN STT服务器是怎么搞出来的?
回复

使用道具 举报

158

主题

2508

帖子

7788

积分

元老级技术达人

积分
7788
金钱
5275
HASS币
30
 楼主| 发表于 2025-1-6 11:04:39 | 显示全部楼层
lambilly 发表于 2025-1-6 09:09
请教,你这个FUN STT服务器是怎么搞出来的?

这个要自己部署的,我是docker部署的,参考文档https://github.com/yaming116/FunAsr,不过有坛友好像做成了ha加载项,你搜索下论坛,可以直接ha里安装,也可以自己docker安装。就是语音转文本的服务,好像是离线的,挺使用的,如果自己有其他的服务,也可以调用这个stt语音识别的api,做语音识别,我自己有个网站,需要语音搜索,我语音识别就是调用的这个,免费,速度快。
回复

使用道具 举报

158

主题

2508

帖子

7788

积分

元老级技术达人

积分
7788
金钱
5275
HASS币
30
 楼主| 发表于 2025-1-6 11:05:03 | 显示全部楼层
lichao622 发表于 2025-1-6 09:02
25.1也不支持回退

我去,那计划什么时候支持回退,你知道不
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Hassbian

GMT+8, 2025-2-3 00:01 , Processed in 0.058751 second(s), 35 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表