『瀚思彼岸』» 智能家居技术论坛

 找回密码
 立即注册
查看: 9626|回复: 28

[智能音箱] 【酒店盒子】给智能音箱接入Chatgpt,对话,画画样样在行

[复制链接]

20

主题

219

帖子

2184

积分

金牌会员

Rank: 6Rank: 6

积分
2184
金钱
1950
HASS币
87
发表于 2023-2-26 18:53:11 | 显示全部楼层 |阅读模式
本帖最后由 jsfer888 于 2023-3-1 11:42 编辑



酒店盒子本体.jpg

一、盒子到手后刷机
首先盒子原来为了酒店客房服务定制的,项目黄了以后这批产品才流入到我们手里,所以盒子原来的系统基本没啥可折腾的,我们要做的就是刷成正常的安卓系统才能有更多好玩的玩法。
简单讲述一下流程,盒子到手以后先开启调试模式解BL锁,然后刷Dot大佬的定制固件,这里具体我不细说了,有什么问题可以沟通。

二、劫持盒子自带的若琪,通过mqtt发送给nodered进行后续处理
1、  可以实现的功能
①、语音对话,通过nodered里的chatgpt节点处理,返回的内容再tts到盒子;
②、画画,chatgpt节点能够实现根据描述生成图片,生成图片以后推送到盒子弹窗显示;
③、控制HA设备,如果都是米家的设备,可以简单处理以后在nodered里让 小爱同学静默执行,如果是HA的设备,可以使用call service的方式控制;
④、天气、音乐等自由配置
2、  具体步骤:
①、刷完机以后,安装Dot大佬的多特助手app以及另外2个辅助app(RKAIFE_system_qianming.apk和RKVbox_system_qianming.apk)并进行设置,主要是MQTT设置里设置你自己的MQTT信息,设置完成以后记得重启;

②、测试MQTT有没有链接成功
TTS播放:
发送Topic:ruoqi-command
发送内容:{“speak”:“发送的内容”}
获得若琪的语音信息:
订阅Topic:ruoqi-voicetxt
③、MQTT链接成功以后就可以在nodered里面自由处理了,下面是我的流,仅做参考
若琪.jpg
④、让chatgpt画画,推送到盒子并弹窗的实现方法(同样,回复的文字信息也可以推送到盒子并弹窗显示)
盒子上安装 notifications for android TV这个app,HA里面有对应的集成,在生成图片以后,使用相应的服务就可以进行消息推送了,官方有具体的文档说明,详见https://www.home-assistant.io/integrations/nfandroidtv/


nodered里的chatgpt节点我使用的是 node-red-contrib-custom-chatgpt


目前具体内容还在更新,大家也可以发挥自己的想象,折腾更好玩的玩法。


对了如果有需要盒子的朋友给老板报暗号987有优惠,多多关键词【锤锤公社】




评分

参与人数 1金钱 +10 收起 理由
sorrypqa + 10 大神666!

查看全部评分

回复

使用道具 举报

0

主题

57

帖子

471

积分

中级会员

Rank: 3Rank: 3

积分
471
金钱
414
HASS币
0
发表于 2023-2-26 20:05:23 | 显示全部楼层
暂时用的小爱PRO,好像就不要这个了吧
回复

使用道具 举报

12

主题

176

帖子

2066

积分

金牌会员

Rank: 6Rank: 6

积分
2066
金钱
1890
HASS币
0
发表于 2023-2-26 22:18:26 | 显示全部楼层
牛蛙牛蛙
回复

使用道具 举报

20

主题

219

帖子

2184

积分

金牌会员

Rank: 6Rank: 6

积分
2184
金钱
1950
HASS币
87
 楼主| 发表于 2023-3-1 09:34:56 | 显示全部楼层
本帖最后由 jsfer888 于 2023-3-1 09:37 编辑
DX3906 发表于 2023-2-26 20:05
暂时用的小爱PRO,好像就不要这个了吧

个人所需哈,我折腾这个只是为了好玩,等将来chatgpt本体的api开放了以后可玩性更强,目前经过测试,chatgpt能够理解人说的话,比如你说家里有点暗,它就能理解你是要开灯了等等。

chat2.png chat1.png
回复

使用道具 举报

1

主题

66

帖子

570

积分

高级会员

Rank: 4

积分
570
金钱
504
HASS币
0
发表于 2023-3-4 00:04:29 | 显示全部楼层
支持一下
回复

使用道具 举报

25

主题

640

帖子

2913

积分

金牌会员

Rank: 6Rank: 6

积分
2913
金钱
2263
HASS币
40
发表于 2023-3-4 23:39:19 | 显示全部楼层
我想知道这个唤醒词可以定义吗? 支持免唤醒词命令吗?
回复

使用道具 举报

20

主题

219

帖子

2184

积分

金牌会员

Rank: 6Rank: 6

积分
2184
金钱
1950
HASS币
87
 楼主| 发表于 2023-3-5 11:28:27 | 显示全部楼层
sasukebinbin 发表于 2023-3-4 23:39
我想知道这个唤醒词可以定义吗? 支持免唤醒词命令吗?

支持唤醒词自定义,免唤醒词命令还没搞定
回复

使用道具 举报

20

主题

219

帖子

2184

积分

金牌会员

Rank: 6Rank: 6

积分
2184
金钱
1950
HASS币
87
 楼主| 发表于 2023-3-5 11:32:26 | 显示全部楼层
sasukebinbin 发表于 2023-3-4 23:39
我想知道这个唤醒词可以定义吗? 支持免唤醒词命令吗?

目前已经能够实现chatgpt3.5模型的对话,有记忆功能,如果能够免唤醒,体验感会更好
回复

使用道具 举报

0

主题

10

帖子

83

积分

注册会员

Rank: 2

积分
83
金钱
73
HASS币
0
发表于 2023-3-17 10:33:37 | 显示全部楼层
多多关键词是拼夕夕吗?
回复

使用道具 举报

0

主题

4

帖子

20

积分

新手上路

Rank: 1

积分
20
金钱
16
HASS币
0
发表于 2023-3-25 08:57:41 | 显示全部楼层
我看着大佬们搞得不亦乐乎,我也入手了两……结果不会玩了,求带!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Hassbian

GMT+8, 2024-11-22 00:11 , Processed in 1.456231 second(s), 35 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表