请选择 进入手机版 | 继续访问电脑版

『瀚思彼岸』» 智能家居技术论坛

 找回密码
 立即注册
查看: 353|回复: 40

[流程系列] 【node-red】分享百度AI做的手势识别流程-逐渐完善中

[复制链接]

3

主题

128

帖子

428

积分

中级会员

Rank: 3Rank: 3

积分
428
金钱
300
HASS币
10
发表于 2019-11-7 00:04:45 | 显示全部楼层 |阅读模式
本帖最后由 kan0r 于 2019-11-14 21:37 编辑

更新一下,昨天做完出来有点太激动,不太完善就发出来了哈哈。今天又更新了一下流程,希望大家都能够先实现这个手势识别的功能,再一起完善一下。
222.png
新的附件在下面,流程图片如上,打勾的地方需要根据自己实际情况更改。打叉的地方可以删掉,需要另外安装node-red的节点node-red-contrib-image-tools,只是方便测试而已。
再说一下几点注意的地方:
1、为了减少调用api的次数,需要在node-red添加持久变量,导入flow前,先跟着大佬的帖子设置一下自己的node-red。
https://bbs.hassbian.com/forum.php?mod=viewthread&tid=5842
2、需要安装motionEye,再根据自己摄像头的位置配置一下检测的参数。
3、摄像头摆放的位置比较重要,应该在伸手能清楚看到手指的地方。尝试了一下在太远的地方不太能识别出来。所以我现在放在了沙发的后面。
4、补充百度的说明:主要适用于3米以内的自拍、他人拍摄,1米内识别效果最佳,拍摄距离太远时,手部目标太小,无法准确定位和识别。

图片中有多个手势时,也能识别,但该情况下,单个手势的目标可能较小,且角度可能不好(例如存在倾斜、遮挡等),识别效果可能受影响。建议针对单个手势进行识别,效果最佳。

5、https://ai.baidu.com/docs#/Body-API/02f6ce24 ,这个是手势识别的技术文档,有兴趣的朋友可以看看,上面有可以识别的24种手势的介绍,和对应的参数。
6、目前我在用树莓派+自带的摄像头,安装motioneyeOS,然后再接入到node-red,感觉用起来还是比较流畅的,能很好的识别到手势,而且树莓派自带的摄像头没有太广角,只要把手放到摄像头拍到的位置就ok。等有空我拍个视频展示一下。7、想到再补充。。。

------------------------------------

一、之前用传感器做了一个手势感应的开关,放在床头用效果杠杠的,然后想如果在客厅也能用手势控制的话,就会显得有点帅了。于是就有了这个构想。主要是分享一个思路,希望有兴趣的大家可以来完善这个flow。我自己的运行环境是黑裙+docker。 WeChat Screenshot_20191106233521.png

二、原理就是,利用motionEye接入摄像头,并在HA接入一个motion-binarysensor,当检测到画面有帧变化的时候,开始采集图片,直到识别到手势后结束流程。


三、说一下需要用到的工具和设备:
    1、摄像头,这个必须的,我试过树莓派自带的摄像头,和目前在用的萤石C6CN
    2、需要有HA、NODE-RED、MQTT、motionEye

四、具体的每一个工具的配置,暂时先不详细说,如果有兴趣多的人可以再写详细的教程。整个flow,我尝试了很多种采集图片的逻辑,现在用的是试过最流畅,延迟最低的一种。(尝试过摄像头接入HA的ffmpeg和binarysensor-motion-ffmpeg;也试过sonoff+人体传感器+HA接入的ffmpeg;也试过通过萤石api获取实时图片)




五、node-red的flow先分享到附件,大家可以根据自己的实际情况改来试试。有什么问题欢迎交流。
WeChat Screenshot_20191106233403.png
游客,如果您要查看本帖隐藏内容请回复




baiduAI.rar

3.21 KB, 下载次数: 17

评分

参与人数 1金钱 +20 HASS币 +10 收起 理由
+ 20 + 10 厉害了word楼主!

查看全部评分

回复

使用道具 举报

10

主题

414

帖子

1262

积分

金牌会员

Rank: 6Rank: 6

积分
1262
金钱
848
HASS币
20
发表于 2019-11-7 01:08:47 | 显示全部楼层
我就知道有大事要发生,所以一直没睡,等着。
回复

使用道具 举报

9

主题

315

帖子

1498

积分

金牌会员

Rank: 6Rank: 6

积分
1498
金钱
1183
HASS币
0
发表于 2019-11-7 08:22:24 | 显示全部楼层
感謝分享 這個有點帥啊XD
回复

使用道具 举报

12

主题

256

帖子

960

积分

高级会员

Rank: 4

积分
960
金钱
704
HASS币
0
发表于 2019-11-7 08:31:02 | 显示全部楼层
学习一下学习一下学习一下学习一下学习一下学习一下
回复

使用道具 举报

7

主题

596

帖子

2102

积分

金牌会员

Rank: 6Rank: 6

积分
2102
金钱
1501
HASS币
40
QQ
发表于 2019-11-7 09:27:23 | 显示全部楼层
进来看看
回复

使用道具 举报

0

主题

28

帖子

94

积分

注册会员

Rank: 2

积分
94
金钱
66
HASS币
0
发表于 2019-11-7 09:33:55 | 显示全部楼层
学习一下
回复

使用道具 举报

6

主题

642

帖子

2260

积分

金牌会员

Rank: 6Rank: 6

积分
2260
金钱
1618
HASS币
0
发表于 2019-11-7 10:10:57 | 显示全部楼层
谢谢分享,学习学习
回复

使用道具 举报

8

主题

157

帖子

659

积分

高级会员

Rank: 4

积分
659
金钱
502
HASS币
0
发表于 2019-11-7 11:15:43 | 显示全部楼层
学习 学习
回复

使用道具 举报

2

主题

220

帖子

1109

积分

金牌会员

Rank: 6Rank: 6

积分
1109
金钱
879
HASS币
50
发表于 2019-11-7 11:17:40 | 显示全部楼层
太牛逼了
回复

使用道具 举报

3

主题

156

帖子

1535

积分

金牌会员

Rank: 6Rank: 6

积分
1535
金钱
1379
HASS币
0
发表于 2019-11-7 11:56:26 | 显示全部楼层
感谢分享.....
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Hassbian

GMT+8, 2019-11-18 03:57 , Processed in 0.107260 second(s), 26 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表