找回密码
 立即注册

微信扫码登录

搜索
查看: 495|回复: 13

[门禁] FrigateAI分析摄像头/门铃视频并识别场景执行自动化

[复制链接]

2

主题

32

回帖

475

积分

中级会员

积分
475
金钱
441
HASS币
0
发表于 4 天前 | 显示全部楼层 |阅读模式
本帖最后由 animals 于 2025-10-27 22:45 编辑

首先感谢 利用AI分析摄像头/门铃视频并识别场景执行自动化 (https://bbs.hassbian.com/thread-30096-1-1.html) 提供的灵感
下面贴出我自己推送的截图
148FF3E3DCFFE5C295FC10A77F660283.png
再下面, 蓝图以及蓝图的 gitee 地址:
https://gitee.com/PageNotFound/ha_stock/raw/master/Frigate%20%E4%BD%BF%E7%94%A8%20AI%20%E6%A3%80%E6%B5%8B%E5%90%8E%E6%8E%A8%E9%80%81%E5%88%B0%E4%BC%81%E4%B8%9A%E5%BE%AE%E4%BF%A1
或者使用下面的链接来导入蓝图:
https://my.home-assistant.io/redirect/blueprint_import/?blueprint_url=https%3A%2F%2Fgitee.com%2FPageNotFound%2Fha_stock%2Fraw%2Fmaster%2FFrigate+%E4%BD%BF%E7%94%A8+AI+%E6%A3%80%E6%B5%8B%E5%90%8E%E6%8E%A8%E9%80%81%E5%88%B0%E4%BC%81%E4%B8%9A%E5%BE%AE%E4%BF%A1


奇怪, 为什么在没有使用"纯文本"的情况下, 没办法创建超链接? 使用"纯文本"自己手动添加[url]标签, 保存后也会失效?

下面讲一下逻辑:
1. Frigate 支持轻模型进行人脸识别, 稍加训练后, 几乎可以识别出家庭人员的脸, 准确度还算挺高,如下图
图片.png
2. 监听 frigate/events, 从 after 中的 sub_label 来判断是否是白名单中的人员, 如果是, 则不推送信息, 不是, 才会继续往下执行
3. 使用 frigate的 api 地址(非暴露)"你的 ha 地址/api/frigate/notifications/{{ event_id }}/clip.mp4", 是否一定需要可以外部访问的地址,还不确定, 我用的是外网地址
4. 然后把视频地址发送给 AI 进行分析
5. 然后根据分析结果(视频分析结果中的 tags)来决定是否需要推送到企业微信

评分

参与人数 2金钱 +24 收起 理由
DDDear + 12 高手,这是高手!
隔壁的王叔叔 + 12 高手,这是高手!

查看全部评分

回复

使用道具 举报

14

主题

1671

回帖

5566

积分

论坛元老

积分
5566
金钱
3881
HASS币
0
发表于 4 天前 | 显示全部楼层
感谢分享
回复

使用道具 举报

32

主题

1538

回帖

7101

积分

元老级技术达人

积分
7101
金钱
5506
HASS币
70
发表于 3 天前 | 显示全部楼层
好久没看,现在支持人脸识别了???
“Frigate 支持轻模型进行人脸识别”
回复

使用道具 举报

2

主题

428

回帖

2814

积分

金牌会员

积分
2814
金钱
2379
HASS币
30
发表于 3 天前 | 显示全部楼层
c1pher_小愚 发表于 2025-10-27 10:30
好久没看,现在支持人脸识别了???
“Frigate 支持轻模型进行人脸识别”

是的,而且0.17亦支持分類,例如分狗A 狗B,門是打開還是關閉狀態
回复

使用道具 举报

2

主题

428

回帖

2814

积分

金牌会员

积分
2814
金钱
2379
HASS币
30
发表于 3 天前 | 显示全部楼层
最新版本ha好似導入後執行有問題

Frigate AI 人员检测与智能通知 uses an unknown action
Error · Reported by Automation
The automation "Frigate AI 人员检测与智能通知" (automation.frigate_ai_ren_yuan_jian_ce_yu_zhi_neng_tong_zhi) has an unknown action: conversation.agent_glm_4_1v_thinking_flash.

This error prevents the automation from running correctly. Maybe this action is no longer available, or perhaps a typo caused it.

但在開發者工具執行卻沒有問題的:

action: ai_conversation.explain_media
data:
  entity_id: conversation.agent_glm_4_1v_thinking_flash
  video: /api/frigate/notifications/1761548356.76107-4fmoec/clip.mp4
  prompt: >-
    这是我家門鐘摄像头检测到人员的视频片段。请分析并总结视频内容,重点描述:1. 人物特征(性别、年龄、衣着等)2.   
    人物行为(是否敲门、按门铃、停留等)3. 可能的身份(快递员、外卖员、访客等)4. 任何异常或需要注意的行为
回复

使用道具 举报

32

主题

1538

回帖

7101

积分

元老级技术达人

积分
7101
金钱
5506
HASS币
70
发表于 3 天前 | 显示全部楼层
fung1006 发表于 2025-10-27 11:03
是的,而且0.17亦支持分類,例如分狗A 狗B,門是打開還是關閉狀態

可以可以,空了研究研究
回复

使用道具 举报

2

主题

32

回帖

475

积分

中级会员

积分
475
金钱
441
HASS币
0
 楼主| 发表于 3 天前 | 显示全部楼层
fung1006 发表于 2025-10-27 16:03
最新版本ha好似導入後執行有問題

Frigate AI 人员检测与智能通知 uses an unknown action

是否是 video 路径问题? 我的理解是, 给到 ai 那边的 视频或者图片地址应该是外网可以访问的才行?
回复

使用道具 举报

2

主题

32

回帖

475

积分

中级会员

积分
475
金钱
441
HASS币
0
 楼主| 发表于 3 天前 | 显示全部楼层
fung1006 发表于 2025-10-27 11:03
是的,而且0.17亦支持分類,例如分狗A 狗B,門是打開還是關閉狀態

还能分狗 A 狗 B? 我还用的 0.16, 狗有时候还分不清
回复

使用道具 举报

2

主题

428

回帖

2814

积分

金牌会员

积分
2814
金钱
2379
HASS币
30
发表于 前天 00:48 | 显示全部楼层
animals 发表于 2025-10-27 22:43
是否是 video 路径问题? 我的理解是, 给到 ai 那边的 视频或者图片地址应该是外网可以访问的才行? ...

是的,是外網可以訪問,好像格式是要這樣才正常

action: ai_conversation.explain_media
data:
  entity_id: conversation.agent_glm_4_1v_thinking_flash

這樣就不行
action: conversation.agent_glm_4_1v_thinking_flash
回复

使用道具 举报

2

主题

428

回帖

2814

积分

金牌会员

积分
2814
金钱
2379
HASS币
30
发表于 前天 00:51 | 显示全部楼层
animals 发表于 2025-10-27 22:44
还能分狗 A 狗 B? 我还用的 0.16, 狗有时候还分不清

0.17直接有ui 做分類,非常方便
當然你的狗不能太像
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Hassbian ( 晋ICP备17001384号-1 )

GMT+8, 2025-10-30 21:58 , Processed in 0.110313 second(s), 13 queries , MemCached On.

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表