FrigateAI分析摄像头/门铃视频并识别场景执行自动化

animals

首先感谢 利用AI分析摄像头/门铃视频并识别场景执行自动化 (https://bbs.hassbian.com/thread-30096-1-1.html) 提供的灵感
下面贴出我自己推送的截图

再下面, 蓝图以及蓝图的 gitee 地址:
https://gitee.com/PageNotFound/ha_stock/raw/master/Frigate%20%E4%BD%BF%E7%94%A8%20AI%20%E6%A3%80%E6%B5%8B%E5%90%8E%E6%8E%A8%E9%80%81%E5%88%B0%E4%BC%81%E4%B8%9A%E5%BE%AE%E4%BF%A1
或者使用下面的链接来导入蓝图:
https://my.home-assistant.io/redirect/blueprint_import/?blueprint_url=https%3A%2F%2Fgitee.com%2FPageNotFound%2Fha_stock%2Fraw%2Fmaster%2FFrigate+%E4%BD%BF%E7%94%A8+AI+%E6%A3%80%E6%B5%8B%E5%90%8E%E6%8E%A8%E9%80%81%E5%88%B0%E4%BC%81%E4%B8%9A%E5%BE%AE%E4%BF%A1


奇怪, 为什么在没有使用"纯文本"的情况下, 没办法创建超链接? 使用"纯文本"自己手动添加[url]标签, 保存后也会失效?

下面讲一下逻辑:
1. Frigate 支持轻模型进行人脸识别, 稍加训练后, 几乎可以识别出家庭人员的脸, 准确度还算挺高,如下图

2. 监听 frigate/events, 从 after 中的 sub_label 来判断是否是白名单中的人员, 如果是, 则不推送信息, 不是, 才会继续往下执行
3. 使用 frigate的 api 地址(非暴露)"你的 ha 地址/api/frigate/notifications/{{ event_id }}/clip.mp4", 是否一定需要可以外部访问的地址,还不确定, 我用的是外网地址
4. 然后把视频地址发送给 AI 进行分析
5. 然后根据分析结果(视频分析结果中的 tags)来决定是否需要推送到企业微信

隔壁的王叔叔

感谢分享

c1pher_小愚

好久没看，现在支持人脸识别了？？？
“Frigate 支持轻模型进行人脸识别”

fung1006

c1pher_小愚 发表于 2025-10-27 10:30
好久没看，现在支持人脸识别了？？？
“Frigate 支持轻模型进行人脸识别”

是的，而且0.17亦支持分類，例如分狗A 狗B，門是打開還是關閉狀態

fung1006

最新版本ha好似導入後執行有問題

Frigate AI 人员检测与智能通知 uses an unknown action
Error · Reported by Automation
The automation "Frigate AI 人员检测与智能通知" (automation.frigate_ai_ren_yuan_jian_ce_yu_zhi_neng_tong_zhi) has an unknown action: conversation.agent_glm_4_1v_thinking_flash.

This error prevents the automation from running correctly. Maybe this action is no longer available, or perhaps a typo caused it.

但在開發者工具執行卻沒有問題的:

action: ai_conversation.explain_media
data:
  entity_id: conversation.agent_glm_4_1v_thinking_flash
  video: /api/frigate/notifications/1761548356.76107-4fmoec/clip.mp4
  prompt: >-
    这是我家門鐘摄像头检测到人员的视频片段。请分析并总结视频内容，重点描述：1. 人物特征（性别、年龄、衣着等）2.   
    人物行为（是否敲门、按门铃、停留等）3. 可能的身份（快递员、外卖员、访客等）4. 任何异常或需要注意的行为

c1pher_小愚

fung1006 发表于 2025-10-27 11:03
是的，而且0.17亦支持分類，例如分狗A 狗B，門是打開還是關閉狀態

可以可以，空了研究研究

animals

fung1006 发表于 2025-10-27 16:03
最新版本ha好似導入後執行有問題

Frigate AI 人员检测与智能通知 uses an unknown action

是否是 video 路径问题? 我的理解是, 给到 ai 那边的 视频或者图片地址应该是外网可以访问的才行?

animals

fung1006 发表于 2025-10-27 11:03
是的，而且0.17亦支持分類，例如分狗A 狗B，門是打開還是關閉狀態

还能分狗 A 狗 B? 我还用的 0.16, 狗有时候还分不清

fung1006

animals 发表于 2025-10-27 22:43
是否是 video 路径问题? 我的理解是, 给到 ai 那边的 视频或者图片地址应该是外网可以访问的才行? ...

是的，是外網可以訪問，好像格式是要這樣才正常

action: ai_conversation.explain_media
data:
  entity_id: conversation.agent_glm_4_1v_thinking_flash

這樣就不行
action: conversation.agent_glm_4_1v_thinking_flash

fung1006

animals 发表于 2025-10-27 22:44
还能分狗 A 狗 B? 我还用的 0.16, 狗有时候还分不清

0.17直接有ui 做分類，非常方便
當然你的狗不能太像