找回密码
 立即注册

微信扫码登录

搜索
查看: 48|回复: 0

[技术探讨] Frigate+AI+n8n,我打造了能“看见”我的“AI早安助手”

[复制链接]

2

主题

29

回帖

174

积分

注册会员

积分
174
金钱
143
HASS币
0
发表于 2025-10-23 19:53:23 | 显示全部楼层 |阅读模式
本帖最后由 岩风 于 2025-10-23 20:01 编辑

我们玩HA,大部分自动化是响应式的(比如人来开灯、天黑关窗),或者固定定时的。我一直在琢磨,能不能让HA更“主动”、更“智能”地与我们交互,甚至带点“人情味”?
正好最近看到HA官方更新了AI生图功能,于是我把AI大模型和Frigate人脸识别结合了起来,实现了一个“AI早安助手”。它能在我早上坐到工位时“看见”我,并主动调用大模型实时生成文案和图片,给我加油打气。
废话不多说,先上效果!
https://www.xiaohongshu.com/expl ... xsec_source=pc_user
如果电脑还没开机?没关系,HA会通过n8n同步推送到微信和邮箱:
image.png image.png
核心原理:AI如何“看见”并“创作”这套玩法的核心是,让AI实时根据“输入”来“创作”
这里的文案和图片,全是HA自动化流程调用AI,根据摄像头实时抓拍到的我,现场生成的!
HA会分析我的“状态”,然后量身打造一段“专属鼓励”和一张专属的“吉卜力”风格插画。保证千人千面,绝不重样! 每天的文案和图片都不一样。

整体架构我把整个流程分成了三大部分:
  • HA 感知层 (Frigate): 负责“看见”我,实现人脸识别。(需要0.16.0以上版本)
  • HA 决策与AI层 (HA Automation): 负责“思考”,编排剧本,调用大模型。
  • 推送层 (n8n & HASS.agent): 负责“通知”,实现全渠道分发。
准备工作(“装备清单”)硬件设备:
  • TP-Link摄像头(理论上任何支持ONVIF协议、能接入Frigate的摄像头都行)。
软件(“核心三件套”):
  • Home Assistant (HA): 论坛标配,我们的“中枢大脑”。
  • HASS.agent: 负责PC端的通知和TTS语音。
  • n8n: 工作流“自动化神器”,负责HA搞不定的复杂推送(比如上传图床、格式化邮件等)。

整体实现流程(“启动!”)1. HA 感知层:Frigate人脸识别
安装frigate插件,上传自己的照片,让AI能够正确识别到你的脸
image.png
2. HA 决策与AI层:自动化编排这是最核心的一步。我们要告诉HA:“当你看到我,并且是在早上上班时间,就启动AI!”
image.png
这个自动化流程的逻辑分解如下:
【触发器 (Trigger):】
  • 当 sensor.yanfeng_last_recognized_face 状态变为 "yifan" (即Frigate刚刚识别到我)。
【条件 (Condition):】
  • 必须是早上 8:00 到 9:00 之间 这个“黄金时段”。
【动作 (Action):】
  • 拍照 (camera.snapshot): 立刻调用摄像头,拍下我的“实时状态”,存为本地文件(如 /config/www/yanfeng.jpg)。
  • 调用AI(文案生成): 把照片丢给图像识别大模型(比如 gemini 2.5 flash 或 Qwen3-VL)。
    image.png
  • 调用AI(画图): 拿到上一步AI返回的“背景描述”和“励志短语”,马上再呼叫图像生成大模型(比如 gemini 2.5 flash 或 Qwen-Image-Edit)。
    image.png
  • 本地推送 (HASS.agent): 把AI生成的“专属鼓励”和图片通过 notify服务推送到我的电脑上,并调用 tts.edge_tts 朗读出来!
  • 远程“发射” (RESTful Command): 通过 rest_command服务,把文案和(刚生成的)图片公网URL,用HTTP POST请求传递给n8n的Webhook。
到这里,HA的本地任务就算完成了。
3. 推送层:n8n全渠道分发
为了实现微信、邮箱等推送,我们把“球”传给了n8n。
image.png
这个流程更简单:
  • 接收数据 (Webhook): n8n的Webhook节点接到HA扔过来的JSON数据(文案和图片)。
  • 上传图床 (Http Request): 这一步很关键!因为微信和邮件没法直接显示HA本地的图片。n8n会先把图片上传到图床(我用的是 imgBB),换取一个公开的URL链接。
  • 优化格式 (Set): 把文案和图片URL拼成一个漂亮的消息体。
  • 分发 (Http Request / SMTP):
    • 一路POST到 pushplus(实现微信通知)。
    • 另一路通过 SMTP 节点推送到 QQ邮箱(或你指定的任何邮箱)。
(关于n8n的具体操作,大家可以自行搜索学习,网上教程很多,这里就不啰嗦啦。)
关键技术点和“踩坑”
  • AI模型选择: HA的AI集成中,实测Gemini效果最好,但是速度偏慢且不支持生成带中文的图片。如果大家因为网络问题,可以用我开发的 yanfeng AI task 集成替代,速度快、支持中文,只是qwen生图的效果差点,而且需要额外多调用一次图床服务。集成链接:https://bbs.hassbian.com/thread-30540-1-1.html
  • 微信推送: 我用的是 pushplus(推送加),免费又好用。
  • 图床: 推送前 一定 要先上传图床,拿到公开URL,否则微信和邮箱里显示不出来图片!我使用的是imgBB。
除了上面的功能外,这套“AI视觉感知 + HA决策 + AI内容生成”的组合拳,可能性还挺多的,我已经实现的有:
1. AI“贴心”久坐提醒
  • 触发: 当用户在画面中出现状态持续1小时。
  • 动作: 调用AI生成个性化提示语,然后TTS播放出来。
2. 快递“哨兵”自动通知
  • 触发: 摄像头对着门口,AI自动识别到“快递员”或“包裹”。
  • 动作: AI判断是不是快递到了,然后立即抓拍并发送通知到用户手机。

应该还可以联动实现更多功能,期待与大家一起交流~


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Hassbian ( 晋ICP备17001384号-1 )

GMT+8, 2025-11-4 20:04 , Processed in 0.629955 second(s), 7 queries , MemCached On.

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表