本帖最后由 岩风 于 2025-10-23 20:01 编辑  
 
我们玩HA,大部分自动化是响应式的(比如人来开灯、天黑关窗),或者固定定时的。我一直在琢磨,能不能让HA更“主动”、更“智能”地与我们交互,甚至带点“人情味”? 正好最近看到HA官方更新了AI生图功能,于是我把AI大模型和Frigate人脸识别结合了起来,实现了一个“AI早安助手”。它能在我早上坐到工位时“看见”我,并主动调用大模型实时生成文案和图片,给我加油打气。 废话不多说,先上效果! 
https://www.xiaohongshu.com/expl ... xsec_source=pc_user 
如果电脑还没开机?没关系,HA会通过n8n同步推送到微信和邮箱: 核心原理:AI如何“看见”并“创作”这套玩法的核心是,让AI实时根据“输入”来“创作”。 
这里的文案和图片,全是HA自动化流程调用AI,根据摄像头实时抓拍到的我,现场生成的! 
HA会分析我的“状态”,然后量身打造一段“专属鼓励”和一张专属的“吉卜力”风格插画。保证千人千面,绝不重样! 每天的文案和图片都不一样。 
 
整体架构我把整个流程分成了三大部分: 
- HA 感知层 (Frigate): 负责“看见”我,实现人脸识别。(需要0.16.0以上版本)
 - HA 决策与AI层 (HA Automation): 负责“思考”,编排剧本,调用大模型。
 - 推送层 (n8n & HASS.agent): 负责“通知”,实现全渠道分发。
 
  准备工作(“装备清单”)硬件设备: 
- TP-Link摄像头(理论上任何支持ONVIF协议、能接入Frigate的摄像头都行)。
 
  软件(“核心三件套”): 
- Home Assistant (HA): 论坛标配,我们的“中枢大脑”。
 - HASS.agent: 负责PC端的通知和TTS语音。
 - n8n: 工作流“自动化神器”,负责HA搞不定的复杂推送(比如上传图床、格式化邮件等)。
 
 
  
整体实现流程(“启动!”)1. HA 感知层:Frigate人脸识别 
安装frigate插件,上传自己的照片,让AI能够正确识别到你的脸 
 
 
2. HA 决策与AI层:自动化编排这是最核心的一步。我们要告诉HA:“当你看到我,并且是在早上上班时间,就启动AI!” 
 
 
这个自动化流程的逻辑分解如下: 
【触发器 (Trigger):】 
- 当 sensor.yanfeng_last_recognized_face 状态变为 "yifan" (即Frigate刚刚识别到我)。
 
  【条件 (Condition):】 
- 必须是早上 8:00 到 9:00 之间 这个“黄金时段”。
 
  【动作 (Action):】 
- 拍照 (camera.snapshot): 立刻调用摄像头,拍下我的“实时状态”,存为本地文件(如 /config/www/yanfeng.jpg)。
 - 调用AI(文案生成): 把照片丢给图像识别大模型(比如 gemini 2.5 flash 或 Qwen3-VL)。
 
 
 - 调用AI(画图): 拿到上一步AI返回的“背景描述”和“励志短语”,马上再呼叫图像生成大模型(比如 gemini 2.5 flash 或 Qwen-Image-Edit)。
 
 
 - 本地推送 (HASS.agent): 把AI生成的“专属鼓励”和图片通过 notify服务推送到我的电脑上,并调用 tts.edge_tts 朗读出来!
 - 远程“发射” (RESTful Command): 通过 rest_command服务,把文案和(刚生成的)图片公网URL,用HTTP POST请求传递给n8n的Webhook。
 
  到这里,HA的本地任务就算完成了。 
3. 推送层:n8n全渠道分发 
为了实现微信、邮箱等推送,我们把“球”传给了n8n。 
 
 
这个流程更简单: 
- 接收数据 (Webhook): n8n的Webhook节点接到HA扔过来的JSON数据(文案和图片)。
 - 上传图床 (Http Request): 这一步很关键!因为微信和邮件没法直接显示HA本地的图片。n8n会先把图片上传到图床(我用的是 imgBB),换取一个公开的URL链接。
 - 优化格式 (Set): 把文案和图片URL拼成一个漂亮的消息体。
 - 分发 (Http Request / SMTP):
 
- 一路POST到 pushplus(实现微信通知)。
 - 另一路通过 SMTP 节点推送到 QQ邮箱(或你指定的任何邮箱)。
 
 
   (关于n8n的具体操作,大家可以自行搜索学习,网上教程很多,这里就不啰嗦啦。) 
关键技术点和“踩坑”- AI模型选择: HA的AI集成中,实测Gemini效果最好,但是速度偏慢且不支持生成带中文的图片。如果大家因为网络问题,可以用我开发的 yanfeng AI task 集成替代,速度快、支持中文,只是qwen生图的效果差点,而且需要额外多调用一次图床服务。集成链接:https://bbs.hassbian.com/thread-30540-1-1.html
 - 微信推送: 我用的是 pushplus(推送加),免费又好用。
 - 图床: 推送前 一定 要先上传图床,拿到公开URL,否则微信和邮箱里显示不出来图片!我使用的是imgBB。
 
  除了上面的功能外,这套“AI视觉感知 + HA决策 + AI内容生成”的组合拳,可能性还挺多的,我已经实现的有: 
1. AI“贴心”久坐提醒- 触发: 当用户在画面中出现状态持续1小时。
 - 动作: 调用AI生成个性化提示语,然后TTS播放出来。
 
  2. 快递“哨兵”自动通知- 触发: 摄像头对着门口,AI自动识别到“快递员”或“包裹”。
 - 动作: AI判断是不是快递到了,然后立即抓拍并发送通知到用户手机。
 
 
  
应该还可以联动实现更多功能,期待与大家一起交流~ 
 
 
 |