找回密码
 立即注册

微信扫码登录

搜索
查看: 2030|回复: 26

[技术探讨] 【集成分享】Yanfeng AI Task - 家庭AI助手 | 完美替代gemini/chatgpt

[复制链接]

6

主题

50

回帖

530

积分

论坛技术达人

积分
530
金钱
469
HASS币
20
发表于 2025-10-19 15:21:53 | 显示全部楼层 |阅读模式
本帖最后由 岩风 于 2025-10-19 17:18 编辑

Yanfeng AI Task  
使用 Qwen模型 的 Home Assistant AI 集成
AI task大家是否已经体验过,将AI的图像识别能力、语义理解能力、图像生成能力融入自动化任务中,可以尽情发挥自己的创造力!
但是官方仅限于使用OpenAI、Google AI集成接入AI Task。
本集成基于Google AI集成开发,通过接入阿里魔搭平台api调用qwen大模型,完美实现AI Task的接入。
(魔搭平台每天有2000点额度免费使用,无需任何费用即可使用最新qwen大模型,性价比满满)
screenshot-20251019-150356.png screenshot-20251019-150248.png
同时借鉴了nuknoop大神的智谱AI集成,优化本地意图识别能力,将原本官方不支持的语句如“请”、“帮我”等融入集成,实现快速执行。
作为AI语音助手同样给力,无需输入专门指示,AI即可自动判断意图并执行

545548374740ba0f4bedb4b23927568a.png
更多介绍请参考readme文档。


yanfeng_ai_task项目地址



yanfeng_ai_task.zip

325.23 KB, 下载次数: 36

评分

参与人数 2金钱 +22 收起 理由
summ99111 + 10 感谢楼主分享!
隔壁的王叔叔 + 12 高手,这是高手!

查看全部评分

回复

使用道具 举报

21

主题

42

回帖

927

积分

高级会员

积分
927
金钱
849
HASS币
20
发表于 2025-10-19 20:13:32 | 显示全部楼层
很有前途,加油!
回复

使用道具 举报

16

主题

280

回帖

2567

积分

金牌会员

积分
2567
金钱
2271
HASS币
0
发表于 2025-10-19 20:23:34 | 显示全部楼层
支持语音吗?
回复

使用道具 举报

14

主题

1693

回帖

5682

积分

论坛元老

积分
5682
金钱
3975
HASS币
0
发表于 2025-10-19 21:46:01 | 显示全部楼层
这个就牛X了
回复

使用道具 举报

194

主题

2983

回帖

9706

积分

元老级技术达人

积分
9706
金钱
6514
HASS币
80
发表于 2025-10-19 23:26:31 | 显示全部楼层

这个问题问的,语音是要处理成文字的,不过是stt的任务,这个是llm意图集成
回复

使用道具 举报

194

主题

2983

回帖

9706

积分

元老级技术达人

积分
9706
金钱
6514
HASS币
80
发表于 2025-10-19 23:51:16 | 显示全部楼层
挺好用的,就是分析图片没有成功,奇怪,一会提示我上传,一会说自己不支持
回复

使用道具 举报

13

主题

125

回帖

969

积分

高级会员

积分
969
金钱
826
HASS币
20
发表于 2025-10-20 08:14:05 | 显示全部楼层
大佬威武
回复

使用道具 举报

6

主题

50

回帖

530

积分

论坛技术达人

积分
530
金钱
469
HASS币
20
 楼主| 发表于 2025-10-20 09:26:26 | 显示全部楼层
bugensui 发表于 2025-10-19 23:51
挺好用的,就是分析图片没有成功,奇怪,一会提示我上传,一会说自己不支持 ...

你确定调用的是Qwen/Qwen3-VL-235B-A22B-Instruct模型吗,我多次测试是没问题的
回复

使用道具 举报

6

主题

50

回帖

530

积分

论坛技术达人

积分
530
金钱
469
HASS币
20
 楼主| 发表于 2025-10-20 09:30:46 | 显示全部楼层
目前有个已知bug暂时无解,就是图片编辑无法实现,因为我没有公网IP,模型调用只支持输入可访问的url,看看有没有大佬有好的办法解决:
详细问题说明如下:
问题7:本地图片上传到图像编辑失败

  README文档中的问题7详细说明了图像分析模型和图像理解模型在图片上传方面的区别:

  问题核心

  图像分析模型(图像编辑)无法上传本地图片的原因:

  1. 网络访问限制:
    - 图像编辑模型(如 Qwen/Qwen-Image-Edit)需要通过 HTTP URL 访问图片
    - ModelScope 服务器在外网,无法访问 Home Assistant 的内网地址
    - 当前实现使用 internal_url 构造本地图片 URL(内网 IP 地址)
  2. 可用条件限制:
    - ✅ 只有当 Home Assistant 配置了公网可访问的 external_url 时才可用
    - ✅ 图片来源为 HTTP/HTTPS 公开链接时可用
    - ❌ 没有公网 URL 时本地图片编辑不可用

  图像理解模型可以上传图片的原因:

  图像理解模型(如 Qwen/Qwen3-VL-235B-A22B-Instruct)在对话中使用时,通过以下方式处理图片:

  1. 直接文件上传:图片直接作为附件上传给模型处理
  2. 不需要外部访问:模型直接处理上传的图片文件,不需要通过 HTTP URL 访问
  3. API 协议不同:视觉语言模型的 API 支持直接接收图片数据

  技术实现差异

  图像编辑流程:
  本地图片文件 → Home Assistant 内部 URL 转换 → HTTP URL → ModelScope 通过 HTTP 访问

  图像理解流程:
  本地图片文件 → 直接上传到模型 → 模型处理图片数据

  这就是为什么图像分析/编辑模型需要公网可访问的图片 URL,而图像理解模型可以直接处理本地上传的图片文件。

 关键技术差异

  1. 图片数据传递方式

  图像理解模型:
  - 使用 OpenAI 兼容的 Chat Completions API
  - 支持 image_url 类型,但这个 URL 只是指向图片的位置
  - 模型会下载并处理图片内容
  - 可以处理公开 URL 或客户端直接上传的图片数据

  图像编辑模型:
  - 使用专用的 Images Generations API
  - image_url 参数必须是 ModelScope 服务器能够直接访问的外部 URL
  - ModelScope 服务器会异步地从该 URL 下载图片进行编辑
  - 这是服务器到服务器的请求,不是通过客户端中转

  2. 网络访问要求

  图像理解模型:
  # ✅ 可以工作的场景
  image_url: "https://public-site.com/image.jpg"  # 公开URL
  image_url: "data:image/jpeg;base64,..."       # base64编码
  # 客户端上传的本地文件 → OpenAI库处理 → 发送给模型

  图像编辑模型:
  # ✅ 可以工作的场景
  image_url: "https://public-site.com/image.jpg"  # ModelScope能直接访问
  image_url: "https://your-home-assistant.com/image.jpg"  # 配置了external_url

  # ❌ 不能工作的场景
  image_url: "http://192.168.1.100:8123/media/local/image.jpg"  # 内网地址
  image_url: "http://homeassistant.local:8123/media/local/image.jpg"  # 本地域名

  3. 数据处理流程

  图像理解流程:
  本地图片 → OpenAI客户端处理 → 直接发送给模型API

  图像编辑流程:
  本地图片 → Home Assistant生成URL → ModelScope服务器访问该URL → 下载图片 → 编辑处理
回复

使用道具 举报

194

主题

2983

回帖

9706

积分

元老级技术达人

积分
9706
金钱
6514
HASS币
80
发表于 2025-10-20 11:05:43 | 显示全部楼层
岩风 发表于 2025-10-20 09:26
你确定调用的是Qwen/Qwen3-VL-235B-A22B-Instruct模型吗,我多次测试是没问题的

有2项我没有填写,你文档里没有提到怎么写,我就没有填写,昨天晚上注册账号,测试这些,看你文档花了1个小时,确实这个集成可用度很高,属于精品。


QQ20251020-110406.png
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Hassbian ( 晋ICP备17001384号-1 )

GMT+8, 2025-12-9 20:46 , Processed in 0.407154 second(s), 14 queries , MemCached On.

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表