AI数字人+HA开源项目AI Sphere Butler如何自定义训练管家形象

玩AI的辣条哥

简单介绍一下，详情看我之前那个帖子开源项目AI Sphere Butler打造全方位服务用户生活的AI全能管家

介绍
开源项目计划：AI Sphere Butler 打造全方位服务用户生活的AI全能管家——代号**“小粒”**（管家名称可以随意自定义）

GitHub地址：https://github.com/latiaoge/AI-Sphere-Butler

项目名称：AI Sphere Butler （创意和设计全球首创）

终极愿景：我们的目标是创造一个全方位服务于用户生活的AI全能管家——“小粒”。除了不具备物理形态外，“小粒”将提供与视频通话中真人管家几乎无异的体验，具备思考、情感交流、视觉、听觉以及模拟触觉反馈等能力，并能够在任何家庭和移动车辆的显示设备上自由呈现。其功能覆盖智能家居控制、情感陪伴、学习交流、健康管理、安全防护、个人购物、外出导航及酒店预订等多个方面。

为了实现 “小粒” 的终极愿景，我们决定将这个项目以开源的方式向全球开发者、研究者和技术爱好者开放，共同打造一个高度智能、情感化和人性化的数字人管家。我们相信，通过全球技术社区的力量和智慧，“小粒” 将成为用户生活中不可或缺的伙伴，为每个人提供更加贴近人性的陪伴与服务。



现在实现的功能都在metahuman-stream 分支上,主分支还没改造完成

感兴趣的朋友们私信我们


本次教程是训练更新男管家形象

AI生成图片

男管家形象

**一、创建AI管家形象**

1.前往创作AI视频网站，图生视频功能，参考图加提示词生成一个5秒左右的管家形象视频。

提示词如下：


脸部保持微微的笑，嘴巴始终闭合，模特站姿原地保持微微动不要侧身转动，等待拍摄视频状态。


参考图（也是AI生成)

**二、训练管家形象**

1.下载前生成视频重命名123.MP4

2.将123.MP4放入项目\metahuman-stream\wav2lip目录下

3.进入项目虚拟环境


source ~/miniconda3/bin/activate nerfstream


4.运行转换训练命令


python genavatar.py --video 123.mp4  --img_size 256



5.等待一会制作完成，检查下面两个文件夹是否有下面文件



检查脸部图片

检查身体图片



**三、替换更新管家形象**

1.将metahuman-stream\wav2lip\results\avatars\wav2lip_avatar1文件夹复制到E:\work\metahuman-stream\data\avatars下面


**四、结果测试**

最后启动项目测试效果



效果视频：

bugensui

这个项目如果能落地的前提，就是全息投影很成熟，把专业的投影仪装在家里，才会有很好的体验

玩AI的辣条哥

bugensui 发表于 2025-2-17 16:26
这个项目如果能落地的前提，就是全息投影很成熟，把专业的投影仪装在家里，才会有很好的体验 ...

"非常同意您的看法，全息投影技术的成熟确实是这个项目成功落地效果最好的因素之一。如果能将专业的全息投影仪安装在家里，确实可以带来前所未有的沉浸式体验。不过，除了全息投影之外，现有的移动显示设备如手机、手表、平板等高亮度和高清晰度屏幕也能为这个项目提供额外的价值。通过移动显示设备和便携显示设备即时访问并控制管家，这些都能极大地提升用户的便利性和互动性。每种显示方式都有其独特的优势，结合起来或许能让这个项目更加完善，带来更加丰富的用户体验。"

wdndltg

以后驾车导航是不是全能管家，可以边聊天边给我导航或者直接控制我车机

玩AI的辣条哥

wdndltg 发表于 2025-2-18 15:42
以后驾车导航是不是全能管家，可以边聊天边给我导航或者直接控制我车机 ...

真棒下一步可以试试你的建议

玩AI的辣条哥

wdndltg 发表于 2025-2-18 15:42
以后驾车导航是不是全能管家，可以边聊天边给我导航或者直接控制我车机 ...

这样吗？https://www.bilibili.com/video/B ... dc08080f76e5023b688

25989406

没看到你多模态的部分，只看到了这个虚拟形象，没啥用啊

玩AI的辣条哥

25989406 发表于 2025-3-3 14:33
没看到你多模态的部分，只看到了这个虚拟形象，没啥用啊

仔细看看这帖https://bbs.hassbian.com/thread-28556-1-1.html，你觉得没有多模态的部分，只看到了这个虚拟形象，没啥用，那就没啥用呗，我们都不用在意，无需再回复。

25989406

玩AI的辣条哥 发表于 2025-3-3 16:13
仔细看看这帖https://bbs.hassbian.com/thread-28556-1-1.html，你觉得没有多模态的部分，只看到了这个虚 ...

当然看了，ppt规划写的挺好，但文件夹都是空的，开源开了个寂寞，建议整理好了再发贴吧

玩AI的辣条哥

25989406 发表于 2025-3-3 16:59
当然看了，ppt规划写的挺好，但文件夹都是空的，开源开了个寂寞，建议整理好了再发贴吧 ...

你有仔细读读那个README文件吗？没看仔细就急着来这儿刷存在感的行为，可真是让人有点哭笑不得呢。开源项目嘛，本来就是一个逐步完善的过程，不是一上来就得完美无缺的。与其在这儿指手画脚，不如耐心等一等，或者干脆动手帮忙完善一下，岂不是更有建设性？再说了我对你的建议毫无兴趣！无需再回复。