实现你家里的贾维斯Llama.cpp➕Miloco➕HA，低配N卡和CPU推理部署经验分享

Andychao2025

小米刚发布不久的小米自研的多模态模型，用于图像的本地推理MiMo-VL-7B-GGUF。并开源了一个能与大模型对话并能识别小米摄像头图像的智能家居项目Xiaomi Miloco。
经过多天来的踩坑，从tesla P4 8G 显卡到3060 12G，在docker运行小米开源miloco_ai_engine各种报错死活都加载不了本地模型。最后发现小米量化模型时是用llama.cpp，所以就有了本次教程。

原贴地址：https://club.fnnas.com/forum.php?mod=viewthread&tid=47355

                               
登录/注册后可看大图

c1pher_小愚

这个在使用上跟 在ha里调用qwen-vl识别摄像头，有哪些不同？

Andychao2025

c1pher_小愚 发表于 2025-12-15 17:17
这个在使用上跟 在ha里调用qwen-vl识别摄像头，有哪些不同？

这个是小米自研专门针对智能家居的视觉开源项目，对大模型的工具调用比较友好。

nuaawmy

mac mini4 16G内存的不知有没有方法可以使用