通过小智服务端实现常用命令的快速处理

crocodile19001

基于xiaozhi-esp32-server这个项目，之前尝试过通过MCP的方式来操控HA，但是由于模型质量、提示词质量、HA提供的MCP提示词质量等原因。

调用MCP工具操控的方式过于不稳定，无论怎么在提示词中规定都会出现不获取设备列表，传递错误的MCP参数，甚至连续数次调用失败遗憾离场。
也尝试过将设备列表直接写入上下文，但调用MCP工具的失败率高、响应速度慢都让该方案无法像小爱同学一样进行实际落地。
受到岩风大佬的yanfeng_ai_task启发，选择了使用配置模板提取信息进行快速处理，处理失败则填充上下文交由大模型兜底的方案。
考虑过在服务端中直接调用HA对话代理的方案，但该方案会导致设备本身的MCP工具丢失。
综合下来最后决定了为xiaozhi-esp32-server增加了插件系统，通过插件在大模型处理前进行预处理，同时不再使用HA提供的MCP而是在插件中定义MCP，配合自定义提示词来提高操作精准度。
虽然相对的配置过程较为繁琐，但实际体验效果确实也有大幅度的提升。