本帖最后由 雪晴科技HTH 于 2026-7-12 22:51 编辑
隔空智控家
无接触 · 智控全屋
抬手之间 · 全屋响应
躺在沙发上懒得找遥控器，手里拎着菜不方便掏手机，或者——只是单纯想体验一把"科幻电影式"的智能生活。这是「隔空智控家」想解决的事。抬手之间，全屋响应。 基于 MediaPipe 骨骼追踪与轻量化神经网络，配合 Home Assistant 深度集成，让每一次挥手都成为改变生活的力量。
核心亮点：MediaPipe 骨骼追踪 + 自定义手势训练 + Home Assistant 原生集成，完全离线运行，数据不上云。
智能家居的"最后一米"
智能家居发展了这么多年，大部分人的日常控制方式依然离不开这三样：
- 手机 APP —— 解锁→找应用→等加载→点开关，少说四五步
- 语音助手 —— "你好 XX，关灯"，家人睡觉时总有点尴尬
- 遥控器 —— 永远在"上次用完随手放"的地方消失
说到底，最自然的交互应该是不需要学习、不需要介质、不用过脑子的。就像你跟人打招呼一样——抬手、挥动，对方就懂了。
大屏实时交互：指哪打哪
启动「隔空智控家」，主控大屏左侧显示摄像头画面，叠加了蓝色的手部骨骼关键点和绿色连接线——MediaPipe 实时捕捉 21 个手部关键点。右侧信息面板展示当前识别的手势编号和置信度。下方日志区域记录每一次系统唤醒、动作执行和状态变化，与 Home Assistant 中控实时联动。
主控大屏实时展示手部骨骼追踪，系统识别手势"0"，置信度 99%
识别手势"1"，置信度 87%。日志记录了唤醒→执行开关→超时待机的完整流程
从截图可以看到，手势识别的置信度因手势复杂度而异——简单手势如"0"可达 99%，复杂一些的如"1"为 87%。系统支持同时识别多个手势，日志中清晰记录了唤醒→识别手势"2"执行 turn_on → 识别手势"3"执行 press → 超时待机的完整链路。
自定义训练：你的手势你说了算
传统手势控制最让人头疼的就是——手势库是焊死的。
「隔空智控家」的"快速训练"模块把这个限制拆掉了。进入训练界面，左侧摄像头画面配有"手部检测"指示灯，右侧操作面板可以新建手势类别，并设置神经网络的迭代轮数（如 20 轮）和批大小（如 32）。
自定义训练模块。可新建手势类别，设置迭代轮数（20）和批大小（32）
样本录入中。手势"1"已录入 86 帧，手势"2"已录入 100 帧
训练表现：从数据看效果
采集完成后，系统后台调用 Keras 神经网络开始训练。从训练日志可以看到，系统首先对原始数据做了清洗——过滤了 228 条脏数据，最终加载 373 个有效样本，按 8:2 划分为训练集和验证集。第 1 轮训练精度 0.5839，到第 4 轮已提升至 0.6711。
系统自动过滤脏数据，第 1 轮精度 0.5839，第 4 轮提升至 0.6711
经过完整 20 轮迭代后，从第 14 轮到第 20 轮的输出可以看到，精度持续攀升，最终在训练集和验证集上都达到了 1.0000。训练完成后系统提示"模型训练并保存完毕，新权重已动态生效"，不需要重启就可以直接用。
第 20 轮训练完成，精度 1.0000，新权重已动态生效
模型管理与推理验证
训练好的模型进入"模型管理中心"。当前活动模型保存于 2026-07-12，大小仅 104.1 KB，包含类别 1、2。下方列出了历史模型备份，支持多版本管理。最下方的"模型推理验证"模块可以实时看到当前手势的识别结果和置信度。
模型管理中心：当前模型 104.1 KB，实时推理验证手势"1"，置信度 87%
深度集成 Home Assistant
作为核心联动枢纽，「隔空智控家」跟 Home Assistant 的集成做得比较实在。在联动配置界面中，你可以：
- 筛选 HA 实体 —— 输入标签快速过滤设备列表
- 绑定手势动作 —— 手势"1"→turn_off，手势"2"→turn_on
- 多设备联动 —— 一个手势同时控制灯、空调、插座
无代码绑定。手势"1"→turn_off，手势"2"→turn_on，可勾选多个实体
防误触方面，系统提供了三个可调参数：唤醒持续时长（手势需保持多久才激活，默认 1.0 秒）、激活窗口时长（激活后多久内允许执行控制，默认 5.0 秒）、控制停留时长（目标手势需保持多久才执行动作，默认 1.0 秒）。三个时间窗口配合下来，基本杜绝了"路过摄像头灯突然亮了"的尴尬。
防误触设置：唤醒持续 1.0s、激活窗口 5.0s、控制停留 1.0s
开箱即用：双击就能跑
项目已经打包好了 Windows 可执行文件（EXE），不需要装 Python、不需要配环境，下载解压就能用：
- 下载 GestureHA.zip
- 解压到任意目录（路径不要带中文和空格）
- 双击 GestureHA.exe，控制台自动启动
- 浏览器打开 http://localhost:5000 进入控制面板
硬件方面，一台带摄像头的 Windows 电脑就行。所有推理在本地完成，视频数据不会离开你的设备，也不需要联网。
如果你习惯用 Python 环境，也可以克隆仓库、安装依赖后直接 python main.py 运行，前后端自动启动。
隔空智控家 —— 让家，更懂你的手势。
无需接触，想控就控。抬手之间，就是全屋响应。
?? 点击下载 EXE 直接体验
| 
发表于 2026-7-12 22:51:06
