天猫精灵自制中控屏+科大讯飞声学板，VIP歌曲随意播放

ipup

2024/3/16 星期六 第一次更新
关于小爱和天猫接入HA的尝试
第一种：小爱接入miio auto插件，可以通过conversation拿到对话记录，然后发送tts。
             优点：简单，搭配Nodered可以实现各种逻辑。
             缺点：原理是轮询，频率不能太高，否则可能直接屏蔽IP；无法立即阻止小爱原本的语音反馈。因为等你刷新到最近对话的时候，小爱自己已经响应了。这点事最烦的，可以看到网上实现的都会有这种情况，比如接入GPT的，先会听到小爱说几个字，然后中断，才是自己TTS给小爱的响应。
针对这个问题也尝试过解决，比如以很高的频率（0.5秒一次）一直调用小爱的暂停播放，如果获取到新对话了，就不调用。这个发现是可行的，但是这么一来每天不知道要调用多少次云端接口。太不稳定了。放弃。
             另外，用小爱这个原理的有一个github开源项目，xiaogpt，可以试试，可以很快接入gpt。
第二种：刷固件拦截。
            之前专门买了绿板（还是黑板）来刷了，成功拦截到了，但是这个老固件一直不能升级，总感觉识别率不行。据说后来root密码也无法拿到了，ssh也封掉了，分区也读不了了。各种限制，也不是长久之计。但是这种理论上最完美。
第三种：自定义技能。这种方式理论上最稳定，毕竟是官方支持的。但是限制太多。
            小爱的自定义技能，是不能没有入口词的。也就是你喊了小爱同学，还要喊打开（技能名称），进入技能才可以进入到技能，把ASR拿到。但是有一个叫意图唤醒的，比如“请小冰给我讲个故事”，他就可以进入叫小冰的技能。所有之前看了有大神把技能名设置为帮我，那就可以直接说“请帮我打开电视”，进入到自己技能了。但是等我创建的时候发现，小爱的技能名即使不发布，也不可以重复，试了很多个好点的能使意图唤醒读的通的名称都被占用了。而且每句话都要以请帮我，让小冰，这种类似的开头，也挺不灵活的，放弃。
            天猫精灵自定义技能。这个不得不夸，天猫的自定义技能可以不要唤醒词，也就是喊天猫精灵，只要命中意图就可以直接把命令转发给自己的接口。而不需要喊，打开“技能名”才进入。我目前就用的这种方式。具体实现后面放上nodered的流程。另外也弄过一个带屏幕的技能，是用的web assembly，也挺有趣。但是大坑来了，在语音配置里有一个叫实体的东西，比如你说播放“歌曲名”，这个歌曲名就是一个实体，以前天猫的实体有一个叫sys.any的，可以匹配任意字符串。现在没了。意味着，播放“歌曲名”，你得先在后台把所有歌曲添加好。他有接口可以动态更新。但这就让不确定的内容无法命中技能了。但是控制设备是完全够用的。而且非常稳定，识别率非常高。



第四种：通过第三方平台如巴法云，虚拟设备来接入。这个以前用过点灯科技的，有更好的就没尝试了。

关于中控屏的一些观点
传统的中控屏都设计在门口，我觉得这样失去的该有的应用场景。除了进出门能看一下，屏幕上的信息、按钮在家时由于要跑去门口也不会用到。所以应该放在客厅中央能看到的地方，比如餐边柜。之前做了一版，准备把常用按钮放进去，后来发现不适用，因为触屏按钮没反馈，不如语音、实体开关好用。根据家人反馈，改成了中间显示时间，可以随时看到几点。播放音乐的时候弹出音乐界面，暂停一分钟后返回时间界面。此界面上还有一些总要的信息，如功率、电流（秒级更新，可以观察某个电器打开的耗电量）、室内温湿度、电费等，一部分从自己写的服务获取，一部分从HA获取。这些在后续分开记叙。
原理：这个界面其实是一个H5页面，经过测试，天猫的浏览器支持大部分H5特性，其中最关键的是全屏、WEBSOCKET。而且打开后，不会受其他指令影响退出程序，只要一直开着就好，就算是屏保了，依然能播放和执行JS脚本。
下次更新这部分源码。

V10这个现在大概400多元，网上有root服务。采用H5已经可以实现任意功能了，没必要root。h5里通过websocket和服务器保持连接，可以随时接收指令。也就实现了一切。比如tts，可以从服务器下发一个音频url，接收到就播放即可。理论上只要有浏览器的带屏音箱都能直接打开运行。
如果是无屏音箱想播放歌曲怎么办，那还是只有小爱dlna方便一些了。用自定义技能都是要提前把音频传上去才可以的，不管是天猫还是小米。

关于VIP歌曲能否破解
网上有很多歌曲解析的接口，我免费收费的都试过，目前VIP歌曲是没法破解的，就算能都只是偶尔。即使返回了一个mp3，你一播放，内容是喊你去充值VIP。落雪音乐，66音源这些JS加密了也利用不到而且也容易被封。所以终极解决办法就是下载所有VIP歌曲。非VIP歌曲从网易和酷我获取。下载可以用酷我破解版。下载完所有你叫得出名的歌手的所有歌曲，全部用无损也就200多GB。歌词、音乐封面可以去网易酷我获取，也可以自己用音乐元信息软件抓取保存了。

-------------------------原帖-----------------------------------------
潜水多年，学习多年。今天分享下这些年踩过无数坑后，实现的自己比较满意的各种方案。有很多内容，此次先说天猫精灵的事。天猫、小度、小爱都用过很多款，最终选择了天猫精灵V10作为家中语音C位。原因：1、天猫识别更精准，2、V10颜值高。

智能音箱接入HA的探索（全部成功实现过，但缺点明显）
1、小爱。用miio auto，Nodered，刷机拦截，自定义技能。
2、天猫：自定义技能。

暂时懒得打了，目前实现的效果大致是：开窗器、窗帘、灯光、电脑、机顶盒、功放、投影、洗衣机、管线机、各种传感器，能接入都接入了HA。
联动比较实用的效果：遥控器或者语音说看电视，投影开+机顶盒开+功放开+灯光调整+窗帘调整。按暂停，沙发上灯微亮，播放又熄灭。
存在检测：还是用的人体存在传感器，两个吸顶安装+门磁、猫眼PIR，在nodered中搞一套逻辑，基本可以满足。比蓝牙、摄像头、ping检测的靠谱。

先上视频，后续再更新了。

cjnt007

期待楼主分享核心内容

a_dongde

期待楼主核心功能，科大讯飞的语音识别+VIP歌曲随意播放

wrj1106

折腾, 牛
折腾得明白, 大牛
折腾完了无私分享, 超级大牛

yaojogd

留个脚印

hnb123

或者我们是不是可以建一个歌曲库

ipup

hnb123 发表于 2024-3-16 18:55
或者我们是不是可以建一个歌曲库

对的，，我已经建了。200多G，非常好用，全无损。但是这不敢网络公开

jimgo

这个厉害，我看得都累

隔壁的王叔叔

折腾, 牛
折腾得明白, 大牛
折腾完了无私分享, 超级大牛

fkxldn

留个脚印