『瀚思彼岸』» 智能家居技术论坛

 找回密码
 立即注册
楼主: duanyudan123

[技术探讨] 本地语音实测来围观了,友情提示提前准备GPU卡(已加装3060)

[复制链接]

12

主题

111

帖子

747

积分

高级会员

Rank: 4

积分
747
金钱
636
HASS币
0
 楼主| 发表于 2024-3-28 22:11:20 | 显示全部楼层
本帖最后由 duanyudan123 于 2024-3-28 22:12 编辑
demacia 发表于 2024-3-28 16:16
楼主请教下,唤醒词在整套流程是什么定位,我一直没搞明白,点assist入口后,或者点击语音直接说“打开客厅 ...

唤醒的实现就是某个麦克风一直处于待命状态。生成唤醒词的模型时候会排除掉所有不是这个词汇的对象。只保留这个词汇的所有近似对象。也就是一个唤醒词的模型。活动的麦克风一旦检测音频与生成的唤醒词模型接近就会唤醒assist开始拾取接下来的语音流进行转写。HA收到转写文字后会匹配意图,匹配意图成功然后调用服务操作设备就是这样。你点对话框的麦克风图标实际就是你点击操作唤醒了assist,两者没有区别。唤醒词就是代替你点击的那一下就是这样。
回复

使用道具 举报

6

主题

257

帖子

1453

积分

金牌会员

Rank: 6Rank: 6

积分
1453
金钱
1196
HASS币
0
发表于 2024-3-28 22:14:46 | 显示全部楼层
duanyudan123 发表于 2024-3-28 21:54
那必须用小模型啊反应快的多。数字的441几块钱一个。还有就是国内就没有训练个中文唤醒词嘛。喊外语唤醒 ...

可以配合离线语音模块用,用离线语音模块触发唤醒模式
回复

使用道具 举报

6

主题

257

帖子

1453

积分

金牌会员

Rank: 6Rank: 6

积分
1453
金钱
1196
HASS币
0
发表于 2024-3-28 22:16:45 | 显示全部楼层
duanyudan123 发表于 2024-3-28 21:54
那必须用小模型啊反应快的多。数字的441几块钱一个。还有就是国内就没有训练个中文唤醒词嘛。喊外语唤醒 ...

441接esp32的哪几个gpio?
回复

使用道具 举报

25

主题

224

帖子

1032

积分

金牌会员

007潜水了

Rank: 6Rank: 6

积分
1032
金钱
808
HASS币
0
发表于 2024-3-28 22:19:02 | 显示全部楼层
duanyudan123 发表于 2024-3-28 22:11
唤醒的实现就是某个麦克风一直处于待命状态。生成唤醒词的模型时候会排除掉所有不是这个词汇的对象。只保 ...

这个我明白,我想表达的是你的麦克风为什么能随时待命,还和HA关联,可能问的比较白痴
回复

使用道具 举报

12

主题

111

帖子

747

积分

高级会员

Rank: 4

积分
747
金钱
636
HASS币
0
 楼主| 发表于 2024-3-28 22:42:35 | 显示全部楼层
silang521 发表于 2024-3-28 22:14
可以配合离线语音模块用,用离线语音模块触发唤醒模式

也是呢。我本来是实验把触摸屏/唤醒/语音转写都做到触摸屏里呢。结果要系统自带意图少的要死。转写奇葩。实验完就放弃了。老外在esphome贡献的微唤醒词项目真的很好项目,工作在esp模块上但是还只是雏形同时也不支持中文。再等等把。等待有实力的玩家贡献。
回复

使用道具 举报

12

主题

111

帖子

747

积分

高级会员

Rank: 4

积分
747
金钱
636
HASS币
0
 楼主| 发表于 2024-3-28 22:45:55 | 显示全部楼层
本帖最后由 duanyudan123 于 2024-3-28 22:51 编辑
demacia 发表于 2024-3-28 22:19
这个我明白,我想表达的是你的麦克风为什么能随时待命,还和HA关联,可能问的比较白痴 ...

esphome的原生api的功劳可以让esp的外设随时被HA调用。esphome的原生api可以保证麦克风时刻处于待命状态,openwakeword时刻等待匹配唤醒词替你叫醒assist。
回复

使用道具 举报

12

主题

111

帖子

747

积分

高级会员

Rank: 4

积分
747
金钱
636
HASS币
0
 楼主| 发表于 2024-3-28 22:54:43 | 显示全部楼层
本帖最后由 duanyudan123 于 2024-3-28 22:56 编辑
silang521 发表于 2024-3-28 22:16
441接esp32的哪几个gpio?

sck--GPIO14
sd--GPIO32
ws--GPIO15
l/r--GND
vdd--3.3esp32应该两对i2s,应该支持映射到其它gpio没有查文档。买的时候卖家给了一份他们的文档就直接照抄了。
回复

使用道具 举报

6

主题

257

帖子

1453

积分

金牌会员

Rank: 6Rank: 6

积分
1453
金钱
1196
HASS币
0
发表于 2024-3-28 23:00:27 | 显示全部楼层
duanyudan123 发表于 2024-3-28 22:54
sck--GPIO14
sd--GPIO32
ws--GPIO15

esphome代码里面是不是还要定义这几个接口?我看官方给的是这个
i2s_audio:
  - id: i2s_mic
    i2s_lrclk_pin: GPIO25
    i2s_bclk_pin: GPIO26
  - id: i2s_spk
    i2s_lrclk_pin: GPIO12
    i2s_bclk_pin: GPIO27

microphone:
  platform: i2s_audio
  id: mic
  adc_type: external
  i2s_audio_id: i2s_mic
  i2s_din_pin: GPIO34
  pdm: false

speaker:
  platform: i2s_audio
  id: spk
  dac_type: external
  i2s_audio_id: i2s_spk
  i2s_dout_pin: GPIO33
回复

使用道具 举报

12

主题

111

帖子

747

积分

高级会员

Rank: 4

积分
747
金钱
636
HASS币
0
 楼主| 发表于 2024-3-28 23:07:55 | 显示全部楼层
本帖最后由 duanyudan123 于 2024-3-28 23:12 编辑
silang521 发表于 2024-3-28 23:00
esphome代码里面是不是还要定义这几个接口?我看官方给的是这个
i2s_audio:
  - id: i2s_mic

voice_assistant:
  microphone: adc_mic
  id: va
  noise_suppression_level: 2
  auto_gain: 31dBFS
  volume_multiplier: 4.0
  use_wake_word: false
  
binary_sensor:
  - platform: status
    name: API Connection
    id: api_connection
    filters:
      - delayed_on: 1s
    on_press:
      - if:
          condition:
            switch.is_on: use_wake_word
          then:
            - voice_assistant.start_continuous:
    on_release:
      - if:
          condition:
            switch.is_on: use_wake_word
          then:
            - voice_assistant.stop:


switch:
  - platform: template
    name: Use wake word
    id: use_wake_word
    optimistic: true
    restore_mode: RESTORE_DEFAULT_ON
    entity_category: config
    on_turn_on:
      - lambda: id(va).set_use_wake_word(true);
      - if:
          condition:
            not:
              - voice_assistant.is_running
          then:
            - voice_assistant.start_continuous
   
    on_turn_off:
      - voice_assistant.stop
      - lambda: id(va).set_use_wake_word(false);
开关是打开关闭唤醒词功能的。我没有i2s音频模块没有测试音频反馈。



i2s_audio:
  i2s_lrclk_pin: GPIO15 #ws
  i2s_bclk_pin: GPIO14 #clk
少贴的i2s总线部分




回复

使用道具 举报

6

主题

257

帖子

1453

积分

金牌会员

Rank: 6Rank: 6

积分
1453
金钱
1196
HASS币
0
发表于 2024-3-29 07:29:54 | 显示全部楼层
duanyudan123 发表于 2024-3-28 23:07
voice_assistant:
  microphone: adc_mic
  id: va

也就是说普通的6027咪头麦克风是不能用的对吧,我有一堆6027就是没买数字的
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Hassbian

GMT+8, 2024-11-13 14:53 , Processed in 0.350514 second(s), 30 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表