本地语音实测来围观了，友情提示提前准备GPU卡

duanyudan123

demacia 发表于 2024-3-28 16:16
楼主请教下，唤醒词在整套流程是什么定位，我一直没搞明白，点assist入口后，或者点击语音直接说“打开客厅 ...

唤醒的实现就是某个麦克风一直处于待命状态。生成唤醒词的模型时候会排除掉所有不是这个词汇的对象。只保留这个词汇的所有近似对象。也就是一个唤醒词的模型。活动的麦克风一旦检测音频与生成的唤醒词模型接近就会唤醒assist开始拾取接下来的语音流进行转写。HA收到转写文字后会匹配意图，匹配意图成功然后调用服务操作设备就是这样。你点对话框的麦克风图标实际就是你点击操作唤醒了assist，两者没有区别。唤醒词就是代替你点击的那一下就是这样。

silang521

duanyudan123 发表于 2024-3-28 21:54
那必须用小模型啊反应快的多。数字的441几块钱一个。还有就是国内就没有训练个中文唤醒词嘛。喊外语唤醒 ...

可以配合离线语音模块用，用离线语音模块触发唤醒模式

silang521

duanyudan123 发表于 2024-3-28 21:54
那必须用小模型啊反应快的多。数字的441几块钱一个。还有就是国内就没有训练个中文唤醒词嘛。喊外语唤醒 ...

441接esp32的哪几个gpio？

demacia

duanyudan123 发表于 2024-3-28 22:11
唤醒的实现就是某个麦克风一直处于待命状态。生成唤醒词的模型时候会排除掉所有不是这个词汇的对象。只保 ...

这个我明白，我想表达的是你的麦克风为什么能随时待命，还和HA关联，可能问的比较白痴

duanyudan123

silang521 发表于 2024-3-28 22:14
可以配合离线语音模块用，用离线语音模块触发唤醒模式

也是呢。我本来是实验把触摸屏/唤醒/语音转写都做到触摸屏里呢。结果要系统自带意图少的要死。转写奇葩。实验完就放弃了。老外在esphome贡献的微唤醒词项目真的很好项目，工作在esp模块上但是还只是雏形同时也不支持中文。再等等把。等待有实力的玩家贡献。

duanyudan123

demacia 发表于 2024-3-28 22:19
这个我明白，我想表达的是你的麦克风为什么能随时待命，还和HA关联，可能问的比较白痴 ...

esphome的原生api的功劳可以让esp的外设随时被HA调用。esphome的原生api可以保证麦克风时刻处于待命状态，openwakeword时刻等待匹配唤醒词替你叫醒assist。

duanyudan123

silang521 发表于 2024-3-28 22:16
441接esp32的哪几个gpio？

sck--GPIO14
sd--GPIO32
ws--GPIO15
l/r--GND
vdd--3.3esp32应该两对i2s，应该支持映射到其它gpio没有查文档。买的时候卖家给了一份他们的文档就直接照抄了。

silang521

duanyudan123 发表于 2024-3-28 22:54
sck--GPIO14
sd--GPIO32
ws--GPIO15

esphome代码里面是不是还要定义这几个接口？我看官方给的是这个
i2s_audio:
  - id: i2s_mic
    i2s_lrclk_pin: GPIO25
    i2s_bclk_pin: GPIO26
  - id: i2s_spk
    i2s_lrclk_pin: GPIO12
    i2s_bclk_pin: GPIO27

microphone:
  platform: i2s_audio
  id: mic
  adc_type: external
  i2s_audio_id: i2s_mic
  i2s_din_pin: GPIO34
  pdm: false

speaker:
  platform: i2s_audio
  id: spk
  dac_type: external
  i2s_audio_id: i2s_spk
  i2s_dout_pin: GPIO33

duanyudan123

silang521 发表于 2024-3-28 23:00
esphome代码里面是不是还要定义这几个接口？我看官方给的是这个
i2s_audio:
  - id: i2s_mic

voice_assistant:
  microphone: adc_mic
  id: va
  noise_suppression_level: 2
  auto_gain: 31dBFS
  volume_multiplier: 4.0
  use_wake_word: false
  
binary_sensor:
  - platform: status
    name: API Connection
    id: api_connection
    filters:
      - delayed_on: 1s
    on_press:
      - if:
          condition:
            switch.is_on: use_wake_word
          then:
            - voice_assistant.start_continuous:
    on_release:
      - if:
          condition:
            switch.is_on: use_wake_word
          then:
            - voice_assistant.stop:


switch:
  - platform: template
    name: Use wake word
    id: use_wake_word
    optimistic: true
    restore_mode: RESTORE_DEFAULT_ON
    entity_category: config
    on_turn_on:
      - lambda: id(va).set_use_wake_word(true);
      - if:
          condition:
            not:
              - voice_assistant.is_running
          then:
            - voice_assistant.start_continuous
   
    on_turn_off:
      - voice_assistant.stop
      - lambda: id(va).set_use_wake_word(false);
开关是打开关闭唤醒词功能的。我没有i2s音频模块没有测试音频反馈。



i2s_audio:
  i2s_lrclk_pin: GPIO15 #ws
  i2s_bclk_pin: GPIO14 #clk
少贴的i2s总线部分

silang521

duanyudan123 发表于 2024-3-28 23:07
voice_assistant:
  microphone: adc_mic
  id: va

也就是说普通的6027咪头麦克风是不能用的对吧，我有一堆6027就是没买数字的