大炮打蚊子：ESXi直通独显给Frigate硬件加速

mrlaogui

firewater 发表于 2024-8-25 00:35
直接买一个TPU，不折腾

联想这个机器会挑硬件，当时看Frigate文档了解一些信息怕兼容有问题就放弃这个硬件方案了

firewater

mrlaogui 发表于 2024-8-25 22:43
联想这个机器会挑硬件，当时看Frigate文档了解一些信息怕兼容有问题就放弃这个硬件方案了 ...

不差钱就选USB TPU,那个啥配置都支持，省钱的就要考虑是M.2还是mini pic

firewater

隔壁的王叔叔 发表于 2024-8-25 11:32
这货如今很容易买了么？

现在比疫情的时候好买多了，不过价钱上去了就没下来过，除了贵，没别的毛病

mrlaogui

firewater 发表于 2024-8-25 23:18
不差钱就选USB TPU,那个啥配置都支持，省钱的就要考虑是M.2还是mini pic

USB版可以在不直通的前提下正常调用吗？就像Sonoff Zigbee 3.0 USB Dongle Plus那样？显卡方案当时考虑是给其他应用调用，如 Jellyfin

fuhao3503

USB TPU的TOPS放到现在来说，感觉真是有点鸡肋了。
这东西就像当年386/486时代的解霸卡或者更早的汉字硬卡，纯粹是基于老式CPU没有特定的功能，所以这种特定硬卡在它们的专门赛道上发挥出色。
但等后续586 MMX出现后，CPU内部集成了相应的功能，就不再需要特定硬卡来节省系统资源/算力。
再往后发展，CPU的性能增速明显快于特定硬卡，后者就逐渐被淘汰了。

同样的，USB TPU这些硬件现在唯一的优势，也只能说是出现的较早，解决方案相对较多。
但当更多地的制造商直接在设备中采用高TOPS的CPU，同时也有相应的软件解决方案的话，USB TPU也就没有存在的必要了。
我最初知道USB TPU，就是因为威联通的NAS可以支持，但因为价格太贵，所以一直没有下手。
但假设（只是假设），威联通在今后采用了AMD已经推出的AI CPU，并支持甚至优化了相应的APP，那我还有什么必要额外去加外置硬件来实现AI 加速呢？

firewater

fuhao3503 发表于 2024-8-27 10:57
USB TPU的TOPS放到现在来说，感觉真是有点鸡肋了。
这东西就像当年386/486时代的解霸卡或者更早的汉字硬卡 ...

我觉得usb tpu还是有市场和使用场景的，我们装HA的Box,大部分都是比较老的CPU，再有5年可能能用上整合了AI的CPU

不过因为疫情，这东西的价格有点太虚高。要不要使用就看口袋的深度了。

guitengyue

我另外有一个方案是，esxi6.7 直通核显UHD630给ubuntu （初衷是ubuntu中核显调用可以更加零活，顺便承担了jellyfin的解码），然后ubuntu中docker跑frigate，毫秒和延时都还不错；但是最终还是没用下去，感觉这货去识别人体还不如安装一个毫米波更加方便

zrt0603

mrlaogui 发表于 2024-8-25 22:27
感谢分享方案。有台小主机的是N100，更改探测器设置后(参数默认)，CPU占用还是高（三个摄像头，串流分辨 ...

你这cpu哪里搞了，OV的CPU才11%，不要在这里看，直接在ssh后台用top命令看cpuload
,如果CPUload低于CPU核心数，说明绰绰有余

mrlaogui

guitengyue 发表于 2024-9-10 10:53
我另外有一个方案是，esxi6.7 直通核显UHD630给ubuntu （初衷是ubuntu中核显调用可以更加零活，顺便承担了j ...

同个方案，但不是用作检测联动，纯粹用来做一个无人在家的消息推送。如果单独给HA，那就有些浪费，直通给Ubuntu，其他docker也可以调用。目前使用下来发现一个问题：N卡偶尔会掉驱动。重启系统无效，只能重装驱动。暂时没有找到原因

mrlaogui

zrt0603 发表于 2024-9-10 14:43
你这cpu哪里搞了，OV的CPU才11%，不要在这里看，直接在ssh后台用top命令看cpuload
,如果CPUload低于CPU核 ...

是从ESXi的主机页面看到CPU占用100%，如果关掉frigate的docker，那么就会下降接近一半的样子。现在N100顶着也能跑，看看后面怎么样。