Desarrollamos y producimos aceleradores de inferencia con VPUs Intel Movidius (MyriadX) en placas PCIe y tenemos la mayor densidad de ellas en 1 ranura PCIe. Entonces, estamos hablando de esta placa blade, que contiene 8 placas hijas con 8 Movidius en cada una:
Tarjeta blade ComBox x64 Movidius PCIe para inferencia de redes neuronales
64 Movidius en una placa puede darnos hasta 2880 FPS en CNN (usamos SSD Mobilenet v.2). En algunas plataformas (por ejemplo, Supermicro 1029GQ-TRT) puede utilizar 4 tarjetas PCIe en 1U. Es capaz de obtener hasta 10000 FPS por cada servidor de procesamiento para inferencia.
Esta solución puede ser interesante para DC y proveedores de servicios en la nube, que tienen un archivo de video en la nube y todos los datos almacenados deben procesarse. En nuestros casos, tenemos archivos de video de buses y deberíamos iniciar la inferencia a pedido en DC en archivos existentes.
Lee mas…