Hace algún tiempo buscábamos software y dispositivos para la inferencia de redes neuronales. Fue interesante para nosotros encontrar la forma más barata y la solución de software única para inferencia en la computación perimetral y también en DC. Encontramos el kit de herramientas Intel OpenVINO y una de las ventajas fue la posibilidad de ejecutar inferencias en todos los dispositivos Intel (CPU, iGPU como Iris Plus, FPGA y otros).
Uno de los dispositivos que usamos fue Intel Movidius (Intel NCS2) con chip MyriadX en su interior. Es una simple memoria USB pequeña con VPU en su interior. Todo el mundo puede utilizar este acelerador en cualquier PC.
Intel NCS2
Para el edge computing, algunos proveedores tienen sus propias soluciones con 1 o 2 MyriadX incorporados (M.2 o miniPCI). Para DC encontramos placas con 4/8 MyriadX, pero es muy caro usar esta solución en Enterprise, porque necesita una mayor densidad de VPU.
Soluciones AAEON con Movidius para informática de punta
El año pasado decidimos crear nuestro propio acelerador para inferencia de redes neuronales con VPU MyriadX en su interior. Fue un intento de obtener 64 VPU en una placa PCIe. Vimos el tablero de la siguiente manera:
Tablero ComBox x64 Movidius Blade Tablero ComBox x64 Movidius Blade
Buscábamos:
Hasta 64 Movidius en cada placa. Disponibilidad para configurar varias cantidades de Movidius en cada placa blade. Consumo mínimo de energía. Soporte de Framework y posibilidad de usar Intel OpenVINO después de la optimización de modelos. Solución de servidor PCIe.
Primeras muestras de producción:
Placa ComBox x64 Movidius Blade x8 hojas Movidius para placa ComBox x64 Movidius
Las primeras pruebas se realizaron con la plataforma Supermicro SYS-1029TRT. Esta plataforma es de 1U y tiene 4 ranuras PCIe de tamaño completo y es excelente como servidor de inferencia. Nuestro tablero en 1 ranura:
Supermicro SYS-1029TRT con 1 placa ComBox x64 Movidius Blade
En la imagen de arriba, la placa tiene 4 palas en el interior y 32 Movidius. Podemos ver 4 luces de 8.
Producto final:
Tarjeta ComBox x64 Movidius Blade
Esta solución es muy interesante para nosotros y nuestros clientes porque:
La placa tiene la densidad de VPU más alta del mundo.En los modelos de inferencia de CNN podemos obtener hasta 2880 FPS por placa.El consumo de energía de la placa es inferior a 120 vatios.Puede usar diferentes cantidades de Movidius en cada placa e instalar 8, 16, 24..64 VPU agregando blades. Se encuentran disponibles complementos para múltiples dispositivos o HDDL y puede usar la placa blade ComBox x64 Movidius con otros dispositivos en el sistema como CPU, iGPU, FPGA y otros. a 3 años.
Próximos pasos:
Blades adicionales con llave hardware para protección de redes neuronales. Disponibilidad para producir placas con configuración de alta densidad con chips alternativos (Intel Keembay o Huawei Ascend 310). Registro de servicios en la nube para dispositivos de procesamiento de alquiler.
Descargue la especificación del producto: https://combox.io/upload/combox_x64_movidius_blade_board.pdf