Necesitamos una solución rentable para la inferencia de redes neuronales. Por supuesto, podemos usar GPU como los servidores de CPU Tesla T4 o Xeon, pero estas soluciones serán demasiado caras. Una forma alternativa es usar CPU Core i5 / i7 de alta densidad. Desarrollamos nuestra propia solución para inferencia con 8 Intel NUC dentro de un servidor de 1U. Este servidor tiene 8 CPU Core i5 y 8 GPU integradas Iris Plus 655 en su interior. En la primera versión utilizamos Intel NUC8i5BEK. En la inferencia de CNN (SSD Mobilenet v.2) obtuvimos 320 FPS de cada NUC y 2560 FPS del servidor.
Los pasos de implementación son:
Preparación del conjunto de datos Anotación del conjunto de datos en Intel CVAT Modelo de enseñanza en el servidor GPU en Tensorflow u otro marco Modelo de conversión en el optimizador Intel OpenVINO Inferencia en iGPU dentro del servidor ComBox NUC con el kit de herramientas Intel OpenVINO
Muchos pasos incluyen tecnologías Intel porque nos ayudan a optimizarlas. Por ejemplo, una de las principales ventajas del kit de herramientas OpenVINO es la capacidad de utilizar el mismo modelo con todos los dispositivos Intel, por ejemplo, CPU, iGPU, VPU, FPGA, etc.
Veamos nuestro servidor ComBox NUC:
Servidor ComBox NUC para inferencia
En este caso, tiene 8 módulos informáticos en un servidor de 1U y puede utilizar Kubernetes, Docker Swarm u otro software para tareas y gestión del entorno.
El consumo de energía del servidor es inferior a 700 vatios. El servidor tiene 1 o 2 fuentes de alimentación con tecnología hot swap.
Cada módulo informático puede obtener 8 transmisiones RTSP de cámaras en tareas como el reconocimiento de matrículas y la clasificación de marcas / modelos. El servidor puede obtener 64 transmisiones en inferencia en tiempo real o procesamiento de archivos de video en la nube. Los mismos servidores que usamos en la solución de contador de pasajeros para el procesamiento de archivos de video. Este método nos permite agregar servicios de análisis de video sin cambios globales de la infraestructura actual de cada cliente.
Aquí había un soporte de demostración con el reconocimiento de matrículas de abeto ComBox Edge y el software ComBox Cumulator para la agregación de datos:
Servidor ComBox NUC para inferencia
Ventajas principales:
Consumo de energía menos 700 vatios8 unidades de procesamiento con CPU i5-8259U en 1U8 iGPU Iris Plus 655 para fuente de alimentación de inferencia2 con intercambio en caliente Reserva y carga de equilibrio en el interior
Puede utilizar este servidor para:
Inferencia de redes neuronales Alojamiento web o servidores dedicados en alquiler Servidores de procesamiento de video Servidor de replicación de base de datos
Ya probamos NUC11PAQi7 con Intel i7-1165G7 en inferencia de redes neuronales (SSD Mobilenet v.2) y obtuvimos 279 FPS con núcleos de CPU y 434 FPS con iGPU Iris Xe GPU. Nuestro antiguo NUC i5-8259U tiene 191 FPS y 330 FPS con iGPU Iris Plus 655. Ahora, Intel NUC11PAQi7 es el nuevo candidato para la tercera revisión del servidor ComBox NUC.
Intel NUC11PAQi7
Leer más – https://combox.io/en/projects/8SBC/#nuc2