Las competiciones son una forma de obtener una solución sólida a un problema en un tiempo relativamente corto. La ventaja de la competencia es que una gran cantidad de personas competentes trabajan en la tarea, quienes logran probar una gran cantidad de hipótesis. Como resultado, el cliente recibe un algoritmo de trabajo y, lo que a menudo es más importante, el conocimiento de que el resultado obtenido no puede mejorarse a bajo costo.
En otras palabras, las soluciones obtenidas como resultado de concursos son una aproximación al límite superior posible de la calidad del modelo ML.
Esta circunstancia hace que las competencias sean extremadamente efectivas en aplicaciones en las que el negocio demanda incluso una mejora relativamente pequeña en la calidad del pronóstico.
Como ejemplo, para obtener un resultado similar a la competencia, y para verificar un número comparable de hipótesis, necesita varias (decenas) años de trabajo por persona.
Los requisitos de la tarea provienen del cliente, pero en esta etapa es posible involucrar a expertos de la comunidad para consultas y asistencia.
La mecánica de la competencia se adapta a una tarea específica, pero el mecanismo general es el siguiente:
Los términos y la métrica se determinan y los datos para la capacitación se entregan a los participantes.
2. Los participantes optimizan la métrica en el marco de las reglas del concurso.
3. La evaluación final de los modelos ML tiene lugar en el conjunto de datos de prueba.
4. Los ganadores y los mejores participantes se otorgan en proporción a su contribución.
5. Las soluciones, enfoques y experiencias se documentan y se convierten en conocimiento de la comunidad.
6. Todos los participantes reciben calificaciones.
7. El modelo ML se publica en el mercado de plataformas.
La mecánica de la competencia, las restricciones adicionales, el método de elección del ganador y otros matices pueden, si es necesario, ser redefinidos por el Cliente para que coincida con la tarea original.
Los beneficios de usar la plataforma Mindsync:
Para los participantes: experiencia, conocimiento, contribución a la comunidad, recompensa, calificación. Para los clientes: la solución de su problema, información sobre sus datos específicos. Para la plataforma: desarrollo de la comunidad, aumento del compromiso, desarrollo de modelos de mercado.