¿Cómo y por qué el aprendizaje automático previamente desconocido se ha convertido en un campo tecnológico real?
No hace mucho tiempo, el aprendizaje automático era una provincia puramente académica con una "población" de apenas varios cientos de científicos dispersos en universidades y laboratorios seleccionados. Pero para 2012, por una serie de razones de las que hablaremos sin entrar en matemáticas, el aprendizaje automático ha salido a la palestra. Sorprendentemente, la portada del New Times sobre aprendizaje automático se dedicó a ella en artículos de Forbes y The New Yorker. Desafortunadamente, es difícil imaginar algo así en Rusia. Y después de solo tres años, el aprendizaje automático llega a las masas informáticas y casi informáticas y se convierte en un tema importante para el espíritu empresarial en Silicon Valley. ¿Cómo y por qué sucedió esta rápida metamorfosis?
Machine Learning (ML) es un campo de la ciencia y, más recientemente, de la tecnología que resuelve el problema del aprendizaje por computadora. Esto se entiende como la transferencia de un conjunto de conocimientos estrictamente limitado a complejos de hardware y software con la posibilidad de su acumulación adicional. En este contexto, no se supone que sea un entrenamiento completo comparable al humano. Esto no es lo que se llama de memoria en inglés, sino que, como resultado, la computadora adquiere el conocimiento del rol de la máquina, que está más cerca del rol. Si esta circunstancia no se especifica de antemano, entonces no es necesario llegar a la "pedagogía de los robots", este término ya se utiliza. El conocimiento de la máquina no nos permite tomar decisiones verdaderamente intelectuales comparables a las capacidades humanas.
La necesidad práctica actual de ML ha surgido debido al hecho de que hoy en día la diversidad de datos de entrada y posibles soluciones se vuelve demasiado grande para los sistemas preprogramados tradicionales. Discutiremos las limitaciones del enfoque de software en el siguiente material.
ML se implementa sobre principios computacionales y estadísticos, combinando una variedad de enfoques, incluyendo teoría de probabilidad, estadística, lógica, optimización computacional, métodos de búsqueda, aprendizaje respaldado, teoría de gestión y quizás algo más. El alcance de ML actualmente cubre una amplia gama de aplicaciones, incluido el procesamiento de todo tipo de datos (texto, video, audio), pronósticos, reconocimiento de patrones, minería de datos, sistemas expertos, robótica e incluso juegos.
La historia de ML, como muchas otras historias de inteligencia artificial, comenzó con trabajos aparentemente prometedores en los años 50 y 60, seguidos de un largo período de acumulación de conocimiento conocido como el "invierno de la inteligencia artificial". En los últimos años, ha habido un interés explosivo principalmente en una de las áreas de aprendizaje profundo o aprendizaje profundo.
Los pioneros de ML fueron Arthur Samuel, Joseph Weizbaum y Frank Rosenblatt. El primero fue ampliamente conocido por la creación en 1952 del programa de autoaprendizaje Checkers-playing, que, como su nombre lo indica, pudo jugar a las damas. Quizás más significativo para los descendientes fue su participación con Donald Knut en el proyecto TeX, cuyo resultado fue un sistema de diseño de computadora, que no ha tenido rival durante casi 40 años para la preparación de textos matemáticos. El segundo en 1966 escribió un interlocutor virtual ELIZA, capaz de imitar (o más bien parodiar) el diálogo con un psicoterapeuta, obviamente, que el nombre del programa se lo debe a la heroína de la obra de teatro de Bernard Shaw. Y luego Rosenblatt construyó el sistema Mark I Perceptron en la Universidad de Cornell a finales de los años 50, que puede ser reconocido como el primer neuroordenador.
Mark I fue diseñado para clasificar imágenes visuales (símbolos del alfabeto) y era un sistema electrónico-mecánico, cuyo centro eran 400 fotosensores controlados, y sirvieron como modelo de la retina. Fueron controlados por manipuladores en motores paso a paso. La foto web al lado de Rosenblatt muestra una pequeña caja, generalmente llamada Mark I, aunque es solo uno de los nodos, y el sistema ocupaba seis stands sólidos en su totalidad, y se conserva en el Museo Smithsonian de Washington, DC. Además , se intentó crear un sistema Tobermory Perceptron aún más engorroso para el reconocimiento de voz. Ambos sistemas fueron implementaciones prácticas de redes simples pero neuronales. Es difícil decir cómo esta dirección de desarrollo habría continuado sin ser interrumpido por dos circunstancias: la muerte de Rosenblatt, murió en un yate, y las feroces críticas de Marvin de Minsk y Seymour Papert, quienes demostraron que el perceptrón es incapaz de aprender. .
Durante los siguientes 30 a 40 años, a través de los esfuerzos de científicos con orientación académica, el aprendizaje automático se convirtió en una disciplina matemática independiente. (Los interesados en los fundamentos teóricos de ML pueden visitar www.machinelearning.ru, que tiene literalmente todo).
El comienzo de la primera década del siglo XXI resultó ser un punto de inflexión en la historia de ML, y esto se explica por las tres tendencias sincrónicas, que juntas dieron un notable efecto sinérgico. El primero es Big Data. Hay tantos datos que los nuevos enfoques no fueron causados por la curiosidad de los científicos, sino por la necesidad práctica. El segundo es la disminución en el costo de la computación paralela y la memoria. Esta tendencia se descubrió en 2004 cuando Google presentó su tecnología MapReduce, seguida de su análogo abierto Hadoop (2006), y juntos dieron la oportunidad de distribuir el procesamiento de grandes cantidades de datos entre procesadores simples. Al mismo tiempo, Nvidia hizo un gran avance en el mercado de GPU: si antes podía competir con AMD / ATI en el segmento de juegos, entonces resultó ser un monopolio en el segmento de procesadores gráficos que se pueden utilizar con fines de aprendizaje automático. . Y al mismo tiempo, el costo de la RAM ha disminuido significativamente, lo que abrió la posibilidad de trabajar con grandes cantidades de datos en la memoria y, como consecuencia, hay numerosos tipos nuevos de bases de datos, incluido NoSQL. Finalmente, en 2014, apareció el marco de software Apache Spark para el procesamiento distribuido de datos no estructurados y débilmente estructurados; fue conveniente para la implementación de algoritmos de aprendizaje automático.
El tercero: nuevos algoritmos de aprendizaje automático profundo, heredar y desarrollar la idea del perceptrón en combinación con una exitosa campaña científica de relaciones públicas. Con sus críticas, Marvin de Minsk y Seymour Papert desempeñaron un papel positivo, descubrieron las debilidades del perceptrón tal como fue inventado por Rosenblatt, y al mismo tiempo estimularon el trabajo adicional en redes neuronales, que permaneció teórico hasta 2006. Probablemente el primero que decidió "desarrollar" (profundizar) pepperprope fue el matemático soviético AG Ivakhnenko, que había publicado una serie de artículos y libros desde 1965, que, en particular, describió el sistema de modelado "Alpha". En 1980, Kunihika Fukushima propuso una red neuronal de convolución jerárquica de capas múltiples conocida como neocognitron.
Los años posteriores han estado marcados por el trabajo intensivo de muchos científicos en el campo de las redes neuronales profundas (Red Neural Profunda, DNN), pero un análisis detallado y preferiblemente objetivo de los eventos de este período todavía está esperando a su investigador. Se cree que el término aprendizaje profundo fue acuñado en 1986 por Rhina Dachter, aunque la historia de su aparición es probablemente más compleja. Se pueden encontrar diferentes puntos de vista sobre los componentes del aprendizaje profundo, por ejemplo, en el sitio web de Quora.
A mediados de la última década, se ha acumulado una masa crítica de conocimiento en el campo de DNN, y, como siempre en tales casos, alguien se separa del pelotón y obtiene la camisa de un líder, por lo que fue y probablemente siempre será en la ciencia. En este caso, Jeffrey Hinton, un científico británico que continuó su carrera en Canadá, fue el líder. Desde 2006, él y sus colegas han estado publicando numerosos artículos sobre DNN, incluso en la popular revista científica Nature, que le ha valido toda una vida de fama como un clásico. Estaba rodeado por una comunidad fuerte y cohesionada que había estado trabajando durante varios años "invisiblemente" como lo es ahora. Sus miembros se llaman a sí mismos "Conspiración de Aprendizaje Profundo" o incluso "la mafia canadiense". Ha surgido un trío líder: Ian Lecun, Joshua Benjo y Jeffrey Hinton, también conocido como LBH (LeCun & Bengio & Hinton). La retirada de LBH del subsuelo estuvo bien preparada y respaldada por Google, Facebook y Microsoft. Andrew Eunn, que trabajó en el MIT y Berkeley, participó activamente en LBH y ahora dirige la investigación de inteligencia artificial en el laboratorio de Baidu. Ha vinculado la formación en profundidad a los procesadores gráficos.
Es posible estar de acuerdo o en desacuerdo con Geoffrey Hinton y los miembros de su "pandilla" acerca de su prioridad a nivel de polémicas académicas, pero su logro indudable es que han llevado el aprendizaje profundo a la pole road, haciendo lo mismo que ha hecho. sucedió docenas de veces en la historia de la innovación en Silicon Valley.