Hola a todos Ya este mes, comienza un nuevo curso en OTUS: "Matemáticas para la ciencia de datos" . En previsión del inicio de este curso, tradicionalmente compartimos con usted la traducción de material interesante.

Anotación El aprendizaje profundo es la vanguardia de la investigación del aprendizaje automático (ML). Se compone de varias capas ocultas de redes neuronales artificiales. La metodología de aprendizaje profundo utiliza transformaciones no lineales y abstracciones de modelos de alto nivel en grandes bases de datos. Los recientes avances en la implementación de la arquitectura de aprendizaje profundo en numerosos campos ya han hecho una contribución significativa al desarrollo de la inteligencia artificial. Este artículo presenta un estudio moderno de la contribución y las nuevas aplicaciones del aprendizaje profundo. La siguiente descripción general, en orden cronológico, presenta cómo y en qué aplicaciones más significativas se utilizaron los algoritmos de aprendizaje profundo. Además, los beneficios y ventajas de la metodología de aprendizaje profundo se presentan en su jerarquía multicapa y operaciones no lineales, que se comparan con algoritmos más tradicionales en aplicaciones ordinarias. Una revisión de los avances recientes en el campo revela aún más conceptos comunes, los beneficios cada vez mayores y la popularidad del aprendizaje profundo.

1. Introducción

La inteligencia artificial (IA) como la inteligencia demostrada por las máquinas es un enfoque efectivo para comprender el aprendizaje humano y la formación del razonamiento [1]. En 1950, la Prueba de Turing se propuso como una explicación satisfactoria de cómo una computadora puede reproducir el razonamiento cognitivo de una persona [2]. Como campo de investigación, la IA se divide en subdominios más específicos. Por ejemplo: el procesamiento del lenguaje natural (PNL) [3] puede mejorar la calidad de la escritura en diversas aplicaciones [4.17]. La unidad más clásica en PNL es la traducción automática, que se entiende como traducción entre idiomas. Los algoritmos de traducción automática han contribuido a la aparición de diversas aplicaciones que tienen en cuenta la estructura gramatical y los errores ortográficos. Además, el conjunto de palabras y vocabulario relacionado con el tema del material se utilizan automáticamente como fuente principal cuando la computadora sugiere cambios para el autor o editor [5]. En la fig. La Figura 1 muestra en detalle cómo la IA cubre siete áreas de la informática.

Recientemente, el aprendizaje automático y la minería de datos se han convertido en el centro de atención y se han convertido en los temas más populares entre la comunidad de investigación. La totalidad de estas áreas de investigación analizan las muchas posibilidades de caracterizar bases de datos [9]. Con los años, las bases de datos se han compilado con fines estadísticos. Las curvas estadísticas pueden describir el pasado y el presente para predecir patrones futuros de comportamiento. Sin embargo, en las últimas décadas, solo los métodos y algoritmos clásicos se han utilizado para procesar estos datos, mientras que la optimización de estos algoritmos podría formar la base de un autoaprendizaje efectivo [19]. Se puede implementar un proceso mejorado de toma de decisiones basado en valores existentes, varios criterios y métodos estadísticos avanzados. Por lo tanto, una de las aplicaciones más importantes de esta optimización es la medicina, donde los síntomas, las causas y las decisiones médicas crean grandes bases de datos que pueden usarse para determinar el mejor tratamiento [11].

Fig. 1. Investigación en el campo de la inteligencia artificial (IA) Fuente: [1].

Dado que ML cubre una amplia gama de estudios, ya se han desarrollado muchos enfoques. La agrupación, la red bayesiana, el aprendizaje profundo y el análisis del árbol de decisiones son solo algunos de ellos. La siguiente revisión se centra principalmente en el aprendizaje profundo, sus conceptos básicos, aplicaciones comprobadas y modernas en diversos campos. Además, presenta varias cifras que reflejan el rápido crecimiento de las publicaciones con investigación en el campo del aprendizaje profundo en los últimos años en bases de datos científicas.

2. La base teórica

El concepto de aprendizaje profundo (Deep Learning - DL) apareció por primera vez en 2006 como una nueva área de investigación en aprendizaje automático. Inicialmente, se conocía como aprendizaje jerárquico en [2] y, por regla general, incluía muchas áreas de investigación relacionadas con el reconocimiento de patrones. El aprendizaje profundo tiene en cuenta principalmente dos factores clave: procesamiento no lineal en varias capas o etapas y capacitación bajo o sin supervisión [4]. El procesamiento no lineal en varias capas se refiere a un algoritmo en el que la capa actual acepta la salida de la capa anterior como entrada. Se establece una jerarquía entre capas para ordenar la importancia de los datos cuya utilidad debe establecerse. Por otro lado, el aprendizaje controlado e incontrolado se asocia con una etiqueta de clases de objetivos: su presencia implica un sistema controlado, y la ausencia significa incontrolado.

3. Aplicaciones

El aprendizaje profundo implica capas de análisis abstracto y métodos jerárquicos. Sin embargo, se puede usar en numerosas aplicaciones del mundo real. Como ejemplo, en el procesamiento de imágenes digitales; Las imágenes en blanco y negro fueron previamente pintadas a mano por usuarios que tenían que elegir cada color según su propio criterio. Aplicando el algoritmo de aprendizaje profundo, la coloración se puede realizar automáticamente usando una computadora [10]. Del mismo modo, se puede agregar sonido a un video de tocar la batería sin sonido utilizando las Redes Neuronales Recurrentes (RNN), que son parte de los métodos de aprendizaje profundo [18].

El aprendizaje profundo puede presentarse como un método para mejorar los resultados y optimizar el tiempo de procesamiento en varios procesos computacionales. En el campo del procesamiento del lenguaje natural, se han aplicado métodos de aprendizaje profundo para crear subtítulos de imágenes [20] y generación de texto escrito a mano [6]. Las siguientes aplicaciones se clasifican con más detalle en áreas como imagen digital, medicina y biometría.

3.1 Procesamiento de imagen

Antes de que el aprendizaje profundo se estableciera oficialmente como un nuevo enfoque de investigación, algunas aplicaciones se implementaron como parte del concepto de reconocimiento de patrones a través del procesamiento de capas. En 2003, se desarrolló un ejemplo interesante utilizando el filtrado de partículas y el algoritmo de propagación de creencias bayesianas. El concepto básico de esta aplicación cree que una persona puede reconocer la cara de otra persona observando solo la mitad de la imagen de la cara [14], por lo que la computadora puede restaurar la imagen de la cara de la imagen recortada.

Más tarde, en 2006, el algoritmo codicioso y la jerarquía se combinaron en una aplicación capaz de procesar dígitos escritos a mano [7]. Estudios recientes han utilizado el aprendizaje profundo como la herramienta principal para el procesamiento de imágenes digitales. Por ejemplo, usar redes neuronales convolucionales (CNN) para reconocer el iris puede ser más efectivo que usar sensores convencionales. La eficiencia de CNN puede alcanzar una precisión del 99,35% [16].

El reconocimiento de ubicación móvil actualmente permite al usuario encontrar una dirección específica basada en la imagen. El algoritmo SSPDH (Semántica supervisada - Preservación de Hashing profundo) resultó ser una mejora significativa sobre VHB (Visual Hash Bit) y SSFS (Space - Saliency Fingerprint Selection). La precisión de SSPDH es hasta un 70% más eficiente [15].

Finalmente, otra aplicación notable en el procesamiento de imágenes digitales utilizando el método de aprendizaje profundo es el reconocimiento facial. Google, Facebook y Microsoft tienen modelos únicos de reconocimiento facial con aprendizaje profundo [8]. Recientemente, la identificación basada en una imagen facial ha cambiado a reconocimiento automático al determinar la edad y el sexo como parámetros iniciales. Sighthound Inc., por ejemplo, probó un algoritmo de red neuronal convolucional profundo que puede reconocer no solo la edad y el género, sino incluso las emociones [3]. Además, se ha desarrollado un sistema confiable para determinar con precisión la edad y el género de una persona a partir de una sola imagen mediante la aplicación de la arquitectura del aprendizaje multitarea profundo [21].

3.2 Medicina

El procesamiento de imágenes digitales es, sin duda, una parte importante de las áreas de investigación donde se puede aplicar el aprendizaje profundo. Del mismo modo, las aplicaciones clínicas han sido probadas recientemente. Por ejemplo, una comparación entre el aprendizaje de bajo nivel y el aprendizaje profundo en redes neuronales ha llevado a una mejor eficacia en la predicción de enfermedades. La imagen obtenida mediante resonancia magnética (MRI) [22] del cerebro humano se procesó para predecir la posible enfermedad de Alzheimer [3]. A pesar del rápido éxito de este procedimiento, algunos problemas deben considerarse seriamente para futuras aplicaciones. Una de las limitaciones es la capacitación y la dependencia de la alta calidad. El volumen, la calidad y la complejidad de los datos son aspectos complejos, sin embargo, la integración de tipos de datos heterogéneos es un aspecto potencial de la arquitectura de aprendizaje profundo [17, 23].

La tomografía de coherencia óptica (OCT) es otro ejemplo en el que las técnicas de aprendizaje profundo muestran resultados significativos. Tradicionalmente, las imágenes se procesan mediante el desarrollo manual de matrices convolucionales [12]. Desafortunadamente, la falta de conjuntos de capacitación limita el método de aprendizaje profundo. Sin embargo, en el transcurso de varios años, la introducción de conjuntos de entrenamiento mejorados predecirá de manera efectiva las patologías de la retina y reducirá el costo de la tecnología OCT [24].

3.3 Biometría

En 2009, se aplicó una aplicación para el reconocimiento automático de voz para reducir la frecuencia de errores telefónicos (Tasa de errores telefónicos - PER) utilizando dos arquitecturas de red de confianza profunda [18]. En 2012, el método CNN [25] se aplicó como parte de una red neuronal híbrida: el Modelo Oculto de Markov - NN - HMM. Como resultado, se logró un PER del 20.07%. El PER resultante es mejor en comparación con el método de referencia de la red neuronal de 3 capas utilizado previamente [26]. Los teléfonos inteligentes y la resolución de sus cámaras se han probado para reconocer el iris. Cuando se utilizan teléfonos móviles desarrollados por varias compañías, la precisión del reconocimiento del iris puede alcanzar hasta un 87% de eficiencia [22,28].

Desde el punto de vista de la seguridad, especialmente el control de acceso; El aprendizaje profundo se utiliza junto con características biométricas. DL se utilizó para acelerar el desarrollo y la optimización de los dispositivos de reconocimiento facial FaceSentinel. Según este fabricante, sus dispositivos pueden ampliar el proceso de identificación de uno a uno a uno a muchos en nueve meses [27]. Esta actualización del motor podría llevar 10 años-hombre sin la introducción de DL. Lo que aceleró la producción y el lanzamiento de equipos. Estos dispositivos se utilizan en el aeropuerto de Londres Heathrow y también se pueden utilizar para registrar las horas de trabajo y asistencia, y en el sector bancario [3, 29].

4. Descripción general

La Tabla 1 resume varias de las aplicaciones que se han implementado en años anteriores con respecto al aprendizaje profundo. Se mencionan principalmente el reconocimiento de voz y el procesamiento de imágenes. Esta revisión cubre solo algunos de la larga lista de usos.

Tabla 1. Aplicaciones de aprendizaje profundo, 2003–2017

( Aplicación: 2003 - Inferencia bayesiana jerárquica en la corteza visual; 2006 - Clasificación de números; 2006 - Red de confianza profunda para reconocimiento telefónico; 2012 - Reconocimiento de voz de múltiples fuentes; 2015 - Reconocimiento del iris usando teléfonos inteligentes; 2016 - Mastering Go deep redes neuronales de búsqueda de árboles; 2017 - Modelo de reconocimiento sensorial de iris).

4.1 Análisis de publicaciones del año.

En la fig. La Figura 1 muestra el número de publicaciones de aprendizaje profundo de la base de datos ScienceDirect por año desde 2006 hasta junio de 2017. Obviamente, un aumento gradual en el número de publicaciones podría describir un crecimiento exponencial.

En la fig. La Figura 2 muestra el número total de publicaciones de aprendizaje profundo de Springer por año desde enero de 2006 hasta junio de 2017. En 2016, hubo un aumento repentino en las publicaciones, llegando a 706 publicaciones, lo que demuestra que el aprendizaje profundo es de hecho el foco de la investigación moderna.

En la fig. La Figura 3 muestra el número de publicaciones en conferencias, revistas y publicaciones IEEE desde enero de 2006 hasta junio de 2017. Es de destacar que desde 2015 el número de publicaciones ha aumentado significativamente. La diferencia entre 2016 y 2015 es más del 200% del aumento.

Fig. 1. El aumento en el número de publicaciones sobre aprendizaje profundo en la base de datos Sciencedirect (enero de 2006 - junio de 2017)

Fig. 2. El aumento en el número de publicaciones sobre aprendizaje profundo de la base de datos Springer. (Enero de 2006 - junio de 2017)

Fig. 3. El aumento de publicaciones de aprendizaje profundo de la base de datos IEEE. (Enero de 2006 - junio de 2017)

5. Conclusiones

El aprendizaje profundo es una aplicación de aprendizaje automático de rápido crecimiento. Las numerosas aplicaciones descritas anteriormente demuestran su rápido desarrollo en solo unos pocos años. El uso de estos algoritmos en diferentes campos muestra su versatilidad. Un análisis de las publicaciones realizadas en este estudio demuestra claramente la relevancia de esta tecnología y proporciona una ilustración clara del crecimiento del aprendizaje profundo y las tendencias con respecto a futuras investigaciones en esta área.

Además, es importante tener en cuenta que la jerarquía de niveles y el control en el aprendizaje son factores clave para desarrollar una aplicación exitosa de aprendizaje profundo. La jerarquía es importante para la clasificación adecuada de los datos, mientras que el control tiene en cuenta la importancia de la base de datos en sí misma como parte del proceso. El valor central del aprendizaje profundo es optimizar las aplicaciones de aprendizaje automático existentes a través de un procesamiento jerárquico innovador. El aprendizaje profundo puede proporcionar resultados efectivos en el procesamiento de imágenes digitales y el reconocimiento de voz. Una reducción en el porcentaje de errores (del 10 al 20%) confirma claramente la mejora en comparación con los métodos existentes y probados.

En esta era y en el futuro, el aprendizaje profundo puede ser una herramienta de seguridad útil a través de una combinación de reconocimiento de rostro y habla. Además, el procesamiento de imágenes digitales es un campo de investigación que se puede aplicar en muchas otras áreas. Por esta razón, y habiendo demostrado una verdadera optimización, el aprendizaje profundo es un tema moderno e interesante para el desarrollo de la inteligencia artificial.

Literatura usada

1. Abdel, O .: Aplicación de conceptos de redes neuronales convolucionales al modelo híbrido NN-HMM para reconocimiento de voz. Acústica, habla y procesamiento de señales 7, 4277-4280 (2012).
2. Mosavi A., Varkonyi-Koczy AR: Integración de Machine Learning y Optimización para Robot Learning. Avances en sistemas inteligentes y computación 519, 349-355 (2017).
3. Bannister, A.: Biometrics and AI: cómo FaceSentinel evoluciona 13 veces más rápido gracias al aprendizaje profundo (2016).
4. Bengio, Y .: Aprendiendo arquitecturas profundas para IA. Fundamentos y tendencias en Machine Learning 2, 1-127 (2009).
5. Mosavi, A., Varkonyi-Koczy, AR, Fullsack, M .: combinación de aprendizaje automático y optimización para la toma de decisiones automatizada. MCDM (2015).
6. Deng L, Yu D Aprendizaje profundo: métodos y aplicaciones. Fundamentos y tendencias en el procesamiento de señales 7, 197-387 (2014)
7. Goel, B.: Desarrollos en el campo del procesamiento del lenguaje natural. Revista internacional de investigación avanzada en informática 8, (2017).
8. Vaezipour, A.: Mosavi, A. Seigerroth, U .: Optimización integrada del aprendizaje automático para la toma de decisiones, 26ª Conferencia Europea de Investigación Operativa, Roma (2013).
9. Hinton GE, Simon O, algoritmo de aprendizaje rápido Yee-Whye TA para redes de creencias profundas. Cálculo neuronal 18, 1527-1554 (2006)
10. Hisham, A., Harin, S.: Deep Learning: el nuevo niño en Inteligencia Artificial. (2017)
11. Kim IW, Oh, M .: Aprendizaje profundo: desde quimioinformática hasta medicina de precisión. Revista de Investigación Farmacéutica: 1-7 (2017)
12. Mosavi, A., Vaezipour, A.: Desarrollo de herramientas efectivas para análisis predictivos y decisiones informadas. Informe técnico Universidad de Tallin (2013)
13. Mosavi A., Y., Bathla, Varkonyi-Koczy AR: Prediciendo el futuro usando la web
    Conocimiento: Avances de la encuesta de vanguardia en sistemas inteligentes y computación (2017).
14. Mosavi, A., Vaezipour, A.: Optimización de búsqueda reactiva; Aplicación a multiobjetivo
    Problemas de optimización. Matemáticas Aplicadas 3, 1572-1582 (2012)
15. Lee JG (2017) Deep Learning in Medical Imaging: General Overview. Revista coreana de
    Radiología 18 (4): 570-584
16. Lee T.: David M. Inferencia bayesiana jerárquica en la corteza visual. JOSA 20, 1434-1448
    (2003)
17. Liu W Hash de aprendizaje profundo para búsqueda visual móvil. Revista EURASIP sobre Imagen y
    Procesamiento de video 17, (2017).
18. Marra F.: Un enfoque de aprendizaje profundo para la identificación del modelo de sensor de iris. Cartas de reconocimiento de patrones (2017).
19. Miotto R et al (2017) Aprendizaje profundo para la atención médica: revisión, oportunidades y desafíos.
    Briefings en bioinformática
20. Mohamed A.: Redes de creencias profundas para el reconocimiento telefónico. Taller de nips sobre aprendizaje profundo
    para reconocimiento de voz y aplicaciones relacionadas: 1, 635-645 (2009).
21. Páramo J .: La prueba de Turing: el escurridizo estándar de la inteligencia artificial. Springer Science &
    Business Media (2003).
22. Vaezipour, A. Mosavi, U. Seigerroth, A.: Análisis visual y decisiones informadas en salud
    y ciencias de la vida, Conferencia Internacional CAE, Verona, Italia (2013)
23. Raja KB, Raghavendra R, Vemuri VK, Busch C (2015) Iris visible basado en teléfonos inteligentes
    Reconocimiento mediante filtrado profundo y disperso. Pattern Recognition Letters 57: 33-42.
24. Safdar S, Zafar S, Zafar N, Khan NF (2017) Sistemas de apoyo a la decisión basados ​​en aprendizaje automático (DSS) para el diagnóstico de enfermedades cardíacas: una revisión. Revisión de Inteligencia Artificial: 1-17
25. Mosavi, A. Varkonyi. A .: Aprendizaje en robótica. Aprendizaje 157, (2017)
26. Xing J, Li K, Hu W, Yuan C, Ling H et al (2017) Diagnóstico de modelos de aprendizaje profundo para altos
    estimación de edad de precisión a partir de una sola imagen. Reconocimiento de patrones
27. Mosavi, A. Rabczuk, T .: Aprendizaje y optimización inteligente de materiales computacionales.
    Innovación de diseño, aprendizaje y optimización inteligente, Springer-Verlag, (2017)
28. Vaezipour, A., et al., Análisis visual para decisiones informadas, Conferencia Internacional CAE, Verona, Italia, (2013).
29. Dehghan, A .: DAGER: Reconocimiento de edad profunda, género y emoción usando convolucional
    Red neuronal3, 735-748 (2017)
30. Mosavi, A: modelo de decisión predictiva, 2015, https://doi.org/10.13140/RG.2.2.21094.630472
31. Vaezipour, A., et al.: Análisis visual y decisiones informadas en salud y ciencias de la vida ".
    Documento en Actas de la Conferencia Internacional CAE, Verona, Italia. (2013)
32. Vaezipour, A.: Análisis visual para decisiones informadas, CAE Conference, Italia, (2013).
33. A.Vaezipour, A.:Máquina de aprendizaje de optimización integrada para la toma de decisiones. 26ª Conferencia Europea sobre Investigación Operativa, Roma (2013).
34. Vaezipour, A.: Visual Analytics for Multi-Criteria Decision Analysis, en Proceedings of International CAE Conference, Verona, Italia (2013).
35. Mosavi, A., Vaezipour, A.: Desarrollo de herramientas efectivas para análisis predictivos y decisiones informadas. Informe técnico (2013) https://doi.org/10.13140/RG.2.2.23902.84800
36. Mosavi A., Varkonyi-Koczy AR: Integración de Machine Learning y Optimización para
    Robot Learning Avances en sistemas inteligentes y computación 519, 349-355 (2017).
37. Mosavi, A., Varkonyi, A .: Aprendiendo en robótica. Aprendizaje, 157, (2017).
38. Mosavi, A.: Arquitectura de software de toma de decisiones; El enfoque asistido de visualización y minería de datos. Revista Internacional de Información y Ciencias de la Computación 3, 12-26 (2014).
39. Mosavi, A .: El sistema a gran escala de múltiples criterios para la toma de decisiones; preprocesamiento
    Teoría y aplicaciones de sistemas complejos a gran escala 9, 354-359 (2010).
40. Esmaeili, M., Mosavi, A.: Reducción variable para la optimización multiobjetivo utilizando datos
    Técnicas mineras. Ingeniería y Tecnología de Computadores 5, 325-333 (2010)
41. Mosavi, A.: Minería de datos para la toma de decisiones en ingeniería de diseño óptimo. Journal of AI
    y Data Mining 2, 7-14 (2014).
42. Mosavi, A., Vaezipour, A.: Visual Analytics, Obuda University, Budapest, (2015).
43. Mosavi, A., Vaezipour, A.: Optimización de búsqueda reactiva; Aplicación a multiobjetivo
    Problemas de optimización. Matemática Aplicada 3, 1572-1582 (2012).
44. Mosavi, A., Varkonyi-Koczy, AR, Fullsack, M .: combinación de Machine Learning y
    Optimización para la toma de decisiones automatizada. MCDM (2015).
45. Mosavi, A., Delavar, A.: Business Modeling, Obuda University, Budapest, (2016).
46. Mosavi, A.: Aplicación de minería de datos en problemas de optimización multiobjetivo. Revista Internacional de Simulación y Optimización de Diseño Multidisciplinar, 5, (2014)
47. Mosavi, A. Rabczuk, T .: Aprendizaje y optimización inteligente para la innovación en el diseño de materiales, informática teórica y cuestiones generales, LION11 (2017).
48. Mosavi, A., Visual Analytics, Obuda University, 2016.
49. Mosavi, A.: Toma de decisiones predictivas, Tech Rep 2015. doi: 10.13140 / RG.2.2.16061.46561
50. Mosavi A.: Toma de decisiones predictivas, modelo de decisiones predictivas, tecnología. Informe (2015)
    https://doi.org/10.13140/RG.2.2.21094.63047
51. Mosavi, A., Lopez, A.: Varkonyi-Koczy, A.: Aplicaciones industriales de Big Data: Estado de
    the Art Survey, Avances en sistemas inteligentes y computación, (2017).
52. Mosavi, A., Rabczuk, T., Varkonyi-Koczy, A .: Revisión de la novela Machine Learning
    Herramientas para el diseño de materiales, avances en sistemas inteligentes y computación, (2017).
53. Mousavi, S., Mosavi, A., Varkonyi-Koczy, AR: un algoritmo de equilibrio de carga para recursos
    asignación en computación en la nube, Avances en sistemas inteligentes y computación, (2017).
54. Baranyai, M., Mosavi, A., Vajda, I., Varkonyi-Koczy, AR: Diseño óptimo de electricidad
    Machines: State of the Survey, Avances en sistemas inteligentes y computación, (2017).
55. Mosavi, A., Benkreif, R., Varkonyi-Koczy, A.: Comparación de las ecuaciones de haz de Euler-Bernoulli y Timoshenko para la dinámica del sistema ferroviario, avances en sistemas inteligentes
    y Computación, (2017).
56. Mosavi, A., Rituraj, R., Varkonyi-Koczy, AR: Revisión de la optimización multiobjetivo
    Paquete de modo Frontier en el sector energético, avances en sistemas inteligentes y computación,
    (2017)
57. Mosavi, A., Bathla, Y., Varkonyi-Koczy AR: Prediciendo el futuro usando la web
    Conocimiento: Encuesta sobre el estado del arte, avances en sistemas inteligentes y computación,
    (2017)