大家好本月已经在OTUS开设了一门新课程- “数据科学数学”。预期本课程的开始，我们通常会与您分享有趣材料的翻译。

注释。深度学习是机器学习（ML）研究的最前沿。它由人工神经网络的几个隐藏层组成。深度学习方法在大型数据库上使用非线性转换和高级模型抽象。在众多领域中实施深度学习架构的最新进展已经为人工智能的发展做出了重大贡献。本文介绍了深度学习的贡献和新应用的现代研究。以下概述按时间顺序介绍了深度学习算法的使用方式以及在最重要的应用程序中的使用方式。此外，深度学习方法的优势和优势体现在其多层层次结构和非线性运算中，并与普通应用中的传统算法进行了比较。对该领域最新进展的回顾进一步揭示了通用概念，深度学习的不断增长的好处和普及。

1.简介

机器展示的人工智能（AI）是理解人类学习和推理形成的有效方法[1]。 1950年，提出了“图灵测验”，作为对计算机如何重现人的认知推理的令人满意的解释[2]。作为研究领域，AI分为更具体的子域。例如：自然语言处理（NLP）[3]可以提高各种应用程序的写作质量[4.17]。 NLP中最经典的单元是机器翻译，机器翻译被理解为语言之间的翻译。考虑到语法结构和拼写错误，机器翻译算法促进了各种应用程序的出现。此外，当计算机为作者或编辑者提出更改建议时，与材料主题相关的单词和词汇集将自动用作主要来源[5]。在图。图1详细显示了AI如何涵盖计算机科学的七个领域。

最近，机器学习和数据挖掘已成为人们关注的焦点，并成为研究界中最受欢迎的主题。这些研究领域的整体分析了表征数据库的许多可能性[9]。多年来，出于统计目的已对数据库进行了编译。统计曲线可以描述过去和现在，以预测未来的行为方式。然而，在过去的几十年中，仅使用经典的方法和算法来处理这些数据，而对这些算法的优化可以构成有效的自学习的基础[19]。可以基于现有值，若干标准和高级统计方法来实施改进的决策过程。因此，此优化最重要的应用之一是医学，其中的症状，原因和医学决策会创建可用于确定最佳治疗方法的大型数据库[11]。

图 1.人工智能（AI）领域的研究资料来源：[1]。

由于ML涵盖了广泛的研究领域，因此已经开发了许多方法。聚类，贝叶斯网络，深度学习和决策树分析只是其中的一部分。以下评论主要关注深度学习，其基本概念，成熟的应用以及在各个领域的现代应用。此外，它还提供了一些数字，这些数字反映了近年来科学数据库中深度学习领域的研究出版物的迅速增长。

2.理论基础

深度学习的概念（Deep Learning-DL）于2006年首次出现，是机器学习的新研究领域。最初，它在[2]中被称为分层学习，通常，它包括与模式识别相关的许多研究领域。深度学习主要考虑两个关键因素：在多个层次或阶段进行非线性处理以及在有监督或无监督的情况下进行训练[4]。几层中的非线性处理是指一种算法，其中当前层接受前一层的输出作为输入。在各层之间建立一个层次结构，以排序应建立其效用的数据的重要性。另一方面，受控和不受控制的学习与目标类别的标签相关联：其存在意味着受控的系统，而缺失则意味着不受控制。

3.应用

深度学习涉及抽象分析和分层方法的各个层。但是，它可以用于许多实际应用中。例如，在数字图像处理中；黑白图像以前是由用户手绘的，用户必须根据自己的判断选择每种颜色。应用深度学习算法，可以使用计算机自动进行着色[10]。以同样的方式，可以使用循环神经网络（RNN）将声音添加到弹鼓的视频中而没有声音，这是深度学习方法的一部分[18]。

深度学习可以作为一种改善结果并优化几个计算过程中的处理时间的方法来呈现。在自然语言处理领域，深度学习方法已应用于创建图像标题[20]和手写文本生成[6]。以下应用程序在数字成像，医学和生物统计等领域得到了更详细的分类。

3.1图像处理

在正式将深度学习确立为一种新的研究方法之前，通过层处理将一些应用程序实现为模式识别概念的一部分。 2003年，使用粒子滤波和贝叶斯-信念传播算法开发了一个有趣的示例。该应用程序的基本概念认为，一个人可以通过仅观察一半的面部图像来识别另一个人的面部[14]，因此计算机可以从裁剪后的图像中恢复该面部图像。

在2006年下半年，贪婪算法和层次结构被组合到一个能够处理手写数字的应用程序中[7]。最近的研究已将深度学习用作数字图像处理的主要工具。例如，使用卷积神经网络（CNN）识别虹膜可能比使用常规传感器更有效。 CNN效率可以达到99.35％的准确性[16]。

移动位置识别当前允许用户基于图像找出特定地址。事实证明，SSPDH（监督语义-保留深度哈希）算法是对VHB（可视哈希位）和SSFS（空间-显着性指纹选择）的重大改进。 SSPDH的准确度提高了70％[15]。

最后，使用深度学习方法在数字图像处理中的另一个显着应用是人脸识别。 Google，Facebook和Microsoft具有深度学习的独特面部识别模型[8]。最近，通过将年龄和性别确定为初始参数，基于面部图像的识别已变为自动识别。例如，Sighthound Inc.测试了一种深度卷积神经网络算法，该算法不仅可以识别年龄和性别，还可以识别情绪[3]。另外，通过应用深度多任务教育的体系结构，开发了一种可靠的系统，可以从单个图像准确确定一个人的年龄和性别[21]。

3.2医学

无疑，数字图像处理是可以应用深度学习的研究领域的重要组成部分。同样，最近已经对临床应用进行了测试。例如，在神经网络中进行底层学习和深度学习之间的比较，可以更好地预测疾病。使用磁共振成像（MRI）[22]从人脑获得的图像经过处理，可以预测可能的阿尔茨海默氏病[3]。尽管此过程快速成功，但在以后的应用中应认真考虑一些问题。局限性之一是培训和对高质量的依赖。数据的数量，质量和复杂性是复杂的方面，但是，异构数据类型的集成是深度学习体系结构的潜在方面[17，23]。

光学相干断层扫描（OCT）是深度学习技术取得显著成果的另一个示例。传统上，图像是通过人工开发卷积矩阵来处理的[12]。不幸的是，缺乏训练集限制了深度学习的方法。然而，在过去的几年中，引入改进的训练集将有效地预测视网膜病变并降低OCT技术的成本[24]。

3.3生物识别

2009年，使用两种不同的深度信任网络体系结构，应用了自动语音识别应用程序来减少电话错误的频率（电话错误率-PER）[18]。在2012年，CNN方法[25]被应用为混合神经网络-隐马尔可夫模型-NN-HMM的一部分。结果，实现了20.07％的PER。与之前使用的3层神经网络基线方法相比，最终的PER更好[26]。已测试智能手机及其相机的分辨率以识别虹膜。当使用各种公司开发的手机时，虹膜的识别精度可以达到87％的效率[22,28]。

从安全角度来看，尤其是访问控制；深度学习与生物特征结合使用。 DL用于加速FaceSentinel人脸识别设备的开发和优化。根据该制造商的说法，他们的设备可以在9个月内将识别过程从一对一扩展到一对多[27]。如果不引入DL，则此引擎升级可能需要10个人年。是什么加快了设备的生产和发布。这些设备在伦敦希思罗机场使用，也可以用于记录工作时间和出勤情况，以及银行业[3，29]。

4.概述

表1总结了过去几年中有关深度学习的一些应用程序。通常提到语音识别和图像处理。这篇评论只涵盖了很长的一些用途。

表1.深度学习应用程序，2003–2017

（ 应用： 2003年-视觉皮质中的贝叶斯层次推理; 2006年-数字分类; 2006年-用于电话识别的深度信任网络; 2012年-来自多种来源的语音识别; 2015年-使用智能手机识别虹膜; 2016年-掌握深度知识树搜索神经网络; 2017年-虹膜感觉识别模型）。

4.1年度出版物分析

在图。图1显示了从2006年到2017年6月每年ScienceDirect数据库中深度学习出版物的数量。显然，出版物数量的逐渐增加可以描述指数级增长。

在图。图2显示了2006年1月至2017年6月每年Springer深度学习出版物的总数。 2016年，出版物的数量突然增加，达到706种，这证明深度学习确实是现代研究的重点。

在图。图3显示了2006年1月至2017年6月在会议，杂志和IEEE出版物上的出版物数量。值得注意的是，自2015年以来，出版物的数量已大大增加。 2016年与2015年之间的差异超过了增幅的200％。

图 1. Sciencedirect数据库中有关深度学习的出版物数量增加（2006年1月至2017年6月）

图 2. Springer数据库中有关深度学习的出版物数量增加。 （2006年1月-2017年6月）

图 3. IEEE数据库中深度学习出版物的增加。 （2006年1月-2017年6月）

5.结论

深度学习是机器学习的真正快速发展的应用。上述众多应用证明了其在短短几年内的快速发展。这些算法在不同领域中的使用显示了其多功能性。对本研究中进行的出版物的分析清楚地表明了该技术的相关性，并提供了深度学习的增长以及该领域未来研究趋势的清晰例证。

此外，必须注意，学习中的等级层次和控制是开发成功的深度学习应用程序的关键因素。层次结构对于正确分类数据非常重要，而控制则将数据库本身作为流程的一部分考虑在内。深度学习的核心价值是通过创新的分层处理来优化现有的机器学习应用程序。深度学习可以在数字图像处理和语音识别中提供有效的结果。错误率的减少（从10％降低到20％）显然证实了与现有方法和成熟方法相比的改进。

在当今时代和未来，深度学习可以通过面部和语音识别相结合来成为有用的安全工具。另外，数字图像处理是可以在许多其他领域中应用的研究领域。因此，深度学习已经证明是真正的优化，对于人工智能的发展而言，它是一门现代而有趣的学科。

二手文献

俄亥俄州阿布德尔：将卷积神经网络概念应用于语音识别的混合NN-HMM模型。声学，语音和信号处理7，4277-4280（2012）。
Mosavi A.，Varkonyi-Koczy AR：机器学习与机器人学习的优化集成。智能系统与计算的进展519，349-355（2017）。
班尼斯特（Bannister），。：生物识别技术和人工智能：由于深度学习（2016），FaceSentinel的发展速度提高了13倍。
Y. Bengio：学习AI的深层架构。机器学习2，1-127（2009）的基础和趋势。
Mosavi，A.，Varkonyi-Koczy，AR，Fullsack，M .：机器学习和自动决策优化的组合。 MCDM（2015）。
邓L，俞D深度学习：方法和应用。信号处理的基础和趋势7，197-387（2014）
Goel，B。：自然语言处理领域的发展。国际计算机科学高级研究杂志8，（2017）。
Vaezipour，A。：Mosavi，A。Seigerroth，U .：机器学习集成的决策优化，第26届欧洲运筹学大会，罗马（2013年）。
Hinton GE，Simon O，Yee-Whye TA用于深度置信网的快速学习算法。神经计算18，1527-1554（2006）
Hisham，A.，Harin，S。：深度学习-人工智能的新宠。（2017）
Kim IW，Oh，M .：深度学习：从化学信息学到精密医学。药物调查杂志：1-7（2017）
Mosavi，A.，Vaezipour，A。：开发用于预测分析和明智决策的有效工具。技术报告。塔林大学（2013）
Mosavi A.，Y.，Bathla，Varkonyi-Koczy AR：使用Web预测未来
知识：智能系统和计算领域的最新技术进步（2017）。
Mosavi，A.，Vaezipour，A。：反应搜索优化；适用于多目标
优化问题。应用数学3，1572-1582（2012）
Lee JG（2017）《医学成像深度学习：概述》。韩国期刊
放射学18（4）：570-584
Lee T.：David M视觉皮层中的多层贝叶斯推理。约萨20，1434-1448
（2003）。
Liu W深度学习用于移动视觉搜索的哈希。 EURASIP影像与影像杂志
视频处理17，（2017）。
Marra F .：用于虹膜传感器模型识别的深度学习方法。模式识别字母（2017）。
Miotto R等人（2017）深度学习用于医疗保健：回顾，机遇和挑战。
生物信息学简报
Mohamed A。：用于电话识别的深度信任网络。小贴士深度学习研讨会
语音识别及相关应用：1，635-645（2009）。
系泊 J .：图灵测试：人工智能的难以捉摸的标准。施普林格科学与
商业媒体（2003）。
Vaezipour，A。Mosavi，U。Seigerroth，A .：视觉分析和健康方面的明智决策
与生命科学，国际CAE会议，意大利维罗纳（2013年）
Raja KB，Raghavendra R，Vemuri VK，Busch C（2015）基于智能手机的可见光圈
使用深度稀疏过滤进行识别。模式识别字母57：33-42。
Safdar S，Zafar S，Zafar N，Khan NF（2017）用于心脏病诊断的基于机器学习的决策支持系统（DSS）：综述。人工智能评论：1-17
Mosavi，A。Varkonyi。答：学习机器人技术。学习157，（2017）
邢J，李K，胡W，袁C，凌红等（2017）诊断高层次的深度学习模型
根据单个图像估算年龄的准确性。模式识别
Mosavi，A. Rabczuk，T .：计算材料的学习和智能优化
设计创新，学习和智能优化，Springer-Verlag，（2017年）
Vaezipour，A.等人，“基于可视化分析的明智决策”，国际CAE大会，意大利维罗纳，（2013年）。
Dehghan，A。：DAGER：使用卷积的深度年龄，性别和情绪识别
神经网络3，735-748（2017）
Mosavi，A：预测决策模型，2015， https ://doi.org/10.13140/RG.2.2.21094.630472
Vaezipour，A。等：健康和生命科学中的可视化分析和明智的决策。”
意大利，维罗纳，国际CAE会议论文集。（2013）。
Vaezipour，A .：基于视觉分析的明智决策，意大利CAE大会，（2013年）。
A.Vaezipour，A .：机器学习集成优化决策。第26届欧洲运筹学会议，罗马（2013年）。
Vaezipour，A .：多标准决策分析的可视化分析，在国际CAE会议录中，意大利维罗纳（2013）。
Mosavi，A.，Vaezipour，A。：开发用于预测分析和明智决策的有效工具。技术报告。（2013）。 https://doi.org/10.13140/RG.2.2.23902.84800
Mosavi A.，Varkonyi-Koczy AR：机器学习的集成和优化
机器人学习智能系统与计算的进展519，349-355（2017）。
Mosavi，A.，Varkonyi，A。：学习机器人技术。学习，157（2017）。
Mosavi，A。：决策软件体系结构；可视化和数据挖掘辅助方法。国际信息与计算机科学杂志3，12-26（2014）。
Mosavi，A。：大规模的多准则决策系统；预处理
大型复杂系统理论与应用9，354-359（2010）。
Esmaeili，M.，Mosavi，A。：使用数据进行多目标优化的变量约简
采矿技术。计算机工程与技术5，325-333（2010）
Mosavi，A。：在工程优化设计中进行决策的数据挖掘。人工智能杂志
和数据挖掘2，7-14（2014）。
Mosavi，A.，Vaezipour，A。：视觉分析，Obuda大学，布达佩斯，（2015）。
Mosavi，A.，Vaezipour，A。：反应搜索优化；适用于多目标
优化问题。应用数学3，1572-1582（2012）。
Mosavi，A.，Varkonyi-Koczy，AR，Fullsack，M .：机器学习与
自动决策的优化。 MCDM（2015）。
Mosavi，A.，Delavar，A。：商业模型，布达佩斯奥布达大学（2016）。
Mosavi，A .：数据挖掘在多目标优化问题中的应用。国际仿真与多学科设计优化杂志，2014年第5期，
Mosavi，A.Rabczuk，T .:材料设计创新的学习和智能优化，理论计算机科学与一般问题，LION11（2017）。
Mosavi，A.，奥巴达大学视觉分析，2016年。
Mosavi，A。：预测性决策，Tech Rep2015。doi：10.13140 / RG.2.2.16061.46561
摩萨维 A：预测决策，预测决策模型，技术。报告。（2015）。
https://doi.org/10.13140/RG.2.2.21094.63047
Mosavi，A.，Lopez，A .: Varkonyi-Koczy，A .:大数据的工业应用：现状
艺术调查，《智能系统和计算的进展》（2017年）。
Mosavi，A.，Rabczuk，T.，Varkonyi-Koczy，A .：回顾新型机器学习
材料设计工具，智能系统和计算进展，（2017年）。
Mousavi，S.，Mosavi，A.，Varkonyi-Koczy，AR：资源的负载平衡算法
云计算中的分配，智能系统和计算进展，（2017年）。
Baranyai，M.，Mosavi，A.，Vajda，I.，Varkonyi-Koczy，AR：电气的优化设计
机器：最先进的调查，《智能系统和计算的进步》（2017年）。
Mosavi，A.，Benkreif，R.，Varkonyi-Koczy，A .：用于铁路系统动力学的Euler-Bernoulli和Timoshenko梁方程的比较，智能系统的进展
和计算（2017）。
Mosavi，A.，Rituraj，R.，Varkonyi-Koczy，AR：审查多目标优化
能源领域前沿模式软件包，智能系统和计算技术的进步，
（2017）。
Mosavi，A.，Bathla，Y.，Varkonyi-Koczy AR：使用Web预测未来
知识：最先进的调查，智能系统和计算的进展，
（2017）。

深度学习：概述