机器学习数学学科的路线图,第1部分

而不是前言


假设晚上坐在温暖的扶手椅上时,您想到了一个疯狂的想法:“嗯,为什么我不找出为什么随机选择模型的超参数以及为什么所有这些都能起作用?”

这是一个湿滑的斜坡-您认为几个晚上可以悠闲地阅读“深度学习”一章,或者从各个MOOC观看5分钟的youtube剪辑就足够了; 实际上,要建立理解而不是幻想,需要相当长的时间(当然,对于最狂热的人,肯定不少于六个月); 但最可悲的是,此事件的收益并不明显-幸运的是(或不幸的是)世界不是按照数学定律来排列的,如果您是物理学和物理学博士学位的三次,那么只有当您投入时,某些模型才能更好地工作。他们拥有更多的预处理数据或建立了庞大的集合。

我认为有义务警告您,这是一条曲线之路,数学投资有可能无法如愿以偿。 但是数学本身很有趣,无论使用什么应用程序。 而且,如果您有兴趣,并且在带有超参数的黑匣子中发生了什么,那么这意味着数学很可能对您无动于衷。

关于我的建议的其他内容:我不喜欢数学文献,因为它充斥着各种指标,诸如“带有三个下划线和共轭帽子的a_ijk”之类的珍珠。 我认为想法比严格的结论更重要。 同时,想法不应落入“手”;一切都应严格。 我不喜欢Bourbaki和Knut这样的书。 在我看来,这些书适合任何用途,但不适合阅读和研究主题。 它们很好地用作链接和百科全书。

最后,我会引用Bertrand Russell的话:
欧几里德鄙视柏拉图介绍的实用工具。 他们说,一个学生在听完证据后问他通过学习几何学获得了什么? 欧几里得打电话给奴隶说:“给年轻人一分钱,因为他一定一定会从他的学业中受益。”
现在,我将继续主要部分。

先决条件


  1. 我认为您或多或少地在数学学校课程中学习。
  2. 我认为您并不是完全以英语来描述“您”,因为许多优秀的文学和课程都是用这种语言编写和叙述的。 数学英语并不像一般英语那样可怕。 这是一个非常有限的词汇,包含标准构造的句子,没有时间的杂乱,没有颜色的混乱等。
  3. 我假设您有一根绳子,可以将自己绑在椅子上。

难度等级


在每个数学学科上已经写了很多文献,这不是什么秘密,有时甚至连正确选择正确的书也成为问题。 我将在文献中重点介绍几个层次的复杂性,您知道该何处进行干预,以及到哪里进行攀爬(到目前为止)是没有必要的(或者您可以寻求更多信息)。

  1. 带上它 -主要的力量 ; 这些是被称为“必须拥有”的书。
  2. 给我带来很多伤害 -更高的水平,可以让您从鸟瞰的角度审视第1级,将知识系统化,并结合不同领域的知识。
  3. m-强烈的精神,穆罕默德的水平,数学和象牙塔爱好者。

路线图




我将实际通过特定的课程。

分析,他是微积分


在俄罗斯的大学里,他的教学非常有趣:大多数学生在课程结束后的几年里,都隐约记得那里只有一些积分,而且似乎还有其他东西。 尽管分析是一门学科,但实际上这是数学的基本原理之一。 通常,没有从理论到实践的桥梁,这条路线就像一个飞行的小岛,徘徊在头部的某个地方,完全脱离了现实生活。 此外,有必要通过解决问题来克服这一问题,这不仅是数学领域的问题,而且还需要“现实生活”中的问题。

您需要从分析中了解什么?


我们将需要的主要内容是极限,连续性,导数,许多变量的函数,梯度,积分,带变量上限的积分,多维积分*的概念。

文学作品


继续吧 :这里的一切或多或少都是标准的-Piskunov / Fichtenholtz
伤害了我很多佐里奇,第1卷 。 我非常非常喜欢这本书; 这不是一本教科书,而是一本有关公式的小说,例如Eugene Onegin。 不幸的是,它比标准分析课程更复杂,因为它包含了许多内容,而且您需要习惯它; 但是由于这种通用性,许多不同的事物链接在一起(请参见基础上的相同限制)。
噩梦佐里奇第1卷+第2卷,鲁丁“数学分析基础”,利沃夫“数学分析讲座”,拉玛南“全局演算”。

总的来说,这里的摘要是这样的:分析文献,即使是俄语的,也很充实。 教科书往往是纯数学的。 作为2-3级教科书的补充,我可以建议几门课程:


我没有看过MIPT演讲厅的分析课程,但是为了完整起见,我还将给出:


练习


练习和应用获得的知识不仅是“可选的”,而且是绝对必要的,否则整个理论将沉重地拖在您身上,您甚至在没有意识到的情况下很快陷入困境。

我建议考虑以下选项: Demidovich,MIT课程的问题集 (https://ocw.mit.edu/courses/mathematics/18-01sc-single-variable-calculus-fall-2010/index.htm)

线性代数


数据科学和一般科学的日常食品。 不幸的是,人们学会了很好地求解线性方程及其系统。 对于2级及以上的方程,有各种各样非常平凡的理论(可交换代数,代数几何以及其他类似的理论)。 因此,在数据分析中,主要使用线性模型(或广义线性模型,例如逻辑回归,感知器等)。

有很多关于线性代数的书籍。 问题在于它们是为数学家而写的,还是其中令人沮丧的索引很多(并且树后没有可见的森林)。 通常,大学课程的重点是约旦形式。 通常不提及其他标准形式; 有高斯和愚蠢的克莱默,但很少有关于LU和SVD发生的事情。

您需要从线性代数了解什么?


向量和向量空间的概念; 线性算子的概念; 操作员和矩阵的沟通; 矩阵分解(至少LU,SVD); 特征向量和特征值; 正交,运算符; 对称和厄米算子; 二次形式,简化为主轴。

文学作品


继续吧吉尔伯特·斯特兰(Gilbert Strang)的OCW-MIT线性代数课程+他的书
ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm

这门课程最好的事情是缺少线性代数的“复杂”定理,愚蠢的定理,各种对偶空间,书中的大量问题,面向实践的方法(不是“这是什么”,而是“如何计算”)。 我还没有见过关于线性代数的更多解释性课程。

给我带来很多伤害Axler“线性代数做对了”; Gelfand“线性代数讲座 ”; MIPT课程lectoriy.mipt.ru/course/LinearAlgebra ; Kostrikin“代数入门,第2部分”,Tyrtyshnikov“矩阵分析和线性代数”。

从这种复杂程度来看,书籍和课程的问题在于它们是理论上的。 有线性函数和对偶空间,但是在子空间上没有投影矩阵,没有计算特征值的实用方法。 最有可能的是,该级别的课程将必须辅以强有力的实践; 例如,通过线性代数的数值方法。

关于最后一本书分开。 在我看来,这是关于线性代数的最成功的俄语书籍之一,因为它与实践不是很脱离。 同时,它包含各种“高级”主题。 在某种程度上,它可以完全替代Strang的讲课,但还需要补充一些简单的任务来“充实您的手”。 本书中有一些问题,但是它们很严重。

噩梦科斯特里金·马宁(Kostrikin-Manin)的“线性代数和几何”,沙法列维奇·雷米佐夫(Shafarevich-Remizov)的“线性代数和几何”。

总的来说,俄语中有很多好的文学作品,尤其是在最后一级,但它却过于复杂。

练习


与第一种情况一样,需要实践。 SVD-学习图像压缩。 进行矩阵乘法-学习快速傅立叶变换,斯特森算法; 解决许多问题(例如,来自Kostrikin或Proskuryakov问题书 ); 写您的LU分解,高斯。 对于大多数持久性知识,我可以提供有关线性代数数值方法的精彩书籍,例如Trefethen,Bau“ NUMERICAL LINEAR ALGEBRA”; 霍恩·约翰逊《矩阵分析》 。 这些书首先对“塞”你的手很有用。 其次,将立即清楚的是,许多理论方法被分解为关于生命历程的碎片(机器精度,方法的不稳定性,稀疏矩阵的使用)。

离散数学


现代CS的另一条鲸鱼。 在这里,我们主要对组合学和图论的基础感兴趣。

您需要从组合学和图论中学到什么?


二项式系数,它们的渐近性; 图; 树木; 深度和广度搜索; 递归关系及其解决方案;

文学作品


来吧Anderson J.“离散数学与组合数学”; Haggarti,Schlipf J.,Whitesides S.“程序员的离散数学”,OreO。“图形及其应用程序”

前两本书-出色的离散数学Talmuds,涵盖了几乎所有您需要知道的问题。

给我带来很多伤害格雷厄姆,克努特,帕塔什尼克“具体数学”,哈拉里“图论”,矿石“图论”。

噩梦萨克科夫“离散数学组合方法概论”,奥梅利琴科“图论”。

练习


通常,关于组合语言学的教科书中包含大量问题。 他们必须解决。 实际上,所有组合学都是解决各种问题的艺术,而不是某些单一的理论。

Source: https://habr.com/ru/post/zh-CN432670/


All Articles