零基础入门深度学习,深度学习是什么( 八 )


3,深度,由于深,造成反向传播的梯度往往越来越弱,而造成梯度消失问题 。各类深度学习的领先算法往往是围绕解决梯度消失问题 。图: 臭名昭著的局部极小值问题 。我们用一些非常简单的实例说一下深度学习的几个主要应用方向与数学的结合:阶段1:多层神经网络(DNN)的前传与回传(BP)算法。理解DNN的前向传递过程,这个过程里包含了线性代数的空间变换思想和简单的高数 。
这算是第一难度梯级,你需要掌握的是BP算法,这里含有多元微积分一个最基本的法则: 链式求导和jacobian矩阵 。在此处你会对维度产生全新的认识 。阶段2:深度学习的中流砥柱CNN卷积运算 : 这里应用的数学是卷积本身,你要通过高数掌握卷积的本质,体会它与相关性,傅立叶变换等运算之间的联系 。
这部分也属于高数内容,而卷积运算本身也需要强大的线性代数基础 。阶段3: RNN网络与微分方程 。RNN似乎包含比别家算法多很多的数学知识,因为RNN的运算和调参你需要理解一些非线性动力系统的基础知识 。如定点,边缘稳定性和混沌 。非线性动力学是物理的内容,但是大部分讲的是数学,这点物理系的学的会很有优势 。
阶段4:深度强化学习 。这时候你的数学工具要包含bellaman 方程,控制论的一些基础知识,更多关于马尔可夫过程和时间序列的知识 。简单的控制论你看看会很好的助力你对整个机器学习用于机器人控制的理解,而马尔科夫决策树的基础知识学了你会觉得什么阿尔法狗阿尔法元都挺简单的 。阶段5: 生成式模型与GAN对抗网络 。
这部分的数学难度应该与深度强化学习在同一难度上 。需要对概率论有比较深的理解 。最基础的生成模型你要理解玻尔兹曼机这个与统计物理渊源很深的模型,需要较深的概率统计知识 。GAN生成对抗模型的目标函数含有了大名鼎鼎的博弈论思想 。纳什均衡都进来了啊,虽然这时候的优化理论已经飞一样的难,你还是会有一种融汇贯通的感觉 。
阶段6:信息瓶颈理论? 计算神经科学前沿? 铁哥恭喜你此处要告别尘缘了 。深度学习的尽头必然要与我们对认知和信息本质的基础认识相连 。此处针对希望做深度学习研究的人员 。基础教材推荐:陈希孺院士的《概率论与数理统计》,这是一本数理统计的入门级教材 。最好的统计中文教材 。参考评论 https://d.cosx.org/d/14990-14990龚升的《简明微积分》 。
人工智能的深度学习是什么意思?好学么?
我们来一起梳理一下人工智能与深度学习的关系 。人工智能首先,大家所谈论的人工智能可以分为两个层面:“强人工智能”和“ 弱人工智能” 。其中:弱人工智能希望借鉴人类的智能行为,研制出更好的工具以减轻人类智力劳动,类似于“高级仿生学” 。强人工智能希望研制出达到甚至超越人类智慧水平的人造物,具有心智和意识、能根据自己的意图开展行动,可谓“人造智能” 。
AI技术现在所取得的进展和成功,是缘于“弱人工智能”而不是“强人工智能”的研究 。要想让AI借鉴人类的智能行为,关键的一个环节是让AI模拟人类的学习行为 。所以,这里面有个非常关键的技术,叫做机器学习 。机器学习机器学习是专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能 。
机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎 。目前的机器学习可以分为三大类:(1)有监督的学习数据具备特征(features)和预测目标(labels),又分为:a.二元分类简单粗暴地理解,即让AI做是非题b.多元分类可以理解为,让AI做选择题c.回归分析可以理解为,让AI做计算题(2)无监督的学习从现有数据并不知道预测的答案,无预测目标(labels) 。

推荐阅读