太空第二课完整版,tkde( 二 )


本书第一章首先回顾了 NLP 的基础知识以及本书后续章节所涵盖的 NLP 的主要范围,然后深入探讨了 NLP 的历史发展,总结为三大浪潮和未来方向 。第 2-10 章对应用于 NLP 的深度学习最新进展进行了深入研究,分为九个单独的章节,每个章节涵盖 NLP 的一个(很大程度上是独立的)应用领域 。每章的主体由在各自领域积极工作的主要研究人员和专家撰写 。
目录如下:Chapter 1: 深度学习与自然语言简介(邓力,刘洋)Chapter 2: 对话理解系统中的深度学习(Gokhan Tur, Asli Celikyilmaz,何晓冬,Dilek Hakkani-Tür, 邓力)Chapter 3: 语音与文本对话系统中的深度学习(Asli Celikyilmaz, 邓力, and Dilek Hakkani-Tür)Chapter 4: 语法与词法分析中的深度学习(车万翔 张岳)Chapter 5: 知识图谱中的深度学习(刘知远,韩先培)Chapter 6: 机器学习中的深度学习(刘洋,张家俊)Chapter 7: 问答系统中的深度学习(刘康,冯岩松)Chapter 8: 情感分析中的深度学习(唐都钰,张梅山)Chapter 9: 社交计算中的深度学习(赵鑫,李晨亮)Chapter 10: 看图说话中的深度学习(何晓冬,邓力)Chapter 11: 后记(邓力,刘洋)在调查了应用深度学习的 NLP 领域的突出成功之后,作者指出并分析了当前深度学习技术的几个主要局限性,涉及一般以及更具体的 NLP 领域 。
这项调查为 NLP 指出了五个未来的前沿发展方向:神经 - 符号整合框架、探索更好的记忆模型、更好地利用知识,以及更好的深度学习范式(包括无监督和生成学习、多模态和多任务学习和元学习) 。整本书共有 11 章,包含了深度学习在 NLP 中各个领域的研究与应用,并且在全书的最后一部分,作者们讨论了基于 DL 的 NLP 如何扩展到更为通用领域 。
泛化的本质是将深度神经网络(如:参数化功能块的计算图表)从静态转为动态 。这意味着泛化可以使由许多可微分模型组成的网络架构以数据相关的方式进行实时创建 。正如本书很多章节中使用逻辑表达式、条件、赋值和循环等进行程序化编程,在可微分编程模型中,涉及到存储、注意、堆栈、队列和指针模块的深度神经网络架构亦如此实现 。
实际上,当前的深度学习框架(如: PyTorch, TensorFlow, Chainer, MXNet, CNTK 等)更要追求模型的灵活性,因为一旦高效的编译器被开发出来,我们将需采用一个全新的软件实现方式 。以循环和条件判断为主的传统编程逻辑将被淘汰,取而代之的是由神经网络实现的参数化功能模块的组装图表 。
其中的关键技术在于,基于模型的可微分性,使用高效的梯度优化方法,通过端到端的反向传播学习从数据中自动训练出组装图表中的所有参数,比如神经网络的权重以及定义网络非线性和存储模块的参数 。总之,相信在不久的将来,以广义深度学习或可微分编程框架所创建的更加强大、更加灵活、更加先进的学习架构可以解决本书中所列举的 NLP 前沿研究领域的遗留问题 。
不止于本书中所提及的研究成果,新的成就将会像雨后春笋般涌现,这一切都将会使我们越来越接近通用人工智能实现的日子 。那时,NLP 将会成为通用人工智能的一个重要组成部分呈现在大家面前 。此外,读者可以看看原书语言建模与基于注意力的机器翻译两小节截图,从而对整本书的风格与内容有大概的了解:作者介绍主编邓力博士(人工智能科学家),2017 年 5 月至今任对冲基金公司 Citadel 首席人工智能官(Chief Artificial-Intelligence Officer) 。
之前任微软人工智能首席科学家 。邓力在 2009 年就同 Geoffrey Hinton 教授合作,首次提出并将深度神经网络应用到大规模语言识别中,显著提高了机器对语音的识别率,极大推动了人机交互领域的发展与进步 。目前,邓力的研究方向主要为应用于大数据、语音、文本、图像和多模态处理的深度学习和机器智能方法,以及人工智能和深度学习在金融领域的应用 。

推荐阅读