什么是深度学习

基本概念

人工智能

人工智能的简洁定义如下：努力将通常由人类完成的智力任务自动化。

• 符号主义人工智能： 1950s-80s 专家系统

• 机器学习：1980s - now

机器学习

• 分析机： 第一台通用的机械式计算机，分析机谈不上能创造什么东西。它只能完成我们命令它做的任何事情……它的职责是帮助我们去实现我们已知的事情。
• 阿兰·图灵在1950年发表了论文“计算机器和智能”，介绍了图灵测试，同时认为「通用计算机可以学习和创新」
• 新的编程范式：经典程序是「输入数据和规则，输出结果」，机器学习是「输入数据和预期的答案，输出规则」
• 机器学习是训练出来的，而不是明确地用程序编写出来的。将与某个任务相关的许多示例输入机器学习系统，它会在这些示例中找到统计结构，从而最终找到规则将任务自动化。
• 机器学习中的学习指的是：寻找更好数据表示的自动搜索过程
• 机器学习的技术定义：在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。

深度学习

• 深度学习是机器学习的一个分支领域，它是从数据中学习表示的一种新方法，强调从连续的层（layer）中进行学习，这些层对应于越来越有意义的表示。
• “深度学习”中的“深度”指的并不是利用这种方法所获取的更深层次的理解，而是指一系列连续的表示层。数据模型中包含多少层，这被称为模型的深度（depth）。
• 在深度学习中，这些分层表示几乎总是通过叫作神经网络（neural network）的模型来学习得到的。神经网络的结构是逐层堆叠。神经网络这一术语来自于神经生物学，然而，虽然深度学习的一些核心概念是从人们对大脑的理解中汲取部分灵感而形成的，但深度学习模型不是大脑模型。
• 你可以将深度网络看作多级信息蒸馏操作：信息穿过连续的过滤器，其纯度越来越高（即对任务的帮助越来越大）。
• 深度学习的技术定义：学习数据表示的多级方法。
• 神经网络中每层对输入数据所做的具体操作保存在该层的权重（weight）中，其本质是一串数字。用术语来说，每层实现的变换由其权重来参数化（parameterize，见图 1-7）。权重有时也被称为该层的参数（parameter）。
• 损失函数：想要控制一件事物，首先需要能够观察它。想要控制神经网络的输出，就需要能够衡量该输出与预期值之间的距离。这是神经网络损失函数（loss function）的任务，该函数也叫目标函数（objective function）。损失函数的输入是网络预测值与真实目标值（即你希望网络输出的结果），然后计算一个距离值，衡量该网络在这个示例上的效果好坏。
• 深度学习的核心算法：深度学习的基本技巧是利用这个距离值作为反馈信号来对权重值进行微调，以降低当前示例对应的损失值（见图 1-9）。这种调节由优化器（optimizer）来完成，它实现了所谓的反向传播（backpropagation）算法。