文学驿站

手机浏览器扫描二维码访问

第253章 ai革命（第3页）

任务量。

毫无疑问，这是一种全新的机器学习方式！

最起码，这种全新的模型在处理动态信息上取得的成绩将是革命性的。

浅度学习名字听起来有点怪异！

之所以不叫听起来更直白明了的浅层学习。

是因为事实上浅层学习曾经出现在历史的舞台上！

由于人工神经网络的反向传播算法（也叫BackPropagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了“基于统计模型“的机器学习热潮。

这个热潮一直持续到今天。

人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律，从而对未知事件做预测。

这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显示出优越性。

这个时候的人工神经网络，虽然也被称作多层感知机（Multi-layerPerceptron），但实际上是一种只含有一层隐层节点的浅层模型。

到了90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，SupportVectorMachines）、Boosting、最大熵方法（如LR，LogisticRegression）等。

这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。

这些模型无论是在理论分析还是应用中都获得了巨大的成功。

相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期浅层人工神经网络反而相对沉寂。

不过叫浅度学习似乎也不太妥当，之前的浅度学习通常指的是浅度监督式学习~

浅度的监督式的具有1个隐藏层的神经网络具有一些受人喜爱的性质，使得它们比深度网络更容易被解释、分析和优化；但它们的表征能力却不及深度网络。

一般使用了具有1个隐藏层的学习问题来序列式地逐层构建深度网络，其能够继承浅度网络的属性。

章杉在论文中也提及了这些~

浅度监督学习通过反向传播算法在大规模有监督数据上训练的深度卷积神经网络已经成为了大多数计算机视觉任务中的主导方法。

这也推动了深度学习在其它领域的成功应用，比如语音识别、自然语言处理和强化学习。

但是，我们仍然还难以理解深度网络的行为以及它们表现出色的原因。

这种困难的一大原因是网络的层中采用了端到端的学习方式。

监督式的端到端学习是神经网络优化的标准方法。

但是其也存在一些值得考虑的潜在问题。

首先，使用全局目标就意味着一个深度网络的单个中间层的最终函数行为只能以间接的方式确定：这些层是如何协同工作以得到高准确度的预测结果的，这一点却完全不明晰。

有一些研究者认为并且通过实验表明CNN能够学习实现这样的机制：将不变性逐渐诱导成复杂但不相关的可变性，同时增加数据的线性可分性。

通过求解浅度监督学习问题而实现的CNN层的序列学习是一种可替代端到端反向传播的方法。

这一策略可以直接指定每一层的目标，例如通过激励对表征的特定属性的精细化，比如渐进的线性可分性。

然后，就可以根据对浅度子问题的理论理解来开发用于深度贪婪式方法的理论工具。

但传统的浅度监督学习各种各样的缺点还是较为明显。