文学驿站

手机浏览器扫描二维码访问

第254章 倒行逆施（第1页）

在生成式对抗网络里面，第一个神经网络也就是生成式神经网络，生成式对抗网络的目的是希望生成的图像非常像自然界的真实图像，这样的话，那后面的第二个网络，也就是那个分类器没办法区分真实世界的图像和生成的图像；而第二个神经网络，也就是分类器，生成式对抗网络的目的是希望能够正确的把生成的图像也就是假的图像和真实的自然界图像能够区分开。

这两个神经网络的目的其实是不一样的，他们一起进行训练，就可以得到一个很好的生成式神经网络。

生成式对抗网络最初提出的时候，主要是对于图像的生成。

章杉论文里提出来的显然是将该方法应用到各个不同的问题上。

不过论文的着重点还是章杉针对如何从无标注的数据进行学习！

在文中他提出了一个新思路，叫做对偶学习。

对偶学习的思路和前面生成式对抗学习会非常不一样。

章杉发现很多人工智能的任务在结构上有对偶属性。

在机器翻译里面，章杉把中文翻译成英文，这是一个任务，但是章杉同样也需要把英文翻译成中文，这是一个对偶的任务。

这种原任务和对偶任务之间，他们的输入和输出正好是反着来的。

原本章杉还因为论文是系统弄得而心存愧疚，但现在看来这论文完全是照着他的思路去写的。

因为之前对多门语言的卓越性。

章杉自己本人来写这个论文的话，最可能想到的涉及对偶属性的应用也是翻译工作。

不过对偶工作不止于此。

在语音处理里面，语音识别是把语音转化成文字，语音合成是把文字转化成语音，也是互为对偶的两个任务。

在图像理解里面，看图说话，也就是给一张图生成一句描述性的语句，生成式对抗网络的对偶任务是给一句话生成一张图，这两个任务一个是从图像到文本，另外一个是从文本到图像。

在对话系统里面，回答问题和问题生成也是互为对偶的两个问题，前者是给定问题生成答案，后者是给定答案生成问题。

在搜索引擎里面，给定检索词返回相关文档和给定文档或者广告返回关键词也是互为对偶的问题：搜索引擎最主要的任务是针对用户提交的检索词匹配一些文档，返回最相关的文档；当广告商提交一个广告之后，广告平台需要给他推荐一些关健词使得他的广告在用户搜索这些词能够展现出来被用户点击。

对偶学习试图把这种结构的对偶属性应用在机器学习里。

其基本思想比较简单，章杉以机器翻译为例子来说明。

当我们想把一个中文句子翻译成英文，可以先用一个中文到英文的翻译模型，把这个句子翻译成英文的句子，因为没有英文的标注，所以不知道这个英文的翻译是好还是坏以及有多好多坏。

章杉再利用从英文到中文的翻译模型，把这个英文的句子翻译成中文的句子，这样一来，章杉就得到了一个新的中文句子。

整个过程包含了正向翻译和反向翻译互为对偶的两个步骤。

然后章杉比较原始中文的句子和后来得到的中文句子，如果两个翻译模型都很好的话，这两个中文的句子应该比较相似，如果两个模型不好或者有一个模型不好的话，得到的两个中文句子就不相似。

因此章杉可以通过这种对偶过程从无标注的数据获得反馈信息，知道章杉的模型工作的好还是不好，进而根据这些反馈信息来训练更新正向反向模型，从而达到从无标注数据学习的目的。

章杉在机器翻译里面做了一些实验，发现通过对偶学习的过程，章杉只需要用10%标注的数据（大概100万英法双语句对），再加上很多没有标注的数据，达到用100%标注数据（1200万英法双语句对）训练的模型的准确度。

一千万个训练语料标注的费用差不多2200万美元，如果章杉能把标注的人工费用从2200万美元降到200万美元，这会是一个非常好的结果，能够大大降低公司运营成本提高运营效率。

很多问题以前是因为受限于没有标注的数据，没有办法用深度学习技术。

现在章杉能够从无标注的数据进行学习，那么很多应用很多问题里面都可以应用深度学习技术。

论文到这里已经很牛了！

但仅仅如此吗~

章杉继续读完，很快就震惊了！