谷歌翻译这几只月的提高速度突然加快是什么原因？
匿名用户 2小时前 36 语言翻译 谷歌 本题已收录至百晓知道圆桌：机器之能 X 语言之美，更多「人工智能」相关话题欢迎关注讨论。曾经的印象中，谷歌翻译只是用来翻译单词、用来对文段粗解大意的。今天查文献的时候，一时懒得一个个查单词了（几乎都是专业英语），就扔给了谷歌翻译，结果产生了以下效果：几乎没有任何语法错误读下来很通顺都不用改的好吗……而且很牛逼的是1 长句的语序也可以撸得很顺毫无违和感2 多义词的词义选取和近义词的筛选也比之前靠谱多了3 英译… 0 赞 0 踩 其他回答作为Google员工，我来谈谈两个令我体会比较深刻的原因吧。
1. 神经网络/深度学习在机器翻译上的飞速进展。
大概在14年左右的时候，关于在机器翻译上应用神经网络/深度学习的论文开始大量地被发表。[Sutskever et al., 2014]把基于RNN的序列到序列（seq2seq）模型应用于机器翻译的任务上。
后来因为单纯的seq2seq对于长句的效果不佳，引入了注意力机制（Attention）。[Bahdanau et al., 2015, Luong et al., 2015]。
大概的意思是把编码层的输出和解码层的输出结合起来计算一个含有对齐信息的上下文向量(Context Vector)。由于带上了对齐信息，对长句的翻译效果有了显著的提高。
再后来是去年诞生的GNMT [Wu et al., 2016]，在上述工作的基础上加入了一些改进，如：
1）用WordPiece来解决低频词的问题。这个就相当于是子词，如 wordpiece 会被拆分成word和piece两个子词。
2）加入了残差连接（ResNet），提高了更深的网络的可训练性。
3）双向RNN。
基本上，每一次改进都是在原先的神经网络中一些新的结构来改善原先模型不足的地方。不得不说，神经网络其中一个美妙之处就在于可以很容易地通过在上面加结构/连接来改变模型性质，所以实验一种新的模型不是一件难事，这也是促成神经网络在各个应用上研究大爆发的其中一个原因。
当然，为了解决RNN训练慢的问题，后来又有研究者提出了基于CNN的方法[Gehring et al. 2017]，纯粹Attention的方法[Vaswani, et al., 2017]。这些方法摈弃了传统的RNN方法，不过我们仍然可以看到组成这些模型的各个子结构大部分都是一些已经存在的结构。
另外值得一提的是，上述模型都是端到端的模型（模型的输入和输出都是句子），不需要我们去处理语法/句法之类的问题。这其实就是降低了机器翻译研究的门槛，即不需要太多的领域内的专业知识。
2. Tensorflow在Google内部的广泛应用，以及Google内部对Tensorflow强大的基础设施支持。
Google有着大量的机器集群，并且对Tensorflow有着很好的支持。在这些集群上部署神经网络训练任务是一件轻而易举的事情。基本上，我们只需要指定所需要的资源，就可以把我们的训练任务部署在机器集群上。这就大大地降低研究的成本。这不但把研究者们从这些琐碎的事情上解放出来专心于网络结构的研究，而且可以让研究者们同时进行很多实验去验证他们的想法、快速迭代。快速迭代对于研究真的非常非常重要。
当然，硬件革新也是很重要的，近年来GPU越来越快，并且Google自家也开发了专门用于机器学习的TPU。这都是对于减低实验时间成本有着很积极的作用。
顺带一提，Google已经在Tensorflow的官方教程中加入了关于机器翻译的教程（https://www.tensorflow.org/versions/master/tutorials/seq2seq）。如果哪位同学对这个感兴趣的话，可以比较容易地跟着上面的教程，开发一个自己的机器翻译模型出来。
Da Huang 1小时前 0条评论 0 赞 0 踩
Found in translation: More accurate, fluent sentences in Google Translate
Neural Machine Translation has been generating exciting research results for a few years and in September, our researchers announced Google's version of this technique. At a high level, the Neural system translates whole sentences at a time, rather than just piece by piece. It uses this broader context to help it figure out the most relevant translation, which it then rearranges and adjusts to be more like a human speaking with proper grammar. Since it’s easier to understand each sentence, translated paragraphs and articles are a lot smoother and easier to read. And this is all possible because of end-to-end learning system built on Neural Machine Translation, which basically means that the system learns over time to create better, more natural translations.
简单说就是去年九月谷歌搞出了一个叫「神经机器翻译」的大新闻，让谷歌翻译学会了整句翻译，而不是一个字一个字的蹦。
谷歌的程序猿们利用端到端学习系统，让它自己学会了说人话。
当然有时间的话你也可以到 http://g.co/translate/community 谷歌翻译社区去调教谷歌娘，让她更快更好的学会人类怎么说话。
就是这样，喵。
曹哲 1小时前 0条评论 0 赞 0 踩 登录后可回答 提交回答
