今亮点！AI圈头条！谷歌Transformer开山论文惊天「翻车」

(资料图片仅供参考)

编程客栈（）5月10日 消息:AI圈大头条!谷歌大脑的NLP奠基之作、提出Transformer架构的开山鼻祖级论文 《Attention Is All Your Need》竟然出现图与代码不一致的问题。

今天，谷歌的开创性论文《Attention Is All Your Need》中变压器架构的原始图表被发现是不正确的，LayerNorm处于错误的位置。然而，一篇新论文表明，将Pre-LN和Post-LN结合起来可以解决梯度爆炸和消失的问题。

论文地址:https://arxiv.org/abs/17python06.03762

代码地址:

https://github.com/tensorflow/tensor2tensor/commit/f5c9b17e617ea9179b7d84d36b1e8162cb369f25#diff-76e2b94ef1javascript6871bdbf46bf04dfe7f1477bafb884748f08197c9cf1b10a4dd78e

据悉，Transformer架构是人工智能的基石，自2017年发表以来，该论文已被引用超过7万多次。在图表中发现错误引发了对该领域其他开创性论文准确性的质疑。

图中的错误可能导致转换器体系结构的不正确实现，这可能会影响使用它构建的模型的性能。

关于使用Pre-LN还是Post-LN的讨论正在进行中，新论文中提出的两种方法的结合可能会导致人工智能模型开发的进一步发展。

推荐DIY文章

环球短讯！情商与影响力 智商略低的人 如果情商指数较高也能成功

罗伯斯拉刘翔的比赛结果 刘翔以12.93秒的成绩夺冠-世界球精选

光影之争泰剧老版电视剧介绍 又名光影之争或寻爱记

弗洛伊德的名言！：健康的人总是努力工作，热爱他人

画面精美的单机游戏 风的旅行者可以在这个广阔的世界中旅行

​无人机航空摄影测量 无人机航测是传统航空摄影测量的有力补充_全球观察