虽然这一设法布满远景，但并不是每一个人都以为它会推翻天下

　　虽然这一设法布满远景，但并不是每一个人都以为它会推翻天下。包罗乌斯科瑞特的父亲在内，虽然他曾经得到了两项谷歌传授科研奖（Google Faculty Research Awards），但关于儿子在谷歌的事情，他持有保存立场。乌斯科瑞特回想道：“人们对此感应惊奇，由于它丢弃了一切现有的神经构造形式。抛却轮回神经收集？在许多人看来，这险些是妖言惑众！从我和父亲在餐桌上的会商来看，我们的观点其实不老是分歧。”

　　荣幸的是，瓦斯瓦尼在Building 1945大楼事情时，偶尔听到了关于“自留意力”机制的会商，他立即意想到这多是他不断在寻觅的谁人严重项目。

　　沙泽尔的参加对项目相当主要。乌斯科瑞特注释说：“这些实际或直觉上的机制，好比‘自留意力’，总需求经历丰硕的‘把戏师’来仔细施行，才气闪现出其性命力。”沙泽尔立刻开端发挥他的“邪术”。他决议亲身编写转换器项目标代码： “我承受了他们的根本设法，然后本人入手去完成。”在这个过程当中，他偶然会向凯泽就教一些成绩，但大部合作夫他都是“专心苦干一段工夫，然后带着功效返来，说，‘看，它有用了。’”他使用了团队成员厥后称之为“邪术”、“炼金术”和“花狸狐哨”的本领，使这个别系到达了新的高度。

　　乌斯科瑞特对此感应有些绝望，但同时也愈加深信“自留意力”机制的宏大潜力和它在更庞大使命上的使用远景。他说：“这项手艺曾经被证实是有用的，它不只被用于谷歌的搜刮效劳，还被使用于告白等多个差别的范畴。从许多方面来看，这是一个惊人的胜利。但我不想就此止步。”

　　固然转换器模子的潜力宏大，但它并未立刻激发环球颤动，以至在谷歌内部也未惹起太多留意。凯泽回想，论文揭晓时，沙泽尔曾向谷歌高层提出一个斗胆的倡议：抛却全部搜刮索引，改成锻炼一个宏大的收集海内消息20字，完全改动谷歌构造信息的方法。这个发起其时看起来过分前卫，以至凯泽也以为有些荒唐。

　　同时，波洛苏欣与阿希什·瓦斯瓦尼（Ashish Vaswani）在事情上有所交集。瓦斯瓦尼是一名在印度诞生、中东长大的科学家，他在南加州大学完成了博士学位，并在该校的精英机械翻译小组获得了杰出成绩。以后，瓦斯瓦尼移居到山景城，参加了谷歌的谷歌大脑（Google Brain）团队。瓦斯瓦尼十分看好这个团队，以为它是一个布满生机和立异肉体的个人，他坚信神经收集将极大地鞭策人类的了解力。但是，他不断在寻觅一个可以充实阐扬他才调的大项目。

　　这句话提醒了转换器模子将来的有限潜力——它将根本使用于一切人类表达情势。论文中写道：“我们对基于留意力的模子的将来布满等待。我们方案将转换器拓展到触及文本之外的输入和输出形式的成绩，并深化讨论图象、音频和视频等范畴。”

　　这篇论文的八位作者现已局部分开谷歌，他们凭仗在转换器手艺范畴的深沉积聚，纷繁兴办了各自的公司。波洛苏欣创建的Near市值到达40亿美圆；帕玛尔和瓦斯瓦尼配合创建的Adept估值为10亿美圆，他们现正努力于创立第二家公司Essential AI，早期融资达800万美圆；琼斯在东京的Sakana AI估值2亿美圆；沙泽尔配合创建的Character AI估值高达50亿美圆；戈麦斯结合创建的Cohere估值为22亿美圆；而乌斯科瑞特的生物手艺公司Inception估值达3亿美圆。除Near外，这些公司均基于转换器手艺建立。

　　就在转换器论文揭晓后不久，草创公司OpenAI灵敏地捕获到了此中的商机。OpenAI的首席研讨员伊利亚·苏茨凯弗（Ilya sutskever）在谷歌时期与转换器团队有过打仗，他疾速倡议OpenAI的科学家阿列克斯·拉德福（Alex Radford）深化研讨这一理念。成果，基于转换器模子的第一个产物GPT便应运而生。OpenAI的首席施行官萨姆·奥特曼（Sam Altman）客岁暗示，当转换器论文揭晓时，他以为谷歌内部险些没人意想到其真实的意义。

　　另外一名新成员是利昂·琼斯（Llion Jones）他在威尔士的村落长大，从小就对电脑布满爱好，由于他以为电脑“纷歧般”，老是能带来无尽的欣喜。琼斯在伯明翰大学选修了一门野生智能课程，今后对神经收集发生了浓重的爱好。2009年，他顺遂得到了硕士学位，但在经济阑珊的布景下，他一度找不到事情，以至依托赋闲布施金渡过了几个月的困难光阴。幸亏厥后他胜利参加了谷歌。

　　跟着工夫的推移，谷歌大脑的其他研讨职员也开端对转换器项目发生爱好，他们也在测验考试改良狂言语模子。第三波参加的成员中，卢卡兹·凯泽（Lukasz Kaiser）和艾丹·戈麦斯（Aidan Gomez）尤其惹人瞩目。凯泽是一名诞生在波兰的实际计较机科学家，戈麦斯则是在加拿大安大概省的一个小乡村长大的年青人。固然戈麦斯最后只是以练习生的身份参加，但他很快因其才调和热忱得到了团队的承认。

　　当转换器团队收到集会偕行评审的反应时，他们感遭到了庞大的感情。帕玛尔暗示：“评审反应既有正面的，也有极其正面的，另有一些是‘普通’。”固然并不是一切评审都赐与了极高的评价，但这篇论文终极被领受，参与了一个早晨的海报展现会。

　　值得留意的是，凯泽是唯逐个个没有创建公司的人，他挑选参加了OpenAI，到场名为Q*的奥秘项目。这个项目被奥特曼形貌为可以“揭开蒙昧的面纱，鞭策探究的前沿”。

　　谷歌内部的实践状况愈加庞大。乌斯科瑞特回想道：“对我们来讲，转换器的潜力不言而喻，它可以完成真正使人惊讶的工作。你能够会问，为何谷歌在2018年没有推出相似ChatGPT的产物？实践上，我们完整有能够在2019年以至2020年推出相似GPT-3或GPT-3.5的产物。但成绩的枢纽不在于我们能否看到了这个时机，而在于我们能否对所看到的采纳了动作。这背后的缘故原由庞大且难以注释。”

　　跟着这些新手艺的需求增长，谷歌开端尽力调解其员工构造，以期构建可以发生相似人类反响的体系，好比主动完成电子邮件或创立简朴的客户效劳谈天机械人。

　　凯泽和戈麦斯很称心想到，“自留意力”机制是极具潜力的处理计划，无望处理他们当前面对的成绩。戈麦斯暗示：“颠末深图远虑的会商，我们终极决议兼并这两个项目，信赖这是准确的决议。”

　　邻近揭晓七周年之际，这篇论文已成传奇。八位作者以神经收集为基准，打造出史无前例的壮大数字体系，其准确水平使人赞赏，似乎出自外星智能。这类反动性架构，称为“转换器（transformer）”，成了诸多使人称奇的野生智能产物的机密兵器，包罗ChatGPT、Dall-E及Midjourney等图象天生器。

　　虽然转换器模子在学术界和产业界获得了宏大的胜利，但它在谷歌内部发生的影响却相对较小。文章阐发以为，这类状况部门是由于至公司的权要机制和对近况的依靠，招致谷歌未能完整阐扬转换器模子的潜能。而OpenAI等新兴企业却疾速捕获到了这一机缘。

　　在柏林办公室中，乌斯科瑞特分享了他对立异的观点：“立异的枢纽在于缔造相宜的前提。当人们对糊口中的美妙事物感应镇静，而且乐在此中的同时，还能处理一些真正主要的成绩，那末他们就是荣幸的——奇观天然会发作外洋最新科技。”（小小）

　　但是，在谷歌的高层看来，这能够只是又一个风趣的野生智能项目罢了。当《连线》杂志讯问项目团队成员，他们的下属能否曾请求他们报告请示项目停顿时，谜底能否定的。但乌斯科瑞特深信：“我们晓得这多是一件可以改动全部行业的大变乱。这使得我们对论文的最初一句话十分沉迷，那句话中我们在那边对将来的事情停止了斗胆的批评和瞻望。”

　　虽然遭受了质疑，乌斯科瑞特仍是坚决地信赖本人的理念，并胜利地压服了几位同事一同停止关于“自留意力”的尝试。这些勤奋终极获得了明显的功效，并在2016年揭晓了一篇相干的研讨论文。但是，当乌斯科瑞特发起进一步促进研讨，探究“自留意力”在处置更大范围文本序列上的潜力时，他的协作者们却纷繁暗示不感爱好。他们仿佛更偏向于将曾经学到的常识使用于实践项目上，相似于那些带着菲薄收益分开赌场的赌徒，他们对曾经得到的功效感应满意。

　　转换器的故事，要从八位开创作者中排名第四的雅各布·乌斯科瑞特（Jakob Uszkoreit）开端讲起。

　　因而，乌斯科瑞特、波洛苏欣和瓦斯瓦尼开端协作，草拟了《转换器：迭代“自留意力”和处置的通用架构》这份设想文件。乌斯科瑞特流露，他们之以是挑选“转换器”这个名字，是由于这类机制可以转换领受到的信息，使体系可以像人类一样提取尽能够多的了解力。别的，乌斯科瑞特还分享了他童年时的美妙回想，他说：“我很小的时分就有两个小变形金刚玩具。”他们以至在这份设想文件的末端附上了一幅卡通图：六个变形金刚在山区互射激光。

　　到了12月，这篇论文终究在集会上惹起了颤动。12月6日的四小时展现会场内济济一堂，科学家们急迫地期望理解更多关于转换器模子的信息。作者们解说至声音嘶哑，直到早晨10点30分集会完毕，仍有很多人不肯走。“安保职员不能不劝我们分开，”乌斯科瑞特回想说。对他而言，最合意的时辰莫过于计较机科学家、是非时间影象收集（LSTM）的配合创造者塞普·霍奇瑞特（Sepp Hochreiter）自动走来暗示赞扬。究竟结果，LSTM方才被转换器模子代替。

　　戈麦斯回想说：“这开启了我们的冲刺形式。”跟着行将到来的最初限期——5月19日，即神经信息处置体系集会的论文提交停止日期，团队的动力绝后高涨。跟着硅谷的冬季垂垂过渡到春季，他们的尝试程序也放慢了。团队测试了两种转换器模子：一个是颠末12小时锻炼的尺度模子，另外一个更壮大的“Big”模子则颠末了三天半的锻炼。接着，他们让这些模子开端停止英语到德语的翻译使命。

　　合理波洛苏欣为此埋怨时，乌斯科瑞特心血来潮，提出了一个能够的处理计划：“为何不尝尝‘自留意力’机制呢？”这个倡议惹起了波洛苏欣的爱好，他以为这个设法值得一试。

　　帕玛尔歌颂道：“谷歌在很多范畴都走在时期的前沿。他们投资于杰出的人材，营建了一个许可我们自在探究和应战极限的情况。人们需求工夫来承受新事物海内消息20字，这是一般的。而谷歌所负担的风险，无疑是宏大的。”

　　转换器模子的根底表示超越了一切人的预期，它轻松逾越了一切敌手，出格是所谓的Big模子，在展示出更高计较服从的同时，其BLEU分数更是革新了记载。帕玛尔暗示：“我们的处置速率超越了任何人，但这仅仅是开端，由于BLEU分数仍在不竭爬升。”听到这番话，乌斯科瑞特冲动地立刻翻开了他在爬山车上筹办的香槟，与世人共庆这一刻。

　　但是，就在2017年头，波洛苏欣分开了谷歌，创建了本人的公司。虽然云云，新的协作者开端连续参加乌斯科瑞特的团队。此中一名是妮基·帕尔玛（Niki Parmar），在移居美国之前不断在印度的一家美国软件公司事情。她于2015年得到南加州大学硕士学位，并收到了多家大型科技公司的聘任约请。终极，她挑选了谷歌，并参加了乌斯科瑞特地点的团队，专注于改良谷歌搜刮的模子变体。

　　瓦斯瓦尼泽回想道，有一天早晨，当团队正专心撰写论文时，他累得倒在了办公室的沙发上。在怠倦的模糊中，他注视着隔绝距离沙发和房间其他部门的窗帘，上面的图案给了他深入的启迪，他以为这些图案似乎大脑中的突触和神经元，错综庞大却又有序。他与在场的戈麦斯分享了这一设法，以为他们正在研讨的工具将远远逾越机械翻译的范围。他冲动地说：“终极，就像人脑一样，我们需求把语音、音频和视觉等身分同一到一个框架下。我有一种激烈的预见，我们正在探究的，是更加普遍海内消息20字、更加深远的工具。”

　　乌斯科瑞特在德国完成了大学学业，但最后并没有筹算深化研讨言语学。他进入研讨生阶段后，开端在谷歌山景城的办公室练习，并终极参加了谷歌的翻译团队，从而使他的职业轨迹发作了改变。同时，他还卖力办理家属的买卖。2012年，乌斯科瑞特做出了一个枢纽性的决议计划——抛却攻读博士学位，转而参加谷歌的一个出格团队。这个团队卖力开辟一个可以在搜刮页面间接答复用户成绩的前沿体系，而不需求将用户指导至其他网站。

　　乌斯科瑞特厥后坦言，虽然这类惊愕是没必要要的——Siri并未真正对谷歌组成要挟，但他关于有时机深化研讨能与人类停止某种情势对话的计较机体系而感应十分镇静。其时，所谓的轮回神经收集（recurrent neural network）开端脱颖而出，逾越了其他范例的野生智能办法。这类神经收集包罗多个层级，信息在各层间通报，寻觅最好的呼应方法。神经收集在图象辨认等范畴获得了严重打破，标记着野生智能开端再起。

　　和大大都科技公司一样，谷歌很快便为乌斯科瑞特及其团队的事情申请了暂时专利。这一做法并不是旨在障碍别人利用这些立异，而是出于成立本身专利库以应对潜伏专利争议的思索。

　　3月21日动静，在当前野生智能高潮中，“转换器”（Transformer）已成为狂言语模子和ChatGPT的中心基石。这项手艺来源于2017年，由谷歌的八名员工揭晓的论文《你所需求的是留意力》（Attention Is All You Need）。这篇论文在野生智能界惹起了如同“宇宙大爆炸”的震惊，完全改变了手艺的开展途径。今朝，这八位谷歌研讨职员均已分开谷歌，或是创建了本人的公司，或是参加了新的团队。《连线》杂志的资深编纂史蒂文·利维（Steven Levy）为我们揭开了转换器降生前后的幕后故事。

　　沙泽尔回想，某一天他正清闲地走在Building 1965大楼的走廊上安步时，偶尔途经凯泽的事情间，被内里强烈热闹的会商声所吸收，立足凝听。他回想说：“我听到阿希什镇静地议论利用‘自留意力’的设法，妮基也对此布满热忱。那一刻，我心想，哇，这听起来真是个好主张。这看起来像是一群才调横溢、智慧绝顶的人在做一项远景宽广的事情。”关于其时轮回神经收集的范围性感应不满的沙泽尔，心中涌起了一股激动：“让我们去交换它们吧！”

　　在停止日期行将到来的慌张时辰，他们仍在繁忙地搜集尝试成果。帕玛尔回想说：“在我们提交论文前的五分钟，英语翻译成法语的数据才方才出炉。我坐在Building 1965大楼的微型厨房里，从容不迫地在论文中填入最初一个数字。”在离停止工夫仅剩不到两分钟的状况下，他们终究提交了论文。

　　转换器团队动手构建一个基于“自留意力”机制的模子，用于言语翻译。他们接纳了名为BLEU（双语交换评测，bilingual evaluation understudy）的基准来权衡模子机能，这个基准经由过程将机械的翻译成果与人类的翻译停止比力。从一开端外洋最新科技，他们的新模子就展现了不凡的机能。乌斯科瑞特镇静地暗示：“我们从没有观点证实到最少具有了与是非时间影象收集（LSTM）相称的工具。固然一开端它并没有展示出相对LSTM的较着劣势，但我们信赖它的潜力远不止于此。”

　　杰弗里·辛顿（Geoffrey Hinton），虽然未到场此论文，倒是野生智能范畴的出色科学家之一，他高度评价转换器的主要性：“若无转换器，昔日之成绩不复存在。”他以为，OpenAI及其他公司构建的体系，已能天生可与人类媲美以致逾越人类极限的输出，标记着手艺的推翻性前进。

　　实践上，谷歌在2018年曾经开端测验考试将转换器模子融入其产物中，起首是在翻译东西上的使用。同年，谷歌推出了基于转换器的言语模子BERT，并在次年将其使用于搜刮功用。但是，相较于OpenAI获得的宏大胜利和微软斗胆地将基于转换器的体系整合进其产物线的办法，谷歌的这些底层变化显得相对守旧和慎重。

　　现在，这篇论文的八位作者都曾经分开了谷歌，各奔出息，持续操纵他们在2017年共创的体系，以差别方法影响天下。经由过程与所谓的“转换器八子”（Transformer Eight）深化交换，外媒试图揭开这项打破性手艺的降生历程，他们是怎样汇合人类的思惟与聪慧，共创能够终极逾越人类的机械？

　　但是，虽然晚期功效使人鼓励，但自那当前，他们的事情不断处于窒碍形态。直到2017年的一天，诺姆·沙泽尔偶尔传闻了他们的项目。沙泽尔是谷歌的一名资深员工，自2000年以来不断在谷歌事情，他到场构建了公司晚期的告白体系，是公司内部的传怪杰物。厥后他在深度进修范畴摸爬滚打了五年。而比年来，他对狂言语模子发生了浓重的爱好，但对这些模子在发生流利对话方面的表示感应绝望。

　　但是，轮回神经收集在处置长文本序列时面对宏大应战。比方，为了精确了解形貌“Joe是一位棒球活动员，吃了一顿丰富的早饭后，他去了公园打了会棒球”的文本，言语模子必需记着关于棒球的信息。用人类的言语来讲，这就是所谓的“存眷力”。为理解决这一成绩，业界提出了“是非时间影象”（LSTM，long short-term memory）模子，它许可言语模子处置更长、更庞大的文本序列。但是，计较机仍旧需求严厉顺次第处置这些序列，即一个单词一个单词地处置，这招致它们能够会错过文本后部的枢纽高低文线索。乌斯科瑞特对此暗示：“我们其时利用的办法就像是创可贴，固然能临时处理成绩，但没法让准确的计划真正大范围地阐扬感化。”

　　面临这些精英人材的离任，谷歌能否会感应遗憾？明显，谜底是必定的。面临“转换器八子”的离任缘故原由外洋最新科技，皮查伊安然回应，指出即使是行业俊彦OpenAI也面对着人材活动的征象。他夸大：“野生智能范畴本就是一个布满生机的竞技场。”同时，他也骄傲地暗示外洋最新科技，谷歌曾经构建了一个鼓舞非传统思想的情况。

　　在停止日期的最初两周内，团队堕入了猖獗的繁忙中。虽然名义上仍旧需求在Building 1945大楼办公，但他们大大都人挑选转移到Building 1965大楼事情，缘故原由只是那边的微型厨房里有一台更好的稀释咖啡机。练习生戈麦斯投入到了猖獗的调试事情中，同时还卖力建造论文中的精巧可视化材料和图表。他回想道：“我们测验考试了各类能够的手艺和模块组合，不竭地实验哪些有用，哪些无效。经由过程不竭的迭代、快速实验和纠错，我们终究完成了如今所说的转换器组件。”琼斯也歌颂了沙泽尔在简化事情中的枢纽感化，称他像是一个真实的“邪术师”， 总能化繁为简，提炼出最精髓的部门。

　　在学术圈内，作者排序历来是个敏感而奇妙的成绩。究竟结果每一个人都期望站在指导的地位，而不是被挤到前面。但是，在此项研讨中，每位到场者均留下了共同印记，为团队功效做出了不成或缺的奉献。跟着论文完成期近，研讨职员面对突破奉献者排序传统的主要决议计划。他们终极挑选了一种共同且立异的处置方法：在每位作者名字后标注星号，并在脚说明确指出，“列位作者的奉献划一主要，名次布列完整随机”。

　　沙泽尔回想这段过程，戏称若早知论文会云云盛名，他“大概会愈加纠结于作者排序”。现在，这八位作者已成为业界出名人士。排名第五的利昂·琼斯（Llion Jones）笑言：“以至有人找我合影，只因我的名字出如今了这篇论文中！”

　　2016年的某个午后，乌斯科瑞特与伊利亚·波洛苏欣（Illia Polosukhin）在谷歌的咖啡馆偶遇，两人在共进午饭时会商了波洛苏欣在事情中碰到的应战。作为一位在谷歌事情了近三年的科学家，波洛苏欣被分派到了一个手艺团队，卖力为谷歌搜刮范畴供给间接答复用户成绩的手艺撑持。但是，工作停顿得其实不顺遂。波洛苏欣注释说：“在谷歌搜刮上答复成绩，你需求一种既经济又高效的处理计划，由于你只要几毫秒的工夫来做出反响。”

　　转换器的降生恰是在如许一个情况中外洋最新科技。这篇论文的作者们，都是谷歌的精英中的精英，他们在多样化的文明布景下配合事情，一样平常的偶遇和午饭时的随便攀谈都能够激起出立异的思惟火花。这个团队的多样性是其胜利的枢纽之一：八位作者中，有六位来自美国之外的国度。

　　约莫在2014年，乌斯科瑞特开端构想一种全新的办法，他称之为“自留意力机制”（Self-Attention），这类机制许可神经收集经由过程援用文本中的其他部门信息来翻译单词，协助廓清单词的企图，从而发生更精确的翻译。他注释说：“自留意力机制可以思索一切身分，并供给一种有用的方法，许可同时检察多个输入，然后有挑选性地挑选出某些工具。”虽然野生智能科学家凡是制止将神经收集的事情方法与人脑的实践事情方法等量齐观，但乌斯科瑞特却信赖“自留意力”机制与人类处置言语的方法有着必然的类似性。他以为，“自留意力”模子不只能够比轮回神经收集更快、更有用。更主要的是，其处置信息的方法十分合适那些为撑持机械进修高潮而设想的壮大并行处置芯片。它摒弃了传统的逐一单词线性处置办法（即顺次第检察每一个单词），转而接纳一种并行处置方法，即一次性检察多个单词并处置。乌斯科瑞特揣测，假如操纵恰当，“自留意力”机制能够只需一个算法，就可以完成比传统办法更超卓的机能。

　　为了鞭策这一理念的完成，乌斯科瑞特决议在位于谷歌园区北端查尔斯顿路的Building 1945大楼概述他的愿景。

　　很多科技行业察看者指出，谷歌正在从一个以立异为中心的企业改变为一个更重视利润的权要机构。戈麦斯对此深有领会：“他们缺少改动的勇气。但关于一家持久引领行业、得到巨额利润的至公司而言，做出改动的确需求极大的勇气海内消息20字。”

　　此时，苹果公司方才公布了智能助手Siri，许诺可以在一样平常对话中为用户供给立即谜底。这项立异给谷歌的高层带来了宏大的合作压力，他们担忧Siri能够会分流谷歌的搜刮流量。因而，谷歌开端愈加正视乌斯科瑞特地点的团队。

　　在靠近停止日期的几个不眠之夜里，乌斯科瑞特地想到他们需求为这篇论文起一个嘹亮的题目。琼斯也留意到，团队曾经完整抛却了那些被公以为最好理论的办法，出格是是非时间影象收集（LSTM），转而经心投入到“自留意力”模子的研讨中。灵感来自于披头士乐队的一首典范歌曲《你所需求的就是爱》（All You Need Is Love），琼斯脑海中闪现出一个设法：为何不将论文定名为《你所需求的是留意力》（Attention Is All You Need）？这个题目不只简约清楚明了，并且富有深意，完善地符合了他们的研讨功效。

　　琼斯最后是在谷歌研讨中间事情，间接下属就是波洛苏欣。一次偶尔的时机，他从同事马特·凯尔西（Mat Kelcey）那边传闻了“自留意力”的观点，这一立异设法立即激起了他的浓重爱好，他绝不踌躇地参加了转换器团队。

　　客岁，当被问及为什么谷歌没有领先推出相似ChatGPT的大型言语模子时，谷歌首席施行官桑达尔·皮查伊（Sundar Pichai）注释说，在某些状况下，让其他公司先行探究市场多是有益的。他暗示：“我其实不完整肯定这类做法能否老是行得通。但究竟是，当人们看到其他公司怎样操纵这些手艺后，我们有时机做得更多、更好。”

　　2017年春，科技论文《你所需求的是留意力》（Attention Is All You Need）问世，签名八位作者，均为谷歌研讨职员，虽然此中一人其时已悄悄离任。诺姆·沙泽尔（Noam Shazeer）初见论文草稿，惊见本人首屈一指，意想到本人的奉献相当主要，他对此暗示：“我从未想过如许的成绩。”