位置:好牛资讯网 > 财经 > 正文 >

Transformer 五年引用超四万,六位作者创立五家创业公司,仅一位作者还留在谷歌

2022年05月13日 20:35来源:未知手机版

无公害农产品

时隔五年,Transformer 的八位作者仅有一位还留在谷歌。

>>>>

如果你在一家大厂做出了一份行业里程碑式的研究,那么接下来的职场生涯你会怎么走?继续留在这家大厂?换一家待遇更好的大厂?还是创业或加入有前景的创业公司?

Transformer(出自论文《Attention Is All You Need》)几位作者的选择或许有一定的代表性:其中六人选择创业或加入创业公司,只有一人选择继续留在谷歌,还有一位去了 OpenAI。

图源:推特用户 @Nathan Benaich。

这篇重要论文发表于 2017 年,如今引用量已经突破 41000。论文注释中写道,几位作者对这份研究做出了不同但同等重要的贡献(排名随机)。具体来说,他们的分工可以概括为:

Jakob 提出用自注意力替代 RNN,并开始努力尝试这一想法; Ashish 和 Illia 一起设计并实现了第一批 Transformer 模型,并重度参与了 Transformer 架构的各方面工作; Noam 提出了缩放点积注意力、多头注意力和无参数位置表示,并成为几乎每一个细节的参与者; Niki 在原始代码库和 tensor2tensor 中设计、实现、调优和评估了无数的模型变量; Llion 还尝试了新的模型变体,负责初始代码库以及高效的推理和可视化; Lukasz 和 Aidan 花了无数天的时间来设计和实现 tensor2tensor 的各个部分,替换了早期的代码库,极大地改善了结果、加速了研究进度。

可以说,每位作者都有自己擅长的工作,对于行业也都有自己的预判。论文发表五年之后,他们都在做什么呢?以下是我们能够查到的信息。

Ashish Vaswani、 Niki Parmar:投身通用智能

2022 年 4 月 26 日,一家名为 「Adept」 的公司官宣成立,共同创始人有 9 位,其中就包括 Ashish Vaswani 和 Niki Parmar。

Ashish Vaswani 在南加州大学拿到博士学位,师从华人学者蒋伟(David Chiang)和黄亮(Liang Huang),主要研究现代深度学习在语言建模中的早期应用。2016 年,他加入了谷歌大脑并领导了 Transformer 的研究。

Niki Parmar 硕士毕业于南加州大学,2016 年加入谷歌。工作期间,她为谷歌搜索和广告研发了一些成功的问答和文本相似度模型。她领导了扩展 Transformer 模型的早期工作,将其扩展到了图像生成、计算机视觉等领域。

Ashish Vaswani、Niki Parmar 等人共同创立的 Adept 是一家致力于用 AI 来增强人类能力并最终实现通用智能的公司。在阐述公司创立初衷时,创始人写道,「在谷歌,我们训练出了越来越大的 Transformer,梦想着有朝一日构建一个通用模型来支持所有 ML 用例。但是,这其中有一个明显的局限:用文本训练出的模型可以写出很棒的文章,但它们无法在数字世界中采取行动。你不能要求 GPT-3 给你订机票,给供应商开支票,或者进行科学实验。」

因此,他们打算创建一个通用系统,帮助人们在电脑前完成工作,「你可以把它想象成你电脑里的一个 overlay,它和你一起工作,使用和你一样的工具。使用 Adept,你能专注于你真正喜欢的工作,并要求模型承担其他任务。例如,你可以要求模型生成月度合规报告,所有这些都使用现有的软件,如 Airtable、Photoshop、ATS、Tableau、Twilio。」

Noam Shazeer:神秘创业者

Noam Shazeer 是谷歌最重要的早期员工之一。他在 2000 年底加入谷歌,直到 2021 年最终离职。

本文地址:http://www.hnnjjl.cn/caijing/245979.html 转载请注明出处!

今日热点资讯

...全部链接: