重塑千禧年代 第1477节 (第6/7页)

 is love》便不禁微微一笑，那篇由谷歌发布《attention is all you need》的名字就是来自披头士的这首歌。

    陆奇与埃尔德、吴恩达打了招呼，没聊几句就转入了深度学习dl的话题，也就立即打起精神，讲述自己更多的想法。

    这两位在易科都不简单，一位总领研发范畴的事务，一位是深度学习的主要负责人，虽说自己算是空降组建深度学习事业部，但资源的分配和使用也需要相互的沟通。

    陆奇能在微软做到高位，自然不会轻视人事工作。

    “谷歌那边把自注意力机制的模型在论文里命名为transformer，我问了问，他们内部是在开发新的nlp模型了。”吴恩达谈到上次业界探讨后的变化。

    吴恩达之前是斯坦福的副教授和人工智能实验室主任，而在加入易科前就在谷歌负责相关工作，与那边的研究交流没有中断，上次的激辩同样给他带来不少灵感。

    陆奇点点头，也说着自己掌握的消息：“业界对于transformer的表现很认可，像去年成立的openai，他们现在也在着手研发一款以transformer为核心的大模型，干脆直接以它命名，叫gpt，geive pre-trairansformer。”

    openai是一家去年成立的公司，有不少领域内知名的人物参与。

    方卓这时候简单总结道：“难道谷歌的这个transformer真就能超过rnn和了？我们在这两方面已经投入很多了。”

    rnn是循环神经网络，是卷积神经网络，易科的siri是基于前者，太白