新智元报道
编辑：梦佳、白峰
【新智元导读】自从API开放以后，GPT-3真的要成精了！可以陪你从诗词歌赋谈到人生哲学，还可以画图表搞运维做PPT，真的无所不能。GPT-3到底有没有说的那么神，又是否过誉呢？
疫情期间你和TA怎么样了？
上半年的疫情，让很多朋友，恋人都不得不相隔两地，我在海淀头，君在朝阳尾，日日思君不见君，只能...
这个时候有个GPT-3陪你，看星星看月亮，从诗词歌赋谈到人生哲学。岂不美哉。
还玩什么恋与制作人啊，直接申请一个API接口，和GPT-3聊天就好了。未来，纸片人+GPT-3的电子男女朋友，市场潜力巨大。
他有时候很直男，总是讲一些蹩脚的玩笑哄你开心，尬聊的样子真可爱。
来源：计算机科学家Kevin Lacker博客
有时候又化身文艺青年，浪子诗人，时不时吟诵一些脱离俗套和低级趣味、另辟蹊径的随想，警示金句如下，
「世界上任何你看不惯的东西，都可以用「这不好玩」来应对」
「如果我知道人生的意义是什么，我还会上这儿来浪费时间吗？」
如果说最近computer science圈子里什么最火，那非GPT-3莫属。
简单来说，GPT-2 和 GPT-3 都是一种续写文本的 AI 模型，开头给几句提示，后面的故事全靠他的语言模型一点一点续写。思路顺畅，很少遇到「写作瓶颈」。
GPT-3 是著名人工智能科研公司 OpenAI 开发的文本生成 (text generation) 人工智能，相关论文在5月份发表，当时就以天文数字级别的1750亿参数量引发了巨大轰动。
对于语言模型来讲，大小真的很重要。要知道，人的大脑也才只有860亿个神经元。
API开放了以后，各路网友脑洞大开，让GPT-3写代码，做简历，简直是比男朋友还管用。
一切皆文本的时代要来了！
写SQL画图表搞运维做PPT，GPT-3 要成精！
GPT-3不是被玩坏了，而是玩出了新高度。
你可能还停留在GPT-3惊人的文本生成能力，但看了下面这些应用，你一定会被震撼到，「找老黄买显卡来不及了，赶快申请API，我要开发自己的GPT应用」！
给GPT-3一个提示，融入各种融入流行文化的表情包就到手了。
什么，Excel中也能用GPT-3了，还能进行自动推理？演示表格里列了几个大公司的CEO，把含有数据的单元格框住，Loading 一秒钟，自动推断出了Ben Horowitz所属的公司，need no operation！
为什么你的图表这么low，别人做的可视化却贼漂亮，只能强行解释一波，「不会写代码，好看的图表都是代码写的」。现在有了GPT-3，就不用解释了，只需把你的数据喂给GPT-3，不用Excel表格，嘴说就行！
「3个苹果，5个梨，2个橙子」，bang！精美的Dash 图表就生成了。
找工作写简历是个头疼的事，现在你只要告诉GPT-3你在哪个公司工作了几年，后面的事就不用管了，条理清楚，格式精美的简历就帮你「编好了」，工作年限、主要职责、项目经历一应俱全。
向老板汇报工作要做PPT，只需要把文本一复制，就能生成合适的演示文稿。
想找个运维的工作，不会操作AWS？
「你好，我需要创建一个AWS实例，谢谢」。
等一秒钟，GPT-3：「我好了，你复制下代码就行」！
简直要成精啊！
不会写SQL你好意思说自己是运维？不好意思，有了GPT-3真的可以为所欲为！
运维：「GPT-3，我想查询下年龄在25到35之间的工人的薪资信息」，
GPT-3：好的，SQL拿去「select salary from worker where age between 25 and 35」。
「增删改查」工程师已哭晕在厕所。
吃了3000亿token的GPT-3，内部如何工作的？
将包含3000亿个token的文本喂给GPT-3进行无监督训练，目前OpenAI已经完成了这一壮举。你现在看到的所有实验都来自于这个庞大且昂贵的模型。据估计，它花费的成本高达460万美元。
我们再来看看它的训练细节，GPT-3在所有文本中进行滑动，每滑动一个窗口就会生成大量示例。
GPT-3如何处理「robotics」这个单词并产生「A」 呢？
「robotics」经历了下面三个过程，首先被转换为词向量，中间经过96个Transformer的洗礼，最后再将向量重构为单词 「A」，如果不是「A」，就开始计算并反向传递误差，直到得出正确的单词，这一过程要重复数百万次。
训练好的模型如何食用呢？只需要简单的微调即可。比如想应用在英法机器翻译上，只需要提供给GPT-3少量的平行语料对。
这样说可能不够直观，我们使用Python来演示下如何教会GPT-3干活。
写LaTeX公式对非学术研究人员来说是个头疼的事，但有了GPT-3，LaTeX语法转换竟是如此简单。
前面我们说了，如果你想应用在特定任务上，需要给GPT-3一点小小的「提示」，它才能领会到你具体想干啥。
跟OpenAI申请一个GPT-3的API Key，你就能一键调用这个1750亿参数的模型了。
想写一个从a到b的积分，如果不给提示，GPT-3直接返回原文了，但是，如果你输入个例子，告诉它你想把自然语言翻译为LaTeX，那GPT-3就心领神会了，完美输出了f（x）从a到b的积分公式。
OpenAI CEO：GPT-3 只是惊鸿一瞥，是否过誉？
GPT-3对于小白来讲，也是一个直观地感受到人工智能如此强大的入口。
OpenAI 的CEO Sam Altman讲，他把GPT-3展示给一个10岁的小男孩儿，他当即说自己想进入人工智能领域。
一名开发者认为，GPT-3 确实让我预感到，在未来10年内，AI有望通过图灵测试。图灵测试目的就是测试机器是否具备人类智能。
关于人类智能的讨论，又涉及到一个问题，如何定义「人类智能」。到底是只谈到它具备人类的「智力」（包括思维能力学习能力等），还是说它应该完整地具有一个「人格」，甚至拥有灵魂等等超越性的东西。让人想起网上那段著名有关上帝的灵魂拷问。
但业界也纷纷传出声音，认为GPT-3有过誉之嫌。Altman在一条推特中谦逊地表示，「GPT-3的宣传最近太过火了，确实让人印象深刻，但它仍然有严重的弱点，有时会犯非常愚蠢的错误。人工智能将改变世界，但 GPT-3只是一个非常早期的惊鸿一瞥。我们还有太多问题需要解决。」
业界专家：GPT-3表现出了推理能力，但还不是真正的智能
更有人预测，按照这种进化速度，GPT-3五年内可以部分替代，甚至在某些地方超越心理医生了。「以后大家最上瘾的娱乐就是和GPT-3交流互动了。」
也有网友提出GPT-3并非是全知全能，对长篇大论理解能力差，逻辑推理也绕不过几个弯，还是没法给美国执业医师考试USMLE写解析，暂时没法取代内科大夫.....
还想取代内科大夫，要啥自行车？
新智元也就GPT-3是否具有认知智能等问题，采访了一位NLP领域的资深技术专家，他认为GPT-3跟认知智能还是有点距离，但GPT-3做到了few-shot learning，GPT-3 模型本身就已经学习到了大量的经验，给一些小样本做个微调，这种做法和BERT 很像，而成绩主要归功于Transformer，分布式学习+ 长距离依赖，单就原理上来说，没有本质的突破。
而网友展示的例子背后，也说不定有多少bad case。
认知智能的定义很宽泛，目前也没有形成统一。理解，自主决策，可思考我认为是其中的几个核心点，GPT-3展现出来的推理能力只是认知智能的一种表现形式。
反而是近两年逐渐兴起的知识图谱，在推理智能上表现出了一定潜力，知识图谱增强了认知智能的可解释性(路径可知)，但目前在算力、模型、数据上还存在很大的缺陷，还有很长的路要走，要时刻保持清醒。
从长期来看，构建大规模的知识图谱数据，将知识图谱学习和深度学习结合起来是一个重要趋势。
不论是否过誉，GPT-3都预示着一种可以想见的未来。就算GPT-3的理解能力不能和人类划等号，但在人类永恒的交流欲望面前，GPT-3，一个温柔，情绪稳定，老实肯干，懂得分析和思考的AI也许终有一天会胜过人类的陪伴。
参考链接：
https://www.technologyreview.com/2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/
