一文全面解析人工智能GPT-3模型到底有多厉害

对刚踏入媒体圈的新人来说，职业生涯的开局就要直面一场来自AI的“暴击”——GPT-3来了。它写文章、编故事的能力，比上一代又上了一个台阶，甚至让人怀疑自己是不是刚入行就要失业。

这次OpenAI在微软Azure算力加持下放出的GPT-3，是个实打实的“怪兽级”NLP模型。1750亿参数，比今年2月微软刚推出的全球最大深度学习模型Turing NLG大了整整10倍，是前身GPT-2参数的100倍。下面这张图表能让你直观感受一下它的段位——高处不胜寒。

支撑这个体量的是同样庞大的训练数据集：基于包含近1万亿单词量的CommonCrawl数据集，加上网络文本、百科等，总计45TB。训练成本更是飙到1200万美元——这个规模，个人开发者和小团队已经彻底玩不起了。

最近铺天盖地的GPT-3介绍文章里，很多人关注的是它惊人的参数数量和五花八门的文本生成能力：写文章、编故事、搞翻译、多轮对话、写代码、做数学运算、给表情包配文、做表格、生成图标……几乎在文本领域无所不能。有人惊呼“真正的AI来了”、“GPT-3可以改变世界”，也有人冷眼评价“这不过是形象工程”、“赤裸裸的炫富”。

无论你怎么看，一个容易被忽略的事实是：OpenAI现在开放GPT-3的API，核心目的之一就是推动商业化。那么，哪些领域已经开始落地变&现？哪些地方还差强人意？这些问题或许比单纯讨论模型参数更有意思。

GPT-3到底有多厉害？

相比前代GPT-2，GPT-3在训练方式上没什么本质变化——依然是单向语言模型，只是数据和参数量级有了飞跃。但它的表现至少验证了一个朴素道理：把深度神经网络不断做大，它确实能变得更聪明。

和当前主流的BERT模型相比，GPT-3主要解决两个问题：一是减少对各领域标注数据的依赖，二是避免过度拟合特定领域的数据分布，从而训练出一个更通用、更泛化的NLP模型。它的核心目标是用更少的领域数据，甚至不需要微调，就能直接解决问题。

（图源：李宏毅《深度学习人类语言处理》）

直观理解上面这张图：GPT-3力图拿掉Fine-tune（微调）环节，也丢掉Task-Specific的示例资料，直接对特定领域的问题作答。研究者用Zero-shot、One-shot、Few-shot三种形式做了测试，都不需要微调。因为GPT-3用的是单向transformer，预测新token时会对之前给的示例进行编码。

结果怎么样？在42项基准测试中，随着参数量的增大，正确率稳步提升（当然也有人吐槽：参数量涨了10倍，正确率才提升不到1倍）。其中Few-shot表现最好。在封闭式Trivia QA问答中，GPT-3的Few-shot成绩已经超过了经过微调的SOTA模型。在SuperGLUE测试上同样超越了当前最优水平，生成的文本逼真到人类都难以分辨是机器还是人写的。

现在开发者调用OpenAI的API后，已经涌现出一大堆有趣案例：翻译、问答、完形填空、两三位数加减法、根据文本描述生成代码和网页——

（GPT-3 将自然语言生成了代码和图形按钮）

它还能转换文体风格：把口语变成书面语，日常语言变成法律文书，或者反过来把冗长的“用户协议”翻译乘人话。

（GPT-3 将日常语言转换为法律文书）

更别说写段子、新闻、小说，甚至给出主题和关键词，就能有模有样地编出一篇完整的论文。

（仅给出标题和开头，GPT-3 就完成了论文）

多轮对话也相当惊艳。一位叫Kosmopol的程序员和GPT-3聊起了人类、AI与神的存在关系，聊到最后程序员感慨：“我现在已经没有任何疑问。”

（聊到最后程序员表示，“我现在已经没有任何疑问”）

从网上公开的表现来看，GPT-3似乎能在任何与文本生成相关的领域大展拳脚。那它的商业化前途究竟如何？

GPT-3有哪些商业化前景？

回想GPT-2发布时，OpenAI还扭扭捏捏不肯一次性放出完整模型，理由是怕被用来制造假新闻、搞邮件反诈。结果没出什么大事——不是坏人没动心思，而是应用成本太高。这次OpenAI选择发布API接口而非直接开源，也有类似考虑：一旦开源，有人拿它开发危险应用就很难制止，而API模式可以更好地管控。

另一个现实问题是，GPT-3这种庞然大物，除了少数大公司，很少机构和个人能独立部署运行，成本极其昂贵。但更重要的是，OpenAI希望通过API推动商业化，在安全合规的基础上开发AI产品实现盈利。据了解，开放API前他们已经与十几家公司开展了初步商用测试。具体应用方向包括：语义搜索、聊天机器人、生产力工具、文本生成、内容理解、机器翻译等。

举个例子，搜索初创公司Algolia正在用GPT-3做自然语言复杂搜索，预测时间能缩短到100毫秒左右，以比BERT快4倍的速度准确回答复杂问题。生产力工具方面，GPT-3的API可以把文本分解成图表、表格，自动汇总邮件，还能根据项目要点扩展内容。程序员用自然语言就能和计算机对话，不用记住复杂命令也能生成基础代码。此外，文档写作的拼写建议、语法纠错，法律机构的判例索引、模版化文书撰写，教育机构的教学材料辅助，甚至在线客服聊天机器人，都有商业化空间。

这么一看，GPT-3不但让媒体编辑（微软不久前刚裁掉一批人工编辑）遭遇职业危机，连机构的基础文员、在线客服、甚至程序员都有下岗风险？其实未必。从目前展示的案例来看，GPT-3更多扮演的是生产力辅助工具的角色。任何需要文本生成、资料检索和启发性内容生产的场景，都可以用它来提升效率。比如作家用关键词获取创意灵感，职员用会议纪要生成专业报告和邮件。但无论如何，人类的审查和订正必不可少——没有任何机构会让AI模型来为自己的发布内容负责。当然，那些善于与AI高效协作的人，会大幅提升产出效率，企业随之减少基础岗位需求，这倒是间接的“职位杀手”效应。

那么现在的GPT-3真能堪当大任吗？从开发者的反馈和专家评论来看，距离真正的商业化还有不小的距离，几个核心问题必须正视。

GPT-3的商业化难题

当外界赞誉声四起时，OpenAI联合创始人Sam Altman自己站出来泼了盆冷水：“GPT-3被吹捧得太过了。”这话确实实事求是。GPT-3在常识问答、事实性文本上表现不错，可一旦遇到反事实或矛盾问题，就会暴露“不懂装懂”的幼稚化倾向。

比如在反事实提问或无聊的语言重复中，GPT-3直接开启“尬聊”模式。纽约大学副教授Julian Togelius评价得很形象：“GPT-3就像一个没完成阅读的聪明学生，在考试中胡言乱语试图蒙混过关。一些众所周知的事实、一些半真半假的事、一些直接的谎言，串在一起乍一看像是流畅的叙事。”

它还会犯低级的方向性错误。有人让GPT-3与虚拟的乔布斯对话，问乔帮主现在在哪，它答“苹果总部”，还报了个地址。这显然不对——谁都知道答案应该是“活在我们心中”或者类似的表述，而不是一个检索出来的地名。

偏见问题更让OpenAI头疼。GPT-2就有先例：生成的文章里出现过冒犯黑人女性的歧视性描述，这源于训练数据本身含有的偏见。要从数据中剔除这些内容，人力成本高到不可行，最终只能在输出端做后处理优化。这些低级、误导性、偏见性的错误，让企业在商业应用上顾虑重重。如果让AI全权负责客服或商务沟通，出了岔子，损失得企业自己扛。

更大的难关在于性价比。如果GPT-3能干的某些自动化文本生成任务，用更便宜但专业性更强的AI软件也能完成，那它的商业价值就打了折扣。好比有人想用GPT-3替代谷歌搜索，但总得不到全面信息，那为什么不直接用免费的谷歌和维基百科呢？

虽然GPT-3在通用性上“大力出奇迹”，但要发挥真正的商业价值，OpenAI还得“慢工出细活”——不断优化模型。接受微软10亿美元投资后，商业化的紧迫感已经拉满。这种依赖巨大算力的AI模型必须跑通盈利模式，而GPT-3首当其冲。

话说回来，GPT-3的商业化开放意义深远。这种巨型模型的训练成本，小企业和个人根本无力承担，API的开放让他们能以较低成本使用AI功能。但硬币的另一面是：AI领域的科研垄断正在形成。当年在操作系统、搜索引擎领域形成垄断的巨头，如今又凭算力霸权拿下了AI数据富矿的基础开采权。

可以预见，GPT-3的商业化开局不会太顺利。但这类基础性工程的价值，往往不止于最终产品本身——完成项目过程中积累的技术经验与能力，本身就是一笔巨大财富。更何况，GPT-3至今仍是AI正确的前进方向。当年美国的阿波罗登月计划耗费无数人力财力，表面结果不过是在“星球大战”中赢了苏联一头，但那些衍生出来的空间通信、材料科学、自动控制、集成电路、计算机科学，至今仍然让科技和商业受益无穷。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：一文全面解析人工智能GPT-3模型到底有多厉害要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题