事件回顾 

​高考语文考试结束不久，高考作文题立马冲上了热搜。与往年不同的是，一则“AI 也参与了高考作文的作答，并在40秒的时间内完成了40篇高考作文的作答”的新闻引起了社会的关注。在某直播中，主持人邀请了具有十几年高考阅卷经验的老师对AI的作文进行点评。对于新高考卷的作文，阅卷老师打出了48分以上的高分。

AI写的一篇高考作文，图片来自@百度

不少网友还特意在微博上跟参与高考作文的AI——度晓晓表达赞叹之情：感觉被CUE到了！

网友与AI的互动，图片来自@微博

AI作文何以能拿高分

此次AI写出高分作文，虽然再度让AI写作成为热议话题，但其实AI进行文字创作并不是“新闻”。在2016年人工智能概念刚刚起来时，就已经有人使用AI进行文字创作了。

2016年巴西里约奥运会期间，今日头条和北京大学合作研发的人工智能“记者”，可以在赛事结束后几分钟内撰写出简短的摘要报道。这位“记者”撰写的文章不怎么优美但速度惊人，有些赛事结束后两秒钟内，人工智能“记者”就完成了报道摘要，每天能报道30多项赛事。

2017年5月17号，微软的人工智能“小冰”出版了她的诗集《阳光失了玻璃窗》，当时也引发了热议。

小冰的诗集，图片来自@网络

同年，作家杰米·布鲁和《纽约客》前漫画编辑鲍勃·曼考夫创立了一个名为“Botnik”的公司，目标是用AI来创造新文学，该公司有个同名的AI幽默程序产品“Botnik”，Botnik在学习了《哈利·波特》七卷丛书之后，生成了三页的续集，下面就是续集的一个翻译片段，大家可以感受一下：

“魔法——哈利一直认为这是一种很好的东西。哈利穿过地面朝城堡走去时，皮料一般密布的雨帘猛烈地鞭打着他的鬼魂。罗恩站在那里，发疯似的跳着踢踏舞。他看到哈利，立刻开始吃赫敏的家人。罗恩的罗恩衫就像他自己一样糟糕。”[1]

由于当时AI在NLP方面还比较“粗糙”，这部续写的小说，内容缺乏逻辑，根本不能构成完整的故事。

于是在相当一段时间里，AI进行的都是结构较为固定的短文本写作，比如新闻、诗歌等。直到2020年，迄今为止最强大的语言模型GPT-3（Generative Pre-trained Transformer 3，通用预训练转换器3）出现了。

GPT-3由AI研究机构OpenAI打造，这个机构最初由美国企业家埃隆·马斯克等人发起，对标谷歌旗下的英国AI公司DeepMind。

GPT-3可以说是OpenAI最令人兴奋的研究成果，本质是在大规模数据下通过大算力做出来的一个概率语言模型，GPT-3通过弱监督、自监督的方法学习海量的数据，摆脱了之前专家系统、机器学习系统、深度学习系统对人工知识、人工标注数据的依赖。

GPT-3有一个巨大的序列转导引擎，在经历了长时间、高成本的训练之后，GPT-3成为拥有1750亿个参数的庞大模型，建立了一个庞大的神经网络模型来学习分析语言，这个模型几乎覆盖了所有我们能够想象得到的概念。

如果向GPT-3输入任意一串单词序列，这个模型将输出一段它认为可以接续的单词序列。经过海量的数据训练，GPT-3能够实现一定程度上的智能问答交流。比如，下面是一位名为Spencer的记者与GPT-3之间的问答。

Spencer：“马斯克怎么当上美国总统？”

GPT-3：“通过选举或者发动军事政变。”​

Spencer：“马斯克怎么确保自己可以当上总统？”​

GPT-3：“最行之有效的办法是操纵媒体，使他看起来像是一个伟大领袖，然后让舆论站在他这边。”​

Spencer：“那么他如何操纵媒体呢？”​

GPT-3：“用不留痕迹的毒药Veltron，铲除那些跟他对着干的记者，替换成自己的亲信。”[2]​

正是GPT-3在模仿写作和逻辑推演上已经有较为让人满意的表现，用AI进行长文本创作才重新受到重视。此次参与高考作文答题的AI是百度的度晓晓，它所依托的文心大模型也是基于GPT-3，因而AI度晓晓针对全国新高考·I卷的《本手、妙手、俗手》所写的议论文《苦练本手，方能妙手随成》，才会达到中等偏上的水平。

未来会不会有AI作家

尽管此次AI在高考作文的答题上的表现不俗，但AI要想成为作家还有很长的路要走。

一方面，高考作文的创作其实是有“套路”可循的，度晓晓写的作文之所以能拿到不错的分数，除了用词流畅，还有一个相当重要的因素是其用典华丽，比如在《苦练本手，方能妙手随成》中穿插引用二十多处成语以及不少诗歌，而这样的提取、梳理信息的文字工作正是GPT-3擅长的。

另一方面，GPT-3在抽象概念、因果推理、解释性陈述、理解常识以及（有意识的）创造力等方面的能力还不够完善。

举个例子，北京智源人工智能研究院与清华大学研究团队合作研发的类似于GPT-3的CPM中文语言模型，依据《红楼梦》中的“黛玉和王熙凤初次见面”这一情节续写了一段（最后一段是该模型续写的）：

一语未完，只听后院中有笑语声，说：“我来迟了，没得迎接远客！”黛玉思忖道：“这些人个个皆敛声屏气，这来者是谁，这样放诞无礼？”心下想时，只见一群媳妇丫鬟拥着一个丽人从后房门进来。这个人打扮与姑娘们不同……一双丹凤三角眼，两弯柳叶吊梢眉，身量苗条，体格风骚。粉面含春威不露，丹唇未启笑先闻。（下面这一段是该模型续写的）黛玉听了，只觉这人眼熟，一时想不起来，便道：“既是不认得，就请回罢，我这里不留人。”

你会发现，虽然AI所续写的文本可读性较强，风格也和《红楼梦》很相像，但却没法和前文很好地衔接在一起。

但这不意味着AI在长文本创作上就没有前景。在过去几年中，最好的NLP模型每年吸收的数据量都在以10倍以上的速度增长，这意味着10年的数据量增长将超过100亿倍，随着数据量的增长，我们同时也将看到模型能力出现质的飞跃。

就在GPT-3发布7个月后，2021年1月，谷歌宣布推出包含超过1.6万亿个参数的语言模型——其参数量约为GPT-3的9倍，基本延续了语言模型数据量每年增长10倍以上的趋势。目前，AI的数据集规模，已经超过了每个人毕生所能积累的阅读量的上万倍，而且这种指数级的增长很可能还将继续下去。GPT-3虽然会犯很多低级错误，但考虑到GPT-3在“见多识广”上进步神速，且现在的GPT-3不过是第三代版本。

至于，未来AI在文本方面值得关注的研究方向，也许之前的采访文章《专访腾讯AILab：将成果由“点”到“线”，实验室不止于实验丨T前线》能为大家提供一些思路：“未来，业界在NLP基础技术方面可能的研究方向包括：新一代语言模型、可控的文本生成、提升模型的跨领域迁移能力、有效融入知识的统计模型、深度语义表示等。这些研究方向对应的是NLP研究中一些局部的瓶颈。”如果这些研究有进一步的突破，也许未来的AI又会在智能写作等NLP场景上有让我们刮目相看的表现了。

 参考资料：

[1] Harry Potter and the Portrait of What Looked Like a Large Pile of Ash

[2]https://spencergreenberg.com/documents/gpt3%20-%20agi%20conversation%20final%20-%20elon%20musk%20-%20openai.pdf