「SMP学术速递」：基于反向提示的预训练模型可控文本生成

原创社媒派SMP 社媒派SMP

题目：Controllable Generation from Pre-trained Language Models via Inverse Prompting

作者：邹旭（清华大学），殷达（清华大学），钟清扬（清华大学），杨红霞（阿里巴巴），杨植麟（Recurrent.ai），唐杰（清华大学）

会议：KDD 2021 Research Track

引言

大规模预训练语言模型在生成仿真文本时有强大的功能。但控制生成的结果使之符合给定的需求仍然有着巨大的困难。之前能够控制生成的方式寥寥无几，比如“给定前文”的方法，只能够控制生成文本中开头的一些文字的导向，而后面则会随着生成的长度渐渐增加而渐渐离题万里。本研究中，我们提出了“反向提示”（Inverse Prompting）的方法，在搜索最佳生成结果的过程中以“能否还原给定的主题”为搜索准则，生成文本。生成的诗歌和问答在真人评分中均获得了很好的结果，取得了接近人类的水平。

基本模型

我们选择以transformer-XL为基础的GPT-2预训练模型，拥有29亿个参数，使用302GB的知乎、百度百科、百度知道等数据，训练160000步而成。

下面是使用该模型进行问答生成的一个例子：

输入：

问题：什么瞬间让你想留住这一刻？回答：

输出：

我和男朋友在一起两年。我去国外留学,他留在国内。一人在国外,寂寞心酸都是真的。念书的时候,觉得常在一起也没什么,两个人一起努力,吵吵闹闹就过来了。我一直这样想,以至于到了高中,到了最后几个月,我都觉得他就是我行走的小弟儿。其实最快乐的时候,就是一起在外头的“孤儿院”里。

此生成结果真人评分为5.4/10（满分10分，得分5.4分。下同）。

方法

原始的模型虽然已经能够取得不错的生成结果，但对于给定个的问题缺乏专注于问题的回答能力。问题问的是“什么瞬间”，而模型生成了一段类似小说的文本。这是预训练模型的特点——在生成过程中，会“遗忘”原先的生成目标。本研究则提出了反向提示的方法来解决此问题。

一、对诗句进行打分——反向提示

反向提示（Inverse Prompting）的打分流程如图1所示。

图1 Inverse Prompting的打分流程

图1展示了Inverse Prompting的打分流程——核心思想是利用生成的文本去复原给定的标题。如生成诗歌《咏纽约》时，生成了“曼哈顿中云拂雨”，计算inverse prompting分数的时候，我们就以“‘曼哈顿中云拂雨’出自”作为输入，让模型给出预测，计算模型预测出“诗歌《咏纽约》”的概率。这里利用了语言模型的泛用性——语言模型可以模拟自然语言。那么我们输入“‘曼哈顿中云拂雨’出自”，他自然会自动去预测此句所属的文献的题材和篇目，而我们则可以计算出预测出我们需要的输出——“诗歌《咏纽约》”的概率。这里，概率为e^-26.52，此处我们设定他得到的inverse prompting分数为50-26.52=23.48。

图2 Inverse Prompting生成的整体流程

有了对生成语句的打分，我们就可以配合集束搜索（beam search），进行文本生成了。如图2所示，给定标题《咏纽约》，我们先生成很多句可选项（曼哈顿中云拂雨，曼哈顿中云腾聚，一座超级大都会，大厦如天峙……等），然后对每个可选项进行inverse prompting评分，选择其中最高的几句进入下一步搜索，然后继续生成一个短句就进行一次inverse prompting评分并保留分数最高的beam，最后生成诗歌。

咏纽约

曼哈顿中云拂雨，百废俱兴壮帝京。

金融中心兴万象，顷刻资财赋圣明。

此城五洲俯仰际，天下财富朝暮倾。

若非王气起天壤，世界繁华岂易名。

生成的诗歌既保留了预训练语言模型对当今世界的知识，又结合了古诗的体裁，有一种别样的风韵。

同样的，对于问答也可以效仿此法，做出切题的回答。

输入：

问题：什么瞬间让你想留住这一刻？回答：

输出：

一瞬间想到高二的时候吧,那天下午在操场晒了一中午太阳,和同学一起在楼下打球,下午的夕阳徐徐洒下来,我们三个人一起站在走廊上,倚着栏杆可以面对着夕阳。一直想留下那一瞬间,可惜我以后再也没遇到过那样的时光。就是想留一下那一刻吧。

此回答在收获4.53/5的“相关性”高分时，也收获了8.6/10的总分，说明与给定输入的相关度的提升，确实能够提高生成文本的总体质量。

二、对作诗的进一步优化——自我学习

自我学习（Self training）框架如图3所示。

图3 自我学习（Self training）框架

对于诗歌这种训练数据中极少出现的体裁的文本，还有一种进一步提升模型效果的方法——自我学习。

我们借鉴了alphago zero的方法，给定一些标题，让模型使用inverse prompting方法通过集束搜索自我生成一些诗歌，然后使用这些诗歌对模型进行微调（fine tune）如此自我学习数轮后，新的模型作诗能力大幅提升。

比特币

外挖无穷洞,机神犹未休。

卡中窥币影,池里验沙流。

屡载吸金主,孤深渍盗求。

方知区块链,本是古来游。

相对论

向来言物理,不似客心惊。

奇怪乾坤秘,翻飞斥几星。

超光无敌速,瞬息至昆冥。

引力张鞭势,牯牛曳著行。

咏托卡马克装置

万物托空无,千钧压几重。

钛棱缘铁壁,玉粒耀银钟。

利用核能转,波形巧亦功。

翻身天地震,核腹贮其中。

闻日本排放核废水

海啸惊心泣鬼神,弃舟跳岸向倭庭。

国人奋战争生命,怒斥飞灾促和平。

未知核污染将久,且为观听奏强声。

请从长计议安顿,莫作悲秋伤逝情。

更多诗歌参见https://pretrain.aminer.cn/apps/poetry.html 可以自定义命题作诗，也支持藏头诗，宋词等。

问答也可在https://pretrain.aminer.cn/os/qa 上进行尝试。

也可以给定语境进行生成，例子如下：

咏科举

青云有路状元郎,一步登天入翰林。

黄金榜上词臣贵,笑看人间进士郎。

掖庭宰相垂帘喜,尚书省郎入试忙。

荣登榜首魁星闪,不枉当年万户郎。

注：此诗为作者高中状元，春风得意所做。

咏科举

金榜无名誓不归,只求大第是何年。

若教九品并孔目,学取天人第一流。

经天纬地才难用,万卷诗书济世游。

未到翰林先一日,十年共话九仙楼。

注：此诗为作者屡试不中，名落孙山所做。

定量实验结果

我们找了40个真人被试对诗歌和问答的质量进行双盲评测，10名诗歌被试为各大高校诗社同学，而30名问答被试则为数据标注群里的报名者。诗歌和问答各有100组，每组有一个给定的从未在任何文献中出现过的诗歌标题/未出现在训练集里的知乎问题，以及所有被试模型或真人的答案/诗歌。被试被告知所有问答/诗歌均为AI生成的，并被要求从几个方面进行打分，故问答有3000组评分而诗歌有1000组。

图4 AI问答评分标准：流畅程度、信息量、切题，以及总体评价

如图4所示，在AI问答方面，使用inverse prompting生成的答案，效果远远优于直接生成和使用之前的SOTA即CPM进行生成，3000组平均分为6.51，接近人类的6.85。

图5 AI作诗评分标准：格律、创新性、切题，艺术性，以及总体评价

如图5所示，在AI作诗方面，使用Inverse prompting生成的答案，效果远远优于直接使用perplexity进行搜索生成，生成的诗歌质量甚至优于“九歌“。而使用Self training后，效果还能得到进一步的提升。

结论

本研究提出了一种简单强大的新式利用语言模型进行文本生成的方法——反向提示。通过反向提示生成的文本能够切合给定的标题，极大提升生成文本的质量。由于通用语言模型的通用性，除了“切合标题”以外，反向提示的方法也可以被用于生成特定背景，特定情感的文本。

责任编辑：宫继兵

继续滑动看下一个