AI 插手!用文本分析鉴定《红楼梦》、《亨利八世》实际作者

人工智能又来插手文学界了,只不过这一次是用来「找作者」

对于一部分文学作品来说,倘若创作者并不确定,再加上年代久远,没有详细的史料记载,作者问题往往就会成为众说纷纭的谜团。

想要发现事实的真相,需要后世的研究学者们,花费大量的精力去查找资料,进行研究对比。即便如此,也常常因为一些局限性而得不到最关键的证据。

不过,在人工智能的介入之下,似乎又多了一条拨开迷雾的道路。

用数据科学求证《红楼梦》的作者

对于《红楼梦》,普遍都认为是曹雪芹创作了前八十回,高鹗整理续写了后四十回,胡适、俞平伯、周汝昌等文学家也都赞同这一说法。

但文学界也有很多不同的声音,包括鲁迅、林语堂、王国维、白先勇等多位大师都认为:全一百二十回都是曹雪芹一人完成。

  1. 1980 年发表的统计学研究 

早在 1980 年的首届国际《红楼梦》研讨会上,就有研究者使用计算机的统计方法,尝试找出它的实际作者。

美国威斯康星州立大学的华裔学者陈炳藻先生,发布了一篇《从词汇上的统计论 〈红楼梦〉 的作者问题》的论文,引起了国际红学界的注意。

陈炳藻将《红楼梦》一百二十回本按顺序编成三组,每组四十回。还将另一部《儿女英雄传》作为第四组进行对比研究。

《红楼梦》作者的相关研究已经持续了数百年

从每组中任取八万字,分别挑出名词、动词、形容词、副词、虚词这五种词,通过当时的计算程序对这些词进行编排、统计、比较和处理,进而找出各组相关程度。

统计学的结果发现《红楼梦》前八十回,与后四十回所用的词汇正相关程度达 78.57%,而《红楼梦》与《儿女英雄传》所用词的正相关程度是 32.14%。
由此陈炳藻教授作出推断,前八十回与后四十回的作者均为曹雪芹一人所写。

  2. 现代 SVM 算法研究

但如果用机器学习去判断,又会得出怎样的结论呢?

近年来就有一位工程师,利用简单的算法分析,去研究红楼梦的作者问题。他使用了 Python 工具,通过小说中用词的频率等特点进行了训练,以区分不同部分的风格问题。

他将全书进行分词,并进行词频统计,找出其中的高频词汇后,在每个章节中对其进行次数统计,以此得到了不同章回用词习惯的区别。

然后使用 SVM 算法搭建了一个模型,从前 80 回和后 40 回中,各选一部分章节喂给模型来学习写作特点,并把剩下的章节作为输入,让计算机来判断它们属于哪个部分。

最终模型能够以 95% 的准确度来进行预测判断,从而侧证了前 80 回和后 40 回在算法模型中,具有很明显的写作风格差异,属于不同的作者。

前 80 回(红色)和后 40 回(蓝色)用词习惯统计

这个项目也有缺点,比如选取的特征太少,最终选择作为指标的词汇只有 278 个,而且训练的内容局限于一本书中,没能严谨地说明问题。

如果说对《红楼梦》的作者分析只是小试牛刀,那么最近一位科学家对名著《亨利八世》的作者研究,则准确和严谨了许多。

作者成谜的《亨利八世》,AI 出手了

和《红楼梦》一样,英国著名的戏剧文学《亨利八世》,也遇到了同样的问题,它被称为是莎士比亚的最后一部作品,但它的实际作者却可能不止一位。

历史上的亨利八世是一位极其暴虐的君主,堪比更暗黑的秦始皇,仅在 1513-1547 年间,他就下令处决了约 72,000 名政治犯,甚至还将六任妻子中的两位送上了断头台。

因为人物本身的话题性和传奇性,关于他的文学及影视作品一直层出不穷,比如小说及改编的同名电影《另一个波琳家的女孩》、电视剧《都铎王朝》等。

《另一个波琳家的女孩》讲述了亨利八世的暴戾薄情
由「黑寡妇」斯嘉丽约翰逊和「黑天鹅」娜塔莉波特曼出演

剧本《亨利八世》创作于 1612 年,它是基于亨利八世的相关事件进行的改编和演绎,曾被多次搬上舞台,取得了很大社会反响。但很多人在研读了文本之后,发现它的写作风格,都和沙翁的其他作品有太大出入。

有人质疑它是旁人所作,或者是合作的产物。直到 1850 年,有研究者具体地指出另一位剧作家弗莱彻可能是《亨利八世》合作者

他的理由是:在《亨利八世》中找到了大量弗莱彻独有的写作风格。

弗莱彻(左)在莎士比亚(右)退任后成为了国王剧团的主剧作家

接下来的一个世纪里,关于作者的争论一直没有停息,甚至有一些观点里,认为第三位剧作家马辛格也参与了创作。

这个谜团,因为最近的一项研究而变得明朗起来。一位数据科学家,利用 AI 算法,更细致地找出了戏剧《亨利八世》的原作者,而且具体到了文中的每一个小节。

机器学习显身手,判定谁是真的作者

布拉格捷克科学院的研究员普列查奇(PetrPlecháč) ,最近使用了机器学习技术,来识别《亨利八世》中的作者问题,并取得具有说服力的结果。他的成果被写成论文,传到了 arXiv 上。

地址:https://arxiv.org/pdf/1911.05652.pdf

在这项工作中,普莱查从数据科学的维度,确定了《亨利八世》每一部分究竟是出自谁的手笔,并且给出了具体的论据。

他通过分析文本作品的内容,确定出不同作者的写作风格的某些特征,以此对作品进行辨别,并进行细致的划分和归类。

算法最后将《亨利八世》的某些章节归功于莎士比亚,而另一些则判给了弗莱彻,两个人对著作的的贡献几乎相等。不仅如此,算法还细化出了具体每个小节的作者。

1623 年首次出版的《亨利八世》首页

最终,机器学习给出的作者划分,符合此前某一项主流研究的观点,并且还取得了一些突破。

从词汇和节奏入手,辨别文本的来源

他具体是怎么做到的呢?一旦了解了作者的风格和常用的字词和样式,便可以用来辨别新作品中的文本习惯样式,以判断它是不是出自同一个作者。

在这项研究中,让算法模型对文本常用词、以及常用语句节奏模式,进行学习分析,以使算法学会辨别这些特征。

对语句节奏(rhythmic types)和常用词进行综合分析
并在其他作品上验证的模型准确度接近于 1

具体来说,要先将剧本细化到多个小的场景,并使用支持向量机对《亨利八世》的各个场景,进行归因分析,并进行分类。

其中,以 500 种最常见的节奏类型的频率,以及 500 个最常见单词的频率作为分类器的功能集。

鉴于作者在不同时期可能出现的风格差异,研究者采用了同时期其他戏剧的场景(如《暴风雨》、《科里奥拉纳斯》)作为训练样本。对于可能的作者,也同样收集了训练样本。

最终收集了 53 个莎士比亚训练样本,90 个弗莱彻训练样本和 46 个马辛格训练样本。为了估计模型的准确性,还通过交叉验证的方式进行检验。

完成训练学习后,将模型在《亨利八世》的文本上运行,结合词汇和多功能化的综合分析,确定哪些作者参与了剧本的写作,以及他们的具体贡献。

最后的结果证明,这是区分两位作者风格的非常可靠的判据。尤其是使用常用词和常用节奏的组合模型,在三位作者的风格鉴定上,准确率高于 96%。

分类器对不同章节 30 个样本的分类结果结果比公认最权威的作者划分(最后一栏)更细致

当应用于《亨利八世》的分析时,结果清楚地表明两位作者都参与其中。另一位传闻的剧作家马辛格,则在算法的层面上表明他和剧本无关。 

新方法细化出每个小节的作者

为了更可靠地了解具体作者承担的份额,超越特定场景的简单归因,普莱查奇采用了叫做滚动归因(rolling attribution)的分析方法,确定具体文本片段的属于某位作者的概率。

滚动归因是一项针对涉及混合作者身份的案例的技术。在滚动归因中,不对整个文本或其逻辑部分(章节,场景等)进行分类,而是对其固定长度的重叠部分进行分类任务。

滚动归因判断两位作者其他作品的作者组成
和实际中的情况高度符合

该方法使用移动窗口的概念,并与标准的监督分类技术相结合。旨在评估离散文本样本之间的样式差异,以测试其文本样式的一致性。

结果表明,结合了词汇特征的滚动归因方法是非常可靠的:在区分莎士比亚和弗莱彻时,估计滚动归因的准确性高达 0.9977。

具体到每个章节的作者划分和可信度

使用这种方法,最后具体确定了每个章节归属于某个作者的可能性,在上图中,可以清晰地看到莎士比亚和弗莱彻各自完成的章节。结论就是:莎士比亚和弗莱彻各完成了近一半的内容创作。

AI 在文学领域摩拳擦掌

通过 AI 算法,去破解名著的作者之谜,对于文学研究者和爱好者来说,都是一件很有价值的事情。同时也提供了一个数据维度的视角,去看待此类问题。

当然,类似的 AI 方法除了应用于作者鉴定,代笔或者抄袭判断,还可以结合 GPT-2 之类的技术,生成某一风格的作品,这对那些在历史长河中遗失的著作,或许能够进行更好的还原。

如果借鉴到音乐和绘画等方面,不仅可用于确定作者身份,还能利用已知作者的风格来创作出新的作品。

这么想想,AI 成为大文豪的日子似乎也可以提上日程了呢。

—— 完 ——