关键字的提取方法可以找到与文档相关的关键字。文中总结了最常用的关键词提取方法。

什么是关键词提取？

关键字提取是在文本文档中搜索关键字或关键字短语。这些关键字是从文本文档的短语中选择的，表示文档的主题。本文总结了最常用的关键词自动提取方法。

从文档中自动提取关键字是一种启发式方法，用于从文本文档中选择最常用、最重要的单词和短语。我把关键词提取方法分类到了机器学习和人工智能的重要领域——自然语言处理领域。

关键字提取器是一组两个或多个用于提取单词(关键字)或创建短语(关键字短语)的单词。本文使用术语的关键字提取，包括提取关键字或重要短语。

基于

为什么我们需要关键字提取的方法呢？

小时节约——关键字，可以决定文本主题(例如文章)是否对他感兴趣以及是否阅读。关键字为用户提供本文或文档的主要内容摘要。

由于出现了相关文档——的大量文章，我们无法阅读一切。关键词提取算法有助于找到相关文章。关键字提取算法还可以自动构建书籍、出版物或索引。

关键词提取是机器学习支持的——关键词提取算法找出描述文本最相关的词。它们可以稍后用于可视化文本或自动分类文本。

关键词提取方法

本文概述了最常用的关键字提取方法。考虑无监督(不需要训练)和领域独立的方法。我把方法分为统计方法、基于图的方法和基于向量嵌入的方法三组。

基于统计的方法

统计方法是最简单的。他们计算关键字的统计数据，并使用这些统计数据进行评价。一些最简单的统计方法是词数、词的组合和搭配。还有TF-IDF和YAKE等更复杂的东西！

TF-IDF或term frequency-inversedocumentfrequency计算文档中单词对整个语料库(更多文档集)的重要性。计算文档中每个单词的频率，并以整个语料库中单词频率的倒数进行加权。最后，选择得分最高的词作为关键词。

TF-IDF的公式如下。

这里，t是观察项目。此等式适用于文档中的所有术语(单词或短语)。的蓝色部分为字数(TF )，橙色部分为反向文档频率(IDF )。

TF-IDF的想法是，文件中出现频率高的词未必最相关。此算法喜欢在文本文档中经常使用而在其他文档中很少使用的术语。

TF-IDF的优点是速度快，缺点是至少需要几十个文档的语料库。而且TF-IDF与语言无关。

雅虎(yake )是一种利用单个文档的统计特征提取关键字的关键字提取方法。关键字在以下五个步骤中提取。

1、预处理和候选词识别——文本分为句子、块(部分句子用标点符号隔开)和标记。文本已清理、标记和禁用的单词也会被识别。

2、特征提取——算法计算文档中术语(词)的以下五个统计特征：

a )大小写——计算该术语在文本中作为大写或首字母缩写出现的次数(与所有出现成比例)。重要术语通常更频繁地大写。

b )词条位置——词条在文本中的中间位置。更接近开头的用语在过去更重要。

c )词数正规化测定——文件中的平衡词数。

d )术语与上下文相关性——测量候选术语同时出现的不同术语的数量。更重要的术语与更少的不同术语同时出现。

e )术语不同的语句——测量术语在不同语句中出现的次数。得分越高，表示术语越重要。

3、计算术语分数——前一步的特点是人工方程和单一分数合成。

4、生成n-gram并计算关键字分数——的该算法标识所有有效的n-gram。 n-gram中的单词必须属于同一块，不能以禁用词开头或结尾。然后，将每个n-gram的成员分数相乘并归一化，以减少n-gram长度的影响。处理禁用单词的方式不同，是为了将其影响降到最低。

5、删除重复数据和排名——在最后算法中删除相似的关键字。那个保持着更有关联性的东西(分数低的东西)。使用Levenshtein相似度、Jaro-Winkler相似度或序列匹配器计算相似度。最后，关键字列表根据分数排序。

YAKE的优点是不依赖于外部语料库、文本文档的长度、语言或域。与TF-IDF相比，它位于单个文档的基础上

础上提取关键字，并且不需要庞大的语料库。

基于图的方法

基于图的方法从文档中生成相关术语的图。例如，图将文本中共同出现的术语连接起来。基于图的方法使用图排序方法，该方法考虑图的结构来对顶点重要性进行评分。最著名的基于图的方法之一是 TextRank。

TextRank 是一种基于图的排序方法，用于提取相关句子或查找关键字。我将重点介绍它在关键字提取中的用法。该方法通过以下步骤提取关键字：

1、带有词性 (PoS) 标签的文本标记化和注释

2、词共现图构建——图中的顶点是带有选定 PoS 标签的词（作者仅选择名词和形容词即可获得最佳结果）。如果两个顶点出现在文本中的 N 个单词的窗口内，则它们与一条边相连（根据作者的实验，最佳表现 N 为 2）。该图是无向和未加权的。

3、图排序——每个顶点的分数设置为1，在图上运行排序算法。作者使用 Google 的 PageRank 算法，该算法主要用于对网站图表进行排名。该算法使用上图中的公式。顶点 Vi 的权重 S(Vi) 是通过考虑连接到节点 Vi 的顶点的权重来计算的。在等式中，d 是设置为 0.85 的阻尼因子，如 PageRank 文章中所述。 In(Vi) 是到顶点 Vi 的入站链接，而 Out(Vj) 是来自顶点 Vj 的出站链接。由于我们考虑的是无向图，因此顶点的入站链接和顶点的出站链接是相同的。该算法在每个节点上运行多次迭代，直到节点上的权重收敛——迭代之间的变化低于 0.0001。

4、得分最高的单词选择——单词（顶点）从得分最高的单词到最低得分的单词排序。最后，算法选择单词的前 1/3。

5、关键词提取——在这一步中，如果上一阶段选择的单词一起出现在文本中，则将它们连接为多词关键词。新构建的关键字的分数是单词分数的总和。

该算法对每个文档单独执行，不需要一个文档语料库来进行关键字提取。TextRank也是语言无关的。

RAKE (Rapid Automatic Keyword Extraction)是另一种基于图的关键字提取算法。该算法是基于这样的观察:关键字通常由多个单词组成，通常不包括停顿词或标点符号。

它包括以下步骤:

1、候选关键词提取——基于停用词和短语分隔符对候选关键词进行文本分割。候选关键字是位于两个停用词或短语定界符之间的短语。例如，短语分隔符是标点符号。

2、关键词共现图构建——图中的顶点是单词。如果它们一起出现在候选关键字中，则它们是连接的。该图是加权的——权重是连接词在候选关键字中一起出现的次数。该图还包括与顶点本身的连接（每个单词与自身一起出现在候选关键字中）。

3、词评分——图中的每个词都用以下评分之一评分：

a) 词度 deg(w)——词 w 共同出现的词数（边权重总和，包括指向顶点本身的边）。度数偏爱出现频率更高、关键字更长的词。

b) 词频 freq(w) — 该词出现在任何候选关键字中的次数。频率偏爱出现频率更高的词。

c) 度数与频率之比 deg(w)/freq(w)——这个指标偏向于主要出现在较长候选关键词中的词。建议使用词度或度数与频率之比。从这两个角度来看，排名将有利于较短的关键字。

4、候选关键词得分——每个候选关键词的得分为其成员词得分之和。

5、相邻关键词——候选关键词不包括停用词。由于有时停用词可能是关键字的一部分，因此在此步骤中添加了它们。该算法在文本中找到与停用词连接的关键字对，并将它们添加到现有停用词集中。它们必须在要添加的文本中至少出现两次。新关键字的得分是其成员关键字的总和。

6、关键词提取——结果，1/3 得分最高的关键词被提取出来。

RAKE 和 TextRank 的主要区别在于 RAKE 考虑候选关键字内的共现而不是固定窗口。它使用更简单、更具统计性的评分程序。该算法对每个文档分别进行，因此不需要文档语料库来进行关键词提取。

基于深度学习

深度学习的出现使基于嵌入的方法成为可能。研究人员开发了几种使用文档嵌入的关键字提取方法（例如 Bennani 等人）。

这些方法主要查找候选关键字列表（例如，Bennani 等人只考虑由名词和形容词组成的关键字）。他们将文档和候选关键字嵌入到相同的嵌入空间中，并测量文档和关键字嵌入之间的相似度（例如余弦相似度）。他们根据相似度度量选择与文档文本最相似的关键字。

总结

在本文中介绍了几种从统计、基于图和嵌入方法中提取关键字的方法。由于该领域非常活跃，我只介绍最常见的方法。我只考虑无监督方法的一个子组（它们不需要训练）。也有在带注释文档的训练数据集上训练的监督方法。它们表现良好，但在实践中较少使用，因为它们需要训练并且需要带注释的文档数据集，结果也通常仅适用于训练数据集中的主题。