面向新闻媒体的命名实体识别技术

命名实体识别（Named Entity Recognition）简称NER，是自然语言处理领域应用广泛而且核心的技术，是文章内容理解的基础，也是问答系统、搜索系统的底层技术之一。尤其在中文语言处理中，NER可以看做分词的一部分，是未登录词识别中数量最多、识别难度最大的一部分，而且由于实体往往代表重要的意向，对于分词效果也影响显著。

命名实体包含人、地、机构、专有名词等，在不同的领域，对于实体有着不同的定义。在媒体领域，由于会涉及娱乐、财经、科技、体育、医疗教育等各行各业的资讯消息，所以对这些领域的常见专有名词都需要有一定的识别精度。此外，媒体领域也需要关注与热门资讯与突发事件关联的实体，比如电视剧“都挺好”，地名“响水”等。所以媒体NER比较看重以下两个特性：

• 自动识别未登录词从而发现新词

• 兼容领域词库从而实现多领域自动适配

  
  

从实现原理来分类，随着机器学习的发展以及深度学习技术的应用，NER技术发生了如下的技术演进路线：

1. 基于规则和词典的方法

规则和词典的方法指的是通过手动构建识别实体词的规则，以及收集领域相关的实体词词典。这种方法适用于确定实体的集合比如地名、球队名称，或者固定格式的实体比如时间、书名号等。这种方法的缺点是扩展性很差，不能发现未登录词，是早期或者简单的实体词识别系统所采用的方案。

然而这种方法也并不一无是处。基于规则和词典的优势在于不需要人工标注的语料库，通过添加词库可快速适应新领域。对于一些面向业务的规则，比如保留书名号内的完整的电影名，基于规则的方法会达到更高的正确率。所以成熟的NER系统往往会兼容词库和规则的算法，从而达到总体更佳的识别效果。

2. 传统机器学习方法

在机器学习中，NER一般被抽象为序列标注问题，利用人工标注的大量语料库来标注模型。在机器学习中，进行线性序列标注的模型包括生成式模型HMM，判别式模型CRF等。HMM（隐马尔科夫模型）是统计概率模型，在NER使用的模式是已知观察序列（句子中的词），求背后概率最高的标注序列（即每个字的分词状态）。

在NER中，HMM假设每个标注取决于前面的标注结果和当前的观察序列，构成如下的概率图模型：

HMM的转移概率模型[1]

其中 A 表示上一个状态到下一个状态的转移概率矩阵，B表示隐藏状态到当前的观测状态的转移概率矩阵，另外使用s表示初始状态。一个HMM模型通过构建（A，B，s）来表示序列概率。不过HMM的缺点从原理上也能看出：一个词的实体词类型，只取决于当前词以及前面的状态，无法考虑更远的词以及后面的词的影响，从而导致无法达到全局最优。因为HMM为了对联合概率分布进行建模，HMM引入两条独立性假设：

• 马尔科夫链在任意时刻的状态Xi仅依赖于前一个状态Xi-1；

• 任意时刻的观测Oi只依赖于该时刻马尔科夫链的状态Xi。

  
  

在序列标注的机器学习算法中，CRF（条件随机场）是目前最佳的算法方案，CRF无需引入独立性假设，能够充分利用上下文信息特征，计算全局最优输出节点的条件概率，克服了HMM只能局限于部分上下文特征的局限。下图所示是用于NER的线性条件随机场，把字、分词、词性标注等作为特征输入。

用于NER的线性链CRF

CRF具有很强的推理能力，并且能够使用复杂、有重叠性和非独立的特征进行训练和推理，能够充分地利用上下文信息作为特征，还可以任意地添加其他外部特征，使得模型能够获取的信息非常丰富。

3. 深度学习算法

随着深度学习的发展，自然语言的向量表示法横空出世，使得自然语言能够使用深度神经网络进行处理，最常见的就是RNN模型的变种，比如GRU和LSTM等，可以提取文本更长距离的上下文特征信息。

结合CRF对序列模型进行建模的能力，使用Bi-LSTM提供上下文信息，可以达到更佳的标注效果。目前业界最常用的深度学习分词和NER算法模型如下图所示：

Bi-LSTM+CRF实现NER的网络模型[2]

在这个网络中，一共有三层。第一层是输入的word-embedding，一般是预训练的embedding模型，在网络中进行fine-tuning，输出的是每个词的向量表示。

第二层由双向LSTM构成，能够学习到上下文特征，输出的是每个词的上下文环境的向量表示。第三层是CRF层，基础的CRF层能够使用CRF模型来构建crf-loss，然后用得到的CRF特征结合viterbi算法进行求解序列，在tensorflow的keras中，有更完整的CRF-layer能够实现对序列的标注训练和直接求解。

4. 注意力模型

注意力（Attention）模型是近年来深度学习领域大放异彩的网络模型，起源于视觉的注意力机制。随着2018年google的BERT在各类自然语言比赛中大杀四方，Attention模型更优秀的表示能力逐渐取代了RNN在自然语言处理中的顶部位置。在自然语言处理中，使用注意力（Attention）的语义表示模型为Transformer模型。

下图为我们使用Transformer模型进行命名实体识别的流程图。

Transformer ner模型流程图

目前我们直接使用Transformer进行序列标注，在输出层使用SoftMax函数直接进行预测。但是这样无法考虑标签之间的转移概率，如在标注了TIME_E以后，TIME_M标签出现的概率应该更大。直接使用SoftMax函数，是一种贪心的预测方式，其不一定为最优解。因此考虑在输出层加入CRF层。不仅考虑了输入x到y的释放概率，更考虑了连续标签之间的传播概率。最终在预测阶段，使用维特比动态规划算法找到预测的最优解。