摘要：针对网络语境下旅游领域用户生成内容的命名实体识别任务中存在大量噪声数据、嵌套实体边界模糊及文本语料过长等问题，提出一种融合多头自注意力和对抗训练的旅游领域命名实体识别模型。采用ERNIE2.0对旅游语料进行编码，生成富含语义信息的动态词向量；在词嵌入层后引入对抗训练（FGM、PGD），通过在词向量中添加微小扰动以生成对抗样本，从而模拟旅游用户生成内容中的噪声特征；继而构建双向长短期记忆网络与多头自注意力机制的复合特征提取层，重点捕捉实体边界信息及长距离文本依赖关系，动态调整特征权重分布；最终采用条件随机场实现全局最优标签序列解码。在自建旅游数据集与开源新闻数据集CLUENER2020上进行实验。实验结果表明，该模型在两种数据集上的准确率、召回率与F1值相较于基线模型均有所提升。即使在不同领域的数据集上，该模型仍能保持较高的识别精度，验证了其良好的泛化性和鲁棒性。
文章目录
0 引 言
1 模型构建
1.1 ERNIE词嵌入层
1.2 生成对抗样本
1.3 BiLSTM提取全局特征
1.4 多头自注意力强化长距离依赖
1.5 CRF标签解码
2 实验设计与结果分析
2.1 实验数据
2.2 实验参数设置
2.3 评价指标
2.4 实验方案
2.5 实验结果分析
2.6 消融实验
3 结 论
