摘要:信息抽取(Information Extraction,IE)旨在从非结构化的自然文本中提取实体、关系配对、事件元素、情感极性等结构化信息。主流的基于跨度的方法通过联合建模目标标签的语义信息与抽取目标的边界分布,在不同任务上表现出强大性能,但仍存在局限:(1) 预测跨度起始和结束边界的策略忽略了跨度边界之间的配对关联性。(2) 传统的微调损失使模型过度依赖目标跨度的精确边界。(3) 传统的Transformer结构注重全局表示,与IE任务中总是具有有限长度目标的情况不匹配。为解决上述问题,我们提出了基于能量的通用信息抽取(Energy Based Universal Information Extraction,EBUIE)框架。通过引入基于能量的模型的思想,我们设计了一种新颖的基于能量的配对专家(Energy-based Pairwise Expert,EPE),使用标量能量来量化跨度边界之间的配对关联性。受自然界中能量分布和转化的启发,我们提出了能量分布平滑损失(Energy-distribution Smoothing Loss,ESL)和能量场注意力(Energy Field Attention,EFA),以减轻模型对标签边界的过度依赖,并在决策过程中自适应调整注意力分布。在四个纯文本IE任务和三个多模态IE任务上均取得了优于最先进方法的结果。在纯文本场景下:命名实体识别、关系抽取、事件触发词抽取、情感观点三元组抽取上分别取得0.69%、3.15%、1.6%、7.71%的最优提升;在多模态场景下:术语抽取、情感分类、联合抽取分别取得1.8%、0.2%、2.8%的最优提升。
文章目录
1引言
2相关工作
2.1 信息抽取
2.2 通用模型
2.3 基于能量的模型
3方法
3.1 基于跨度的通用信息抽取
3.2 多模态场景下基于跨度的通用信息抽取
3.2.1 图像-文本对比(ITC)学习
3.2.2 图像-文本匹配(ITM)学习
3.3 基于能量的配对专家
3.4 能量分布平滑损失
3.5 能量场注意力
4 实验
4.1 实验设置
4.1.1 任务定义
4.1.2 度量指标
4.1.3 实现细节
4.2 超参数选择消融实验
4.2.1 能量衰减函数■
4.2.2 超参数■,■