虚交所-虚拟资产交易平台  

加关注9

　　摘要：针对Transformer采用自回归解码器从左向右进行解码，不能充分利用上下文信息等问题，该文提出了一种融入句法感知的双向解码神经机器翻译模型。首先，在传统Transformer模型的基础上增加一个反向解码器，采用前向解码器和后向解码器进行双向解码，使得生成的解码结果可以包含上下文信息。其次，针对机器翻译中常见的曝光偏差问题，在模型中又加入一个前向解码器，通过优化Teacher Forcing机制来平衡Teacher Forcing训练阶段和自回归测试阶段解码环境的差异，缓解曝光偏差问题。最后，融合依存句法，生成具有句法指导的目标语言句子。实验结果表明，提出的翻译模型在中-英翻译任务上的BLEU值可以达到24.38，比基准模型提高了1.17个BLEU点，在英-德翻译任务上的BLEU值可以达到28.06，比基准模型提高了0.96个BLEU点。

　　文章目录

　　0 引 言

　　1 相关工作

　　2 基于Transformer的双向解码神经机器翻译模型

　　2.1 Transformer

　　2.2 基于Transformer的双向解码神经机器翻译模型

　　2.2.1 后向解码器

　　2.2.2 前向解码器

　　3 融合句法感知的双向解码神经机器翻译模型

　　3.1 依存句法

　　3.2 后向解码器

　　3.2 前向解码器

　　3.3 Teacher Forcing 解码优化

　　4 实 验

　　4.1实验数据

　　4.2 实验环境和参数设置

　　4.3 实验结果与分析

　　5 结论和展望