Read before Generate! Faithful Long Form Question Answering with Machine Reading

📚

长文本

代码：暂未公开

任务

长文本问答 (LFQA) 旨在为给定问题生成段落长度的答案。当前使用大型预训练模型生成的LFQA工作可以有效地产生流畅且较为相关的内容，但对长文本问答来说，不同的文档可能包含冗余，互补或矛盾的信息，主要的挑战在于如何生成具有较少空洞内容的高置信度(faithful)答案。​

关键思想：本文提出了一个新的端到端框架，该框架对答案生成和机器阅读进行联合建模，使用与答案相关的细粒度的显著信息来增强生成模型，这些信息可以被视为对事实的强调。​

a fluent and relevant but unfaithful answer：

unfaithful answer 会误导读者

方法（模型）

本文将基于Seq2Seq的生成器与机器阅读理解 (reader) 模块相结合。reader会为每个句子生成作为证据的概率得分，该分数将与生成器集成在一起，用于最终的分布预测。​

模型结构：

为了对给定的通用领域问题生成深入的长答案，首先使用检索器从大量的外部知识中检索相关信息。然后，reader和generation模块将多个检索到的文档以及问题作为输入以生成答案。​

reader模块：为每个文档中的每个句子计算证据得分。

generator模块：采用预训练的Seq2Seq语言模型，将句子证据得分融合到其生成过程中。​

Supporting document retriever

使用DPR检索相关文档

retriever根据文档的相关性对文档进行排名：

对于问题Q,使用

表示top-k相关文档。

Document reader

由于没有用于长答案的标注标签，因此检索到的文档可能包含与答案相关的补充，矛盾或冗余信息。因此，使用阅读器模块来预测每个文档中句子的证据概率。​

Evidence span prediction

输入：

输出： 
中可能是evidence spans的开始和结束位置，每个输出token有两个概率分布， 
,分别表示token 
作为头和尾token的概率​

Sentence evidence probability

句子级的概率更适合长文本任务，支持句可以为每个答案跨度提供所需的最小上下文信息，这一点非常重要，尤其是在多文档生成中。​

文档中第i个句子的概率表示为 
，由该句子中所有token的证据概率加和得到。​

：表示经过归一化后，所有top-k句子的证据概率

Multi-task MRC

Read before Generate! Faithful Long Form Question Answering with Machine Reading​