摘要
医疗对话生成旨在提供自动和准确的响应，以帮助医生以高效的方式给出诊断和治疗建议。在医疗对话中，有两个关键特征与反应生成有关：患者状态(如症状、药物)和医生行为(如诊断和治疗)。在医疗计划中，由于高成本和隐私要求，通常不可能获得大规模的人工标记数据。因此，目前的医疗对话生成方法通常不考虑患者的状态和医生的行为，而是专注于隐藏的表达。 我们提出了端到端变分推理医疗对话生成的方法。为了处理有限的标记数据，我们将患者状态和医生行为作为具有类别先验的潜在变量，分别跟踪患者状态和学习医生策略。在病人的状态和医生的动作上，我们提出了一种变分贝叶斯生成方法。我们使用有效的随机梯度变分贝叶斯估计器来优化推导的变分下界，其中使用了两个阶段collapsed减少模型训练过程中的偏差。此外，我们还提出了由动作分类器和两个推理检测器组成的医生策略网络，以提高推理能力。在医疗平台收集的三个数据集中进行实验。实验结果表明，就客观和主观评估指标而言，该提出的方法优于最先进的基线。我们的实验还表明，我们提出的半监督推理方法相当于医生战略学习的全监督学习基准。
1.介绍
越来越多的对话框架被用来将人们与信息联系起来，支持高度专业的垂直领域，同时满足开放领域的信息需求。我们的重点是在医疗领域寻求对话信息。在临床治疗期间，对话医学系统可以作为医生的助手，以帮助响应患者的需求，如查询症状、诊断、开药或治疗。智能医疗对话系统（MDS）能减轻医生的工作压力。给定一个对话上下文，先前关于MDS工作主要集中在准确诊断的生成上。利用大规模的医学知识，提供适当的医学响应，几乎没有工作考虑多轮医学对话生成的任务。 对话系统中有两个支持临床决策（CDS）相关关键特征：患者状态（如症状、药物等）和医生动作（如治疗、诊断等）。这两个特征使MDS比其他知识密集型对话方案更复杂。：(1)病人的状态跟踪（PST）：在编码患者的描述后，MDS跟踪病人的生理状况，即对话上下文中的病人状态；(2)医生学习策略（PPL）：给出病人的状态和话语，MDS将医生的动作嵌入到响应中；(3)医疗响应生成（MRG）：MDS用连贯的句子反应检测到的状态和动作。 图1显示了感染科医疗对话的样例。对话过程列在左侧，病人的状态和医生的行为在右侧。首先，第一轮患者分享他们的症状，即发烧、食欲不振和咳嗽；医生问病人是否有其他症状，即疲劳、夜汗和干咳，以反映第二轮医生的行为。随着对话的发展，各种状态和行动都有所不同。在最后一轮，医生的行动是开药：异烟肼、利福平、吡嗪酰胺、乙胺丁醇。 ：（1）。在医疗对话中，标记者需要医学专业知识来标记数据。由于隐私原因，大规模人工标记中间状态存在问题。因此，很少有TDS该方法可直接应用MRG。（2）。为了帮助病人或医生理解为什么MDG系统会产生这样的响应，，这是大多数TDS研究所忽略的。 为了应对这些挑战，我们提出了VRBot，能够对MRG执行变分推理。受TDS方法的启发，VRBot包括病人状态跟踪器和医生策略网络，分别检测病人状态和医生动作。不同于以大量人工标记的观测变量中学习的工作不同，VRBot将病人的状态和医生的运动视为变分贝叶斯方法推出的双重潜在变量。随机梯度变分贝叶斯（SGVB）估计器有效地接近后验推断。为了减轻SGVB在估计偏差期间，我们提出了两个阶段collapsed以迭代近似状态和动作后验分布的推理方法。 我们采用以下方法来解决响应生成过程中语义理解有限的问题。。通过显式病人的状态，医生的行动和多跳推理的序列，VRBot能为其医学对话生成的结果提供高度的解释。 为了评估VRBot我们收集了基于医学知识的对话数据集，KaMed。KaMed包括6万多个医疗对话，其中包括5628个实体(如哮喘和阿托品)。使用KAMED和其他两个MDG我们发现了基准数据集VRBot使用有限的标记数据优于MDG最先进的基准。因此，给定大规模未标注的医学语料，VRBot通过预测适当的治疗和诊断，准确跟踪患者的生理状况，提供信息丰富、连贯的响应。我们还发现，VRBot与其他MDG基准可以提供更多可解释的响应生成过程。 ：(1)我们提出了一个名字VRBot端到端医疗响应生成模型。据我们所知， VRBot第一个同时把状态和动作作为TDS框架的潜在变量建模。(2)我们设计了一个包含上下文检测器和图形检测器的混合策略网络VRBot医生的行为可以根据对话信息和外部知识同时预测。(3)我们表很少或没有人工标记的数据，VRBot病人的状态和医生的动作也可以显式跟踪。(4)我们发布了KaMed，这是一个具有外部知识的大规模医学对话数据集。(5)基准数据集的实验表明，VRBot它可以产生比最新基线更丰富、更准确、更可解释的响应。
2.相关工作
。MDS以前的方法为基础TDS建模遵循病人表达症状的框架。Wei et al. 利用强化学习学习自动诊断的对话策略。Lin et al.建立症状图，建模症状之间的关联，提高症状诊断的性能。Xu et al.考虑症状和疾病的共现概率，采用强化学习。Xia et al.利用互信息奖励和生成对抗网络改进的工作。同时，为了提高对医疗对话历史的理解，包括症状提取、医疗槽填充和医疗信息提取，探索了各种方法。 Chen et al.研究用于预测响应实体的预训练模型的性能。Chen et al. 由数百万对话组成的数据集收集，由于没有人工标记，因此没有明确考虑学习对话管理。 目前还没有工作可以从大规模未标注的语料库中学习对话策略，大大限制了医疗对话系统的应用。 。跟踪对话状态TDS它起着重要的作用。提出了基于条件随机场和深度神经网络跟踪模块化的方法TDS中等状态。最近，端到端TDS引起了很多关注。对非面向任务的对话， Serban et al. 和Chen et al. 很难区分医学概念。对话状态也是对话上下文中的一系列关键词。Jin et al. 和 Zhang et al. 利用未标记的数据提高状态跟踪性能，提出半监督生成模型。Liang et al. 编码器-解码器训练框架MOSS，整合各种中间对话系统模块的监督信息。MOSS在模型培训过程中使用不完整的监督信息。然而，现有的方法不能产生丰富的信息响应，也不能解决对话问题agent语义推理能力。据我们所知，在小样本环境中没有办法同时建模状态和动作。 在MDG学习医生的动作和状态跟踪一样重要。 与[17、29、65]相比，我们的模型可以同时推断缺失的状态和动作。 。对话任务基于知识（KGC）根据准确的背景知识产生响应。。前者侧重于知识三元组或知识图，而后者则以段落文本为条件。结构化KGC，Liu et al.用神经知识扩散模块编码知识三元组，预测相关实体。Liu et al. 增强知识图，将对话集成到对话的开放领域。Tuan et al.马尔可夫链用于评估模型在结构转移矩阵上推理多个跳路径的能力，使模型能够更新零样本。Xu et al.将先验对话转移信息表示为知识图，学习基于图的对话策略，产生连贯可控的响应。Lei et al. 构建一个user-item-attribute知识图，并巧妙地将对话策略学习作为图上的路径推理。 从开放领域的大多数知识库中选择知识的结构化KGC方法不同，MDG探索医学领域专业知识图的使用，研究从患者状态到医生行动的多跳知识路径转移。
3.方法
3.1 问题定义
。给定一个 T T T轮对话，医学会话 d d span class="base">d由一系列语句组成，即， d = { U 1 , R 1 , U 2 , R 2 , . . . , U T , R T } d=\{U_1,R_1,U_2,R_2,...,U_T,R_T\} d={ U1,R1,U2,R2,...,UT,RT}，其中 U t U_t Ut和 R t R_t Rt分别是患者描述和虚拟医生的响应。在第 t t t轮中，给定患者的语句 U t U_t Ut和上一轮医生的响应 R t − 1 R_{t-1} Rt−1，对话系统会生成一个响应 R t R_t Rt。令 ∣ U t ∣ |U_t| ∣Ut∣作为 U t U_t Ut中的单词数，我们定义 U t = ( U t , 1 , U t , 2 , . . . , U t , ∣ U t ∣ ) U_t=(U_{t,1},U_{t,2},...,U_{t,|U_t|}) Ut=(Ut,1,Ut,2,...,Ut,∣Ut∣)作为一个单词序列。完整的词表被定义为 V \mathcal V V。 K K K表示医学对话系统中的外部知识库，其中 K K K中的每个三元组分别表示头实体，关系和尾实体。与[53]相同，我们通过将 K K K中具有重叠实体的三元组进行链接来构造一个知识图 G g l o b a l G^{global} Gglobal。我们假设每个实体都被归类为一个实体类型，其中实体类型有 E t y p e = { d i s e a s e , s y m p t o m s , m e d i c i n e s , t r e a t m e n t s } E_{type}=\{disease, symptoms, medicines, treatments\} Etype={ disease,symptoms,medicines,treatments}。 我们将VRBot视为具有参数 θ \theta θ的模型。给定对话上下文，响应和知识图 G g l o b a l G^{global} Gglobal，我们旨在最大化VRBot在 d d d上的概率分布： ∏ t = 1 T p θ ( R t ∣ R t − 1 , U t , G g l o b a l ) . (1) \prod^T_{t=1}p_{\theta}(R_t|R_{t-1},U_t,G^{global}).\tag{1} t=1∏Tpθ(Rt∣Rt−1,Ut,Gglobal).(1) 。基于文本跨度的对话状态跟踪器具有结构简单且解释性高的双重优势。因此，在第 t t t轮中，我们将文本跨度 S t S_t St（即单词序列）定义为对历史语句及响应进行总结的患者状态（即， U 1 , R 1 , , . . . , R t − 1 , U t U_1,R_1,,...,R_{t-1},U_t U1,R1,,...,Rt−1,Ut)。然后，我们将 S t S_t St作为在知识库中搜索的约束。与 S t S_t St类似，我们还使用文本跨度 A t A_t At代表医生在第 t t t轮的动作，其对医生的策略进行了总结，例如诊断，药品或治疗。给定 S t S_t St， A t A_t At通过策略学习过程进行预测。因此，MDG中的任务变成了每个轮次对两个连续文本跨度（ S t S_t St和 A t A_t At）进行生成的问题。 由于文本跨度也有助于提高响应生成的性能，因此每个轮次生成 S t S_t St和 A t A_t At是MDG中的关键组件。。 。在MDG中，对大量患者的中间状态和医师的动作进行标注是不切实际的。因此，在VRBot中，我们将 S t S_t St和 A t A_t At视为贝叶斯生成模型的潜在变量，因此我们将等式1重新定义为： ∏ t = 1 T ∑ S t , A t p θ g ( R t ∣ R t − 1 , U t , S t , A t ) ⋅ p θ s ( S t ) ⋅ p θ a ( A t ) , (2) \prod^T_{t=1}\sum_{S_t,A_t}p_{\theta_g}(R_t|R_{t-1},U_t,S_t,A_t)\cdot p_{\theta_s}(S_t)\cdot p_{\theta_a}(A_t),\tag{2} t=1∏TSt,At∑pθg(Rt∣Rt−1,Ut,S 标签： isq电容笔原理