题名
结合预训练模型和语言知识库的文本匹配方法
DOI
作者
周烨恒 石嘉晗 徐睿峰
作者单位
哈尔滨工业大学(深圳)计算机科学与技术学院
摘要
针对文本匹配任务,该文提出一种大规模预训练模型融合外部语言知识库的方法。该方法在大规模预训练模型的基础上,通过生成基于WordNet的同义—反义词汇知识学习任务和词组—搭配知识学习任务引入外部语言学知识。进而,与MT-DNN多任务学习模型进行联合训练,以进一步提高模型性能。最后利用文本匹配标注数据进行微调。在MRPC和QQP两个公开数据集的实验结果显示,该方法可以在大规模预训练模型和微调的框架基础上,通过引入外部语言知识进行联合训练有效提升文本匹配性能。
关键词
文本匹配；预训练模型；语言知识库融合
刊名
当代中文学刊
ISSN
3008-0282
年、卷(期)
20204
所属期刊栏目
人文社科
打印
