面向知识库问答的实体链接是指将自然语言问句中实体指称链接到知识库中实体的方法。目前主要面临两个问题:第一是自然语言问句短，实体指称上下文不充分；第二是结构化知识库中实体的文本描述信息少。因此，该文提出了分别利用候选实体的类别、关系和邻近实体作为候选实体表示的方法，弥补知识库实体描述信息不足的问题。同时，通过语料训练得到问句指称的相似实体指称作为其背景知识。最后，结合实体流行度，共同作为实体消歧的特征。实验结果表明，上述提到所有特征的线性组合在数据集上高于单个特征的结果，表现最佳。

实现古诗和对联的自动生成是极具挑战性的任务。该文提出了一种新颖的多任务学习模型用于古诗和对联的自动生成。模型采用编码-解码结构并融入注意力机制，编码部分由两个BiLSTM组成，一个BiLSTM用于关键词输入，另一个BiLSTM用于古诗和对联输入；解码部分由两个LSTM组成，一个LSTM用于古诗的解码输出，另一个LSTM用于对联的解码输出。在中国的传统文学中，古诗和对联具有很多的相似特征，多任务学习模型通过编码器参数共享，解码器参数不共享，让模型底层编码部分兼容古诗和对联特征，解码部分保留各自特征，增强模型泛化能力，表现效果大大优于单任务模型。同时，该文在模型中创新性地引入关键词信息，让生成的古诗及对联表达内容与用户意图一致。最后，该文采用自动评估和人工评估两种方式验证了方法的有效性。

关键短语提取是自然语言处理领域的一个重要子任务，其目的是自动识别出文本中的重要短语，现有方法主要强调词语间相关关系和词语自身影响力会影响关键短语提取效果。考虑到关键短语应准确地表示文档主题这一特点，该文提出一种基于主题熵的关键短语提取算法。该算法利用隐含狄利克雷分布训练文档和词的主题分布，并结合两个主题分布来表示特定文档下的词主题分布，然后计算词主题分布的信息熵即主题熵来表示词语自身影响力，最后在词共现网络上使用随机游走方法计算每个候选短语的得分。在6个公开数据集上的实验结果表明，与现有的无监督关键短语提取算法相比，该算法在F1指标上能提高2.61%～6.98%。

该文提出一种融入多特征的汉越双语新闻观点句抽取方法。首先针对汉语和越南语标记资源不平衡的问题，构建了汉越双语词嵌入模型，用丰富的中文标记资源来弥补越南语标记资源的缺失。并且该文认为句子的主题特征、位置特征和情感特征对观点句分类具有重要作用，因此将这些特征分别融入词向量和注意力机制中，实现句子语义信息和情感、主题、位置特征的结合。实验表明，该方法可有效提升越南语新闻观点句抽取的准确率。

实体关系抽取解决了原始文本中目标实体之间的关系分类问题，同时也被广泛应用于文本摘要、自动问答系统、知识图谱、搜索引擎和机器翻译中。由于中文句式和语法结构复杂，并且汉语有更多歧义，会影响中文实体关系分类的效果。该文提出了基于多特征自注意力的实体关系抽取方法，充分考虑词汇、句法、语义和位置特征，使用基于自注意力的双向长短期记忆网络来进行关系预测。在中文COAE 2016Task 3和英文SemEval 2010Task 8数据集上的实验表明该方法表现出了较好的性能。

基于编码—解码(端到端)结构的机器翻译逐渐成为自然语言处理之机器翻译的主流方法，其翻译质量较高且流畅度较好，但依然存在词汇受限、上下文语义信息丢失严重等问题。该文首先进行语料预处理，给出一种Transformer-CRF算法来进行蒙古语词素和汉语分词的预处理方法。然后构建了基于Tensor2Tensor的编码—解码模型，为了从蒙古语语料中学习更多的语法和语义知识，该文给出了一种基于词素四元组编码的词向量作为编码器输入，解码阶段。为了进一步缓解神经网络训练时出现的词汇受限问题，该文将专有名词词典引入翻译模型来进一步提高翻译质量和译文忠实度。根据构建模型对不同长度句子进行实验对比，表明模型在处理长时依赖问题上翻译性能得到提高。

会议场景下通过语音识别和机器翻译技术实现从演讲人语音到另外一种语言文字的翻译，对于跨语言信息交流具有重要意义，成为当前研究热点之一。该文针对由于会议行业属性带来的专业术语和行业用语的翻译问题，提出了一种融合外部词典知识的领域个性化方法。具体而言，首先采用联合占位符和拼接融合的编码策略，通过引入外部词典知识，在提升实体词、专业术语词翻译准确率的同时，兼顾翻译结果的流畅性。其次提出基于分类的领域旁支参数个性化自适应策略，在保持通用领域翻译效果的情况下实现会议相关领域翻译质量的提升。最后基于上述方案，设计了一套领域个性化自动训练系统。实验结果表明，在中英体育、商务和医学会议翻译任务上，该系统在不影响通用翻译的情况下，平均提升9.22个BLEU，获得较好翻译效果。

分布式词表示学习旨在用神经网络框架训练得到低维、压缩、稠密的词语表示向量。然而，这类基于神经网络的词表示模型有以下不足:(1)罕见词由于缺乏充分上下文训练数据，训练所得的罕见词向量表示不能充分地反映其在语料中的语义信息；(2)中心词语的反义词出现于上下文时，会使意义完全相反的词却赋予更近的空间向量表示；(3)互为同义词的词语均未出现于对方的上下文中，致使该类同义词学习得到的表示在向量空间中距离较远。基于以上三点，该文提出了一种基于多源信息融合的分布式词表示学习算法(MSWE)，主要做了4个方面的改进:(1)通过显式地构建词语的上下文特征矩阵，保留了罕见词及其上下文词语在语言训练模型中的共现信息可以较准确地反映出词语结构所投影出的结构语义关联；(2)通过词语的描述或解释文本，构建词语的属性语义特征矩阵，可有效地弥补因为上下文结构特征稀疏而导致的训练不充分；(3)通过使用同义词与反义词信息，构建了词语的同义词与反义词特征矩阵，使得同义词在词向量空间中具有较近的空间距离，而反义词则在词向量空间中具有较远的空间距离；(4)通过诱导矩阵补全算法融合多源特征矩阵，训练得到词语低维度的表示向量。实验结果表明，该文提出的MSWE算法能够有效地从多源词语特征矩阵中学习到有效的特征因子，在6个词语相似度评测数据集上表现出了优异的性能。

关系抽取作为信息抽取的一项关键技术，在知识库自动构建、问答系统等领域有着极为重要的意义，一直以来受到人们的关注。远程监督关系抽取技术通过外部知识库作为监督源，自动对语料库进行标注，能够大量节省人工标注成本，因而受到了研究者们的重视。该文针对远程监督关系抽取技术做了较为系统性的梳理，将已有方法分为基于概率图的、基于矩阵补全的和基于嵌入的三大类，并且对其当前面临的挑战进行了探讨，最后总结并展望了远程监督关系抽取技术未来的发展。

基于编码器—解码器架构的序列到序列学习模型是近年来主流的生成式文摘方法。但是，传统的编码器尚不能有效地对长文档进行语义编码，并且只能学习线性链结构的信息，忽视了文档具有的层次结构。而文档的层次结构(字—句—文档)有助于自动文摘系统更加准确地判断文档内不同结构单元的语义信息和重要程度。为了使编码器能够获取文档的层次结构信息，该文根据文档的层次结构对文档进行编码:首先构建字级语义表示，然后由字级语义表示构建句级语义表示。另外，该文还提出了一种语义融合单元来对输入文档不同层次的语义信息进行融合，作为最终的文档表示提供给编码器生成摘要。实验结果表明，在加入该文提出的层次文档阅读器与语义融合单元后，系统性能在ROUGE评价指标上有显著提高。

针对机器阅读理解中观点型问题的求解，提出一个端到端深度学习模型，使用Bi-GRU对文章和问题进行上下文语义编码，然后运用基于拼接、双线性、点乘和差集4种函数的注意力加上Query2Context和Context2Query两个方向注意力的融合算法获取文章和问题的综合语义信息，之后运用多层注意力转移推理机制不断聚焦，进一步获取更加准确的综合语义，最终将其与候选答案进行比较，选出正确答案。该模型在AIchallager2018观点型阅读理解中文测试数据集上准确率达到76.79%，性能超过基线系统。此外，该文尝试文章以句子序列作为输入表示进行答案求解，准确率达到78.48%，获得较好试验效果。

机器阅读理解是当下自然语言处理的一个热门任务，其内容是:在给定文本的基础上，提出问题，机器要在给定文本中寻找并给出最终问题的答案。片段抽取式阅读理解是当前机器阅读理解研究的一个典型的方向，机器通过预测答案在文章中的起始和结束位置来定位答案。在此过程中，注意力机制起着不可或缺的作用。该文为了更好地解决片段抽取式机器阅读理解任务，提出了一种基于多重联结机制的注意力阅读理解模型。该模型通过多重联结的方式，更有效地发挥了注意力机制在片段抽取式机器阅读理解任务中的作用。利用该模型，在第二届"讯飞杯"中文机器阅读理解评测(CMRC2018)的最终测试集上EM值为71.175，F1值为88.090，排名第二。

关系抽取是信息抽取领域一项十分具有挑战性的任务，用于将非结构化文本转化为结构化数据。近年来，卷积神经网络和循环神经网络等深度学习模型，被广泛应用于关系抽取的任务中，且取得了不错的效果。卷积网络和循环网络在该任务上各有优势，且存在一定的差异性。其中，卷积网络擅长局部特征提取，循环网络能够捕获序列整体信息。针对该现象，该文综合卷积网络抽取局部特征的优势和循环网络在时序依赖中的建模能力，提出了卷积循环神经网络(convolutional recurrent neural network，CRNN)。该模型分为三层:首先针对关系实例抽取多粒度局部特征，然后通过聚合层融合不同粒度的特征，最后利用循环网络提取特征序列的整体信息。此外，该文还探究多种聚合策略对信息融合的增益，发现注意力机制对多粒度特征的融合能力最为突出。实验结果显示，CRNN优于主流的卷积神经网络和循环神经网络，在SemEval 2010Task 8数据集上取得了86.52%的F1值。

在实体关系抽取任务中，通常采用远程监督(distant supervision，DS)数据集，远程监督方法能通过大规模语料库自动标注数据来扩张数据集，但这无疑会使数据集充满大量的噪声。为此，该文将深度残差网络(deep residual network，ResNet)应用到关系提取的远程监督数据集上，通过加深网络层数来提高模型降噪能力。同时，提出了Gate模块，有效提高了深度残差网络的性能。该模块可以学习到每个特征通道的重要性，通过权重增强或抑制各个特征通道的比重，从而防止过拟合。另外，为了进一步解决数据集降噪问题，还提出了一种双池化层的池化层新方案。实验结果表明所提方法相比于目前效果较好的PCNN+ATT模型，在准确率和召回率上都有3%左右的提升。

近年来，基于神经网络的分词模型在封闭领域文本上取得了很高的性能。然而，在领域移植场景下，即测试数据与训练数据的领域差异较大时，分词的性能会显著下降。该文尝试利用自动获取的弱标注数据来提升领域移植场景下的分词性能。首先，对目前性能最好的BiLSTM-CRF分词模型进行扩展，引入适用于弱标注数据的损失函数；进而提出一种简单有效的数据筛选方法，从海量弱标注数据中筛选和目前领域更相关的数据；最后，该文发现数据预处理和在神经网络中引入传统特征均可以有效提高分词性能。在SIGHAN Bakeoff 2010和ZhuXian标注测试集上的实验结果表明，该文所提方法可有效提升汉语分词领域移植性能，平均F值提高了3.6%。

该文针对短语音(语段时长小于等于1s)和易混淆语音的语种识别进行研究。选取东方多语种识别竞赛数据集为实验数据集，对比了音素对数似然比特征、梅尔频率倒谱系数特征、深度瓶颈层特征(DBF)在短语音及易混淆语种识别中的性能，证明DBF在两种识别任务中均具有较好的性能。为提升识别准确率提出DBF-I-VECTOR语种识别改进系统，该系统分别将基线DBF-I-VECTOR系统的短语音识别等错误率最优结果从12.26%降低为10.55%，易混淆语音识别等错误率(EER)最优结果从5.53%降低为2.86%。在对比改进系统后端的余弦距离(CDS)、概率线性判别分析(PLDA)、支持向量机(SVM)、极端梯度提升(XGBoost)、随机森林(RF)分类性能时发现RF在短语音任务中分类效果最好，SVM在易混淆任务中分类效果最好。

面向问答型评论的情感分类在情感分析领域是一项新颖且极具挑战性的研究任务。由于问答型评论情感分类标注数据非常匮乏，基于监督学习的情感分类方法的性能有一定限制。为了解决上述困境，该文提出了一种基于联合学习的问答情感分类方法。该方法通过大量自然标注普通评论辅助问答情感分类任务，将问答情感分类作为主任务，将普通评论情感分类作为辅助任务。具体而言，首先通过主任务模型单独学习问答型评论的情感信息；其次，使用问答型评论和普通评论共同训练辅助任务模型，以获取问答型评论的辅助情感信息；最后通过联合学习同时学习和更新主任务模型及辅助任务模型的参数。实验结果表明，基于联合学习的问答情感分类方法能较好融合问答型评论和普通评论的情感信息，大幅提升问答情感分类任务的性能。

文本情感分析作为自然语言处理领域的一大分支，具有非常高的研究价值。该文提出了一种基于多通道卷积与双向GRU网络的情感分析模型。该模型首先使用多通道卷积神经网络对文本不同粒度的特征信息进行提取，提取后的特征信息经过融合送入双向GRU中，结合注意力机制获得文本的上下文情感特征，最后由分类器给出文本的情感倾向。注意力机制自适应的感知上下文信息进而提取对情感极性影响较强的特征，在模型的基础上引入Maxout神经元，解决模型训练过程中的梯度弥散问题。模型在IMDb及SST-2数据集上进行实验，实验结果表明本文模型较CNN-RNN模型在分类精确度上有了一定程度的提升。

问句复述识别旨在识别两个自然问句是否语义一致。目前，基于表示学习和深度神经网络架构的复述识别技术已取得较好效果。但是，这类方法往往面临复杂度较高且训练难度较大的瓶颈。针对这一问题，该文提出一种快速的多卷积自交互匹配方法。该方法融合了多种句子特征和词义特征，并由此形成分布式表示。在此基础上，这一方法利用卷积神经网络获取短语级的句子向量表示，并利用自交互融合技术将词级与短语级的向量表示进行充分融合，借以获得多粒度句子向量表示。该文将这一方法应用于判定自然语句是否互为复述的二元分类任务中，利用Quora标准问句复述识别语料进行测试。实验结果证明，在不引入外部数据的情况下，该文所提方法与基于双向多视角匹配的基准模型具有可比的性能，但在空间复杂度上具有较高的优越性，并且获得更快训练速度。具体地，该方法训练所需的物理显存比基准模型方法下降80%，训练迭代速度快19倍。

HSK是一项国际汉语能力标准化考试。新HSK大纲中附表所列650个"默认词"多依据专家知识人工列举式的扩充。该文在《现代汉语词典》《现代汉语语法信息词典》等资源的基础上，利用知识工程的方法，迭代使用减字默认、组合默认等词汇等级类推规则，力争实现类推过程中隐性知识的显性化、分散知识的系统化，使得词汇等级类推的每一个环节都有章可循、有据可依，完成了基于新HSK大纲词汇等级的系统类推工作。接着，结合所构建的汉语词法知识库对类推结果进行了筛选，最终得到了23 762个词语的类推等级。最后，通过对类推结果的统计分析，表明该文的研究工作可以更好地发挥新HSK词汇大纲在汉语词汇定级、文本难度分级中的指导作用，也可为其他领域教学词汇大纲的制定提供一定的借鉴。