文章-世纪中文出版社

李源马磊邵党国袁梅宇张名芳《中文研究》 2020年11期

摘要:

社交领域的中文命名实体识别（NER）是自然语言处理（NLP）中一项重要的基础任务。目前基于词粒度信息或者外部知识的中文命名实体识别方法，都会受到中文分词（CWS）和溢出词（OOV）等问题的影响。因此，该文提出了一种基于字符的使用位置编码和多种注意力的对抗学习模型。联合使用位置编码和多头注意力能够更好地捕获字序间的依赖关系，而使用空间注意力的判别器则能改善对外部知识的提取效果。该文模型分别在Weibo2015数据集和Weibo2017数据集上进行了实验，实验结果中的F1值分别为56.79%和60.62%。与多个基线模型相比，该文提出的模型性能更优。

融合空洞卷积神经网络与层次注意力机制的中文命名实体识别下载：24 浏览：480

陈茹1，2 卢先领2，3 《中文研究》 2020年11期

摘要:

该文针对现有的命名实体识别(named entity recognition，NER)模型未考虑到文本层次化结构对实体识别的重要作用，以及循环神经网络受其递归性的限制导致计算效率低下等问题，构建了IDC-HSAN模型(Iterated Dilated Convolutions Neural Networks and Hierarchical Self-attention Network)。该模型通过迭代的空洞卷积神经网络(ID-CNN)充分利用GPU的并行性大大降低了使用长短时记忆网络的时间代价。然后，采用层次化注意力机制捕获重要的局部特征和全局上下文中的重要语义信息。此外，为了丰富嵌入信息，加入了偏旁部首信息。最后，在不同领域数据集上的实验结果表明，IDC-HSAN模型能够从文本中获取有用的实体信息，和传统的深度网络模型、结合注意力机制的命名实体识别模型相比识别效果有所提升。

基于对话结构和联合学习的情感和意图分类下载：42 浏览：238

张伟生王中卿李寿山周国栋《中文研究》 2020年10期

摘要:

在社交媒体中存在大量的对话文本，而在这些对话中，说话人的情感和意图通常是相关的。不仅如此，对话的整体结构也会影响对话的情感和意图，因此，需要对对话中的情感和意图进行联合学习。为此，该文提出了基于对话结构的情感、意图联合学习模型，考虑对话内潜在的情感与意图的关联性，并且利用对话的内在结构与说话人的情感和意图之间的关系，提升多轮对话文本的每一子句情感及其意图的分类性能。同时，通过使用注意力机制，利用对话的前后联系来综合考虑上下文对对话情感的影响。实验表明，联合学习模型能有效地提高对话子句情感及意图分类的性能。

基于层次模型和注意力机制的文本分类算法下载：72 浏览：326

武高博1 王黎明1 柴玉梅1 刘箴2 《中文研究》 2020年6期

摘要:

文本分类一直是自然语言处理任务的研究重点与热点，且被广泛应用到诸多实践领域。首先，该文针对文本分类过程中缺乏层次结构特征的问题，对NMF-SVM分类方法进行优化，利用优化后的分类标签构建树形层次模型，从特征树中提取层次特征；其次，针对关键词与非关键词对分类结果影响程度不同的问题，提出SEAN注意力机制，通过对时间、地点、人物和事件四要素的提取，得到不同词之间的注意力；最后，针对句子间亲和度不同的问题，考虑不同句子的四要素词和语义层面的影响提出句间亲和度计算模型。该文算法适用于四要素突出的数据集，如新闻、小说、阅读理解、微博，在新闻类数据集上与同类别的深度学习文本分类模型以及包含注意力机制的混合模型进行了对比，实验结果表明，该算法在分类效果上具有一定优势。

基于知识图谱的在线商品问答研究下载：63 浏览：437

王思宇1 邱江涛1 洪川洋1 江岭2 《中文研究》 2020年5期

摘要:

现阶段，针对商品的自动问答主要由意图识别和答案配置来实现，但问题答案的配置依赖人工且工作量巨大，容易造成答案质量不高。随着知识图谱技术的出现和发展，基于知识图谱的自动问答逐渐成为研究热点。目前，基于知识图谱的商品自动问答主要是通过规则解析的方法将文本形式问题解析为知识图谱查询语句来实现。虽然减少了人工配置工作，但其问答效果受限于规则的质量和数量，很难达到理想的效果。针对上述问题，该文提出一种基于知识图谱和规则推理的在线商品自动问答系统。主要贡献包括:(1)构建一个基于LSTM的属性注意力网络SiameseATT(Siamese attention network)用于属性选择；(2)引入了本体推理规则，通过规则推理使得知识图谱能动态生成大量三元组，使得同样数据下可以回答更多问题。在NIPCC-ICCPOL 2016 KBQA数据集上的实验显示，该系统具有很好的性能。相比一些更复杂的模型，该问答系统更适合电商的应用场景。

基于双向注意力机制的图像描述生成下载：60 浏览：42

张家硕洪宇李志峰姚建民朱巧明《中文研究》 2020年1期

摘要:

结合注意力机制的编码器—解码器框架被广泛应用于图像描述生成任务中。以往方法中，注意力机制根据当前时刻的语义信息挑选出重要的局部图像特征，进而依靠解码器的"翻译"能力将图像特征解码成文字。然而，在此过程中，单向的注意力机制并未检验语义信息与图像内容的一致性。因此，所生成的描述在准确性方面有所欠缺。为解决上述问题，该文提出一种基于双向注意力机制的图像描述生成方法，在单向注意力机制的基础上，加入图像特征到语义信息方向上的注意力计算，实现图像和语义信息两者在两个方向上的交互，并设计了一种门控网络对上述两个方向上的信息进行融合。最终，提高解码器所蕴含的语义信息与图像内容的一致性，使得所生成描述更加准确。此外，与前人研究不同的是，该文在注意力模块中利用了历史时刻的语义信息辅助当前时刻的单词生成，并对历史语义信息的作用进行了验证。该文基于MSCOCO和Flickr30k两种图像描述生成数据集，并使用两种图像特征进行了实验。实验结果显示，在MSCOCO数据集上，BLEU4分值平均提升1.3，CIDEr值平均提升6.3。在Flickr30k数据集上，BLEU4分值平均提升0.9，CIDEr值平均提升2.4。

基于结构化表示的中文事件同指消解方法下载：20 浏览：361

宦敏程昊熠李培峰《中文研究》 2019年12期

摘要:

事件同指消解是自然语言处理中一个具有挑战性的任务，它在事件抽取、问答系统和阅读理解中具有重要作用。针对事件的语义信息主要由触发词和论元表示这一个特点，该文将事件进行结构化表示并输入一个基于门控和注意力机制的模型GAN-SR(gated attention network with structured representation)，在文档内进行中文事件同指消解。首先，该模型采用语义角色标注和依存句法分析技术对事件句进行浅层语义分析，抽取事件句信息并表示为一个事件五元组。其次，将各种事件信息输入GRU进行编码，然后使用多头注意力机制挖掘事件句和事件对之间的重要特征。在ACE2005中文语料库上的实验表明，GAN-SR的性能优于目前性能最好的基准系统。

基于联合注意力机制的篇章级机器翻译下载：30 浏览：312

李京谕1，2 冯洋1，2 《中文研究》 2019年11期

摘要:

近年来，神经机器翻译(neural machine translation， NMT)表现出极大的优越性，然而如何在翻译一个文档时考虑篇章上下文信息仍然是一个值得探讨的问题。传统的注意力机制对源端的所有词语进行计算，而在翻译当前句子时篇章中大量的信息中只有小部分是与之相关的。在篇章级机器翻译中，采用传统的注意力机制建模篇章信息存在着信息冗余的问题。该文提出了一种联合注意力机制，结合"硬关注"和"软关注"的机制对篇章上下文的信息进行建模。关键思想是通过"硬关注"筛选出与翻译当前句子相关的源端历史词语，然后采用"软关注"的方法进一步抽取翻译中所需的上下文信息。实验表明，相比于基线系统，该方法能使翻译性能获得明显提升。

融入注意力机制的越南语组块识别方法下载：70 浏览：319

王闻慧1 毕玉德2 雷树杰1 《中文研究》 2019年10期

摘要:

对于越南语组块识别任务，在前期对越南语组块内部词性构成模式进行统计调查的基础上，该文针对Bi-LSTM+CRF模型提出了两种融入注意力机制的方法:一是在输入层融入注意力机制，从而使得模型能够灵活调整输入的词向量与词性特征向量各自的权重；二是在Bi-LSTM之上加入了多头注意力机制，从而使模型能够学习到Bi-LSTM输出值的权重矩阵，进而有选择地聚焦于重要信息。实验结果表明，在输入层融入注意力机制后，模型对组块识别的F值提升了3.08%，在Bi-LSTM之上加入了多头注意力机制之后，模型对组块识别的F值提升了4.56%，证明了这两种方法的有效性。

融合注意力LSTM的协同过滤推荐算法下载：17 浏览：413

罗洋1 夏鸿斌1，2 刘渊1，2 《中文研究》 2019年10期

摘要:

针对传统协同过滤算法难以学习深层次用户和项目的隐表示，以及对文本信息不能充分提取单词之间的前后语义关系的问题，该文提出一种融合辅助信息与注意力长短期记忆网络的协同过滤推荐模型。首先，附加堆叠降噪自编码器利用评分信息和用户辅助信息提取用户潜在向量；其次，基于注意力机制的长短期记忆网络利用项目辅助信息来提取项目的潜在向量；最后，将用户与项目的潜在向量用于概率矩阵分解中，从而预测用户偏好。在两个真实数据集MovieLens-100k和MovieLens-1M上进行实验，采用RMSE和Recall指标进行评估。实验结果表明，该模型与其他相关推荐算法相比在推荐性能上有所提升。

融合词结构特征的多任务老挝语词性标注方法下载：43 浏览：66

王兴金周兰江张建安周枫《中文研究》 2019年9期

摘要:

目前，老挝语词性标注研究处于初期，可用标注语料有限，且老挝语吸收了多种外来词，导致标注语料库存在大量稀疏词。多任务学习是有效识别稀疏词的一种方法，该文研究了老挝词的结构特征，并构建了结合词性标注损失和主辅音辅助损失的多任务老挝语词性标注模型。老挝词有很多词缀可以表达词性信息，因此模型还采用了字符级别的词向量来获取这些词缀信息。特别地，老挝语的句式较长，模型用注意力机制防止长远上下文特征丢失。实验结果表明:相比其他研究方法，该模型的词性标注准确率在有限标注语料下取得更好的表现(93.24%)。

融入多特征的汉越新闻观点句抽取方法下载：40 浏览：415

林思琦余正涛郭军军高盛祥《中文研究》 2019年7期

摘要:

该文提出一种融入多特征的汉越双语新闻观点句抽取方法。首先针对汉语和越南语标记资源不平衡的问题，构建了汉越双语词嵌入模型，用丰富的中文标记资源来弥补越南语标记资源的缺失。并且该文认为句子的主题特征、位置特征和情感特征对观点句分类具有重要作用，因此将这些特征分别融入词向量和注意力机制中，实现句子语义信息和情感、主题、位置特征的结合。实验表明，该方法可有效提升越南语新闻观点句抽取的准确率。

基于多任务学习的古诗和对联自动生成下载：32 浏览：455

卫万成1 黄文明1，2王晶1 邓珍荣1，2 《中文研究》 2019年7期

摘要:

实现古诗和对联的自动生成是极具挑战性的任务。该文提出了一种新颖的多任务学习模型用于古诗和对联的自动生成。模型采用编码-解码结构并融入注意力机制，编码部分由两个BiLSTM组成，一个BiLSTM用于关键词输入，另一个BiLSTM用于古诗和对联输入；解码部分由两个LSTM组成，一个LSTM用于古诗的解码输出，另一个LSTM用于对联的解码输出。在中国的传统文学中，古诗和对联具有很多的相似特征，多任务学习模型通过编码器参数共享，解码器参数不共享，让模型底层编码部分兼容古诗和对联特征，解码部分保留各自特征，增强模型泛化能力，表现效果大大优于单任务模型。同时，该文在模型中创新性地引入关键词信息，让生成的古诗及对联表达内容与用户意图一致。最后，该文采用自动评估和人工评估两种方式验证了方法的有效性。

基于代表性答案选择与注意力机制的短答案自动评分下载：61 浏览：370

谭红叶1 午泽鹏1 卢宇2，3 段庆龙2 李茹1 张虎1 《中文研究》 2019年7期

摘要:

短答案自动评分是智慧教学中的一个关键问题。目前自动评分不准确的主要原因是:(1)预先给定的参考答案不能覆盖多样化的学生答题情况；(2)不能准确刻画学生答案与参考答案匹配情况。针对上述问题，该文采用基于聚类与最大相似度方法选择代表性学生答案构建更完备的参考答案，尽可能覆盖学生不同的答题情况；在此基础上，利用基于注意力机制的深度神经网络模型来提升系统对学生答案与参考答案匹配情况的刻画。相关数据集上的实验结果表明:该文模型有效提升了自动评分的准确率。

基于卷积循环神经网络的关系抽取下载：21 浏览：201

宋睿陈鑫洪宇张民《中文研究》 2019年5期

摘要:

关系抽取是信息抽取领域一项十分具有挑战性的任务，用于将非结构化文本转化为结构化数据。近年来，卷积神经网络和循环神经网络等深度学习模型，被广泛应用于关系抽取的任务中，且取得了不错的效果。卷积网络和循环网络在该任务上各有优势，且存在一定的差异性。其中，卷积网络擅长局部特征提取，循环网络能够捕获序列整体信息。针对该现象，该文综合卷积网络抽取局部特征的优势和循环网络在时序依赖中的建模能力，提出了卷积循环神经网络(convolutional recurrent neural network，CRNN)。该模型分为三层:首先针对关系实例抽取多粒度局部特征，然后通过聚合层融合不同粒度的特征，最后利用循环网络提取特征序列的整体信息。此外，该文还探究多种聚合策略对信息融合的增益，发现注意力机制对多粒度特征的融合能力最为突出。实验结果显示，CRNN优于主流的卷积神经网络和循环神经网络，在SemEval 2010Task 8数据集上取得了86.52%的F1值。

MCA-Reader:基于多重联结机制的注意力阅读理解模型下载：43 浏览：390

张禹尧蒋玉茹毛腾张仰森《中文研究》 2019年5期

摘要:

机器阅读理解是当下自然语言处理的一个热门任务，其内容是:在给定文本的基础上，提出问题，机器要在给定文本中寻找并给出最终问题的答案。片段抽取式阅读理解是当前机器阅读理解研究的一个典型的方向，机器通过预测答案在文章中的起始和结束位置来定位答案。在此过程中，注意力机制起着不可或缺的作用。该文为了更好地解决片段抽取式机器阅读理解任务，提出了一种基于多重联结机制的注意力阅读理解模型。该模型通过多重联结的方式，更有效地发挥了注意力机制在片段抽取式机器阅读理解任务中的作用。利用该模型，在第二届"讯飞杯"中文机器阅读理解评测(CMRC2018)的最终测试集上EM值为71.175，F1值为88.090，排名第二。

机器阅读理解中观点型问题的求解策略研究下载：79 浏览：348

段利国高建颖李爱萍《中文研究》 2019年5期

摘要:

针对机器阅读理解中观点型问题的求解，提出一个端到端深度学习模型，使用Bi-GRU对文章和问题进行上下文语义编码，然后运用基于拼接、双线性、点乘和差集4种函数的注意力加上Query2Context和Context2Query两个方向注意力的融合算法获取文章和问题的综合语义信息，之后运用多层注意力转移推理机制不断聚焦，进一步获取更加准确的综合语义，最终将其与候选答案进行比较，选出正确答案。该模型在AIchallager2018观点型阅读理解中文测试数据集上准确率达到76.79%，性能超过基线系统。此外，该文尝试文章以句子序列作为输入表示进行答案求解，准确率达到78.48%，获得较好试验效果。

融合注意力机制的多通道卷积与双向GRU模型的文本情感分析研究下载：57 浏览：400

袁和金张旭牛为华崔克彬《中文研究》 2019年4期

摘要:

文本情感分析作为自然语言处理领域的一大分支，具有非常高的研究价值。该文提出了一种基于多通道卷积与双向GRU网络的情感分析模型。该模型首先使用多通道卷积神经网络对文本不同粒度的特征信息进行提取，提取后的特征信息经过融合送入双向GRU中，结合注意力机制获得文本的上下文情感特征，最后由分类器给出文本的情感倾向。注意力机制自适应的感知上下文信息进而提取对情感极性影响较强的特征，在模型的基础上引入Maxout神经元，解决模型训练过程中的梯度弥散问题。模型在IMDb及SST-2数据集上进行实验，实验结果表明本文模型较CNN-RNN模型在分类精确度上有了一定程度的提升。

基于ATT-IndRNN-CNN的维吾尔语名词指代消解下载：26 浏览：408

祁青山1 田生伟1 禹龙2 艾山·吾买尔2 《中文研究》 2019年2期

摘要:

该文提出一种基于注意力机制(attention mechanism，ATT)、独立循环神经网络(independently recurrent neural network，IndRNN)和卷积神经网络(convolutional neural network，CNN)结合的维吾尔语名词指代消解模型(ATT-IndRNN-CNN)。根据维吾尔语的语法和语义结构，提取17种规则和语义信息特征。利用注意力机制作为模型特征的选择组件计算特征与消解结果的关联度，结果分别输入IndRNN和CNN得到包含上下文信息的全局特征和局部特征，最后融合两类特征并使用softmax进行分类完成消解任务。实验结果表明，该方法优于传统模型，准确率为87.23%，召回率为88.80%，F值为88.04%，由此证明了该模型的有效性。

结合注意力机制与双向LSTM的中文事件检测方法下载：28 浏览：242

沈兰奔武志昊纪宇泽林友芳万怀宇《中文研究》 2019年2期

摘要:

事件检测是信息抽取领域的重要任务之一。已有的方法大多高度依赖复杂的语言特征工程和自然语言处理工具，中文事件检测还存在由分词带来的触发词分割问题。该文将中文事件检测视为一个序列标注而非分类问题，提出了一种结合注意力机制与长短期记忆神经网络的中文事件检测模型ATT-BiLSTM，利用注意力机制来更好地捕获全局特征，并通过两个双向LSTM层更有效地捕获句子序列特征，从而提高中文事件检测的效果。在ACE 2005中文数据集上的实验表明，该文提出的方法与其他现有的中文事件检测方法相比性能得到明显提升。

	在线客服
	客服电话：400-188-5008
	客服邮箱：service@ccnpub.com
	投诉举报：feedback@ccnpub.com

	在线客服：：点击联系客服
	联系电话：：400-188-5008
	客服邮箱：：service@ccnpub.com
	投诉举报：：feedback@ccnpub.com