园林景观设计公司园林景观设计公司园林景观设计公司雷锋网AI科技评论：ACL 2019已经结束，但其空前的规模仍然震撼人心：2900多篇提交论文，660篇被接收，3000多名会议注册人员，以及4个超过400人的研讨会（比一些国际CS会议都大）。

　　值得一提的是，在本届ACL中热门话题（例如BERT系列、Transformers、机器翻译等）受到热烈关注，但除此之外还有一些新的趋势，例如对抗学习、自然语言生成、知识图谱等。以知识图谱为例，本次会议有30篇接收论文，大约占了所有接收论文的5%。

　　会后总结是优秀学者的必要行动。随着ACL会议的结束，在网上已经先后出现了多篇关于ACL大会上各细分领域的总结文章。

　　在会议中热门话题受到热烈关注，例如BERT系列、Transformers、机器翻译等。但除此之外，还有一些新的趋势，例如对抗学习、自然语言生成、知识图谱等。知识图谱在本次会议有30篇接收论文，大约占了所有接收论文的5%。

　　文章本文则围绕ACL大会上关于主要探讨知识图谱（KG）的研究进行了详细且完整的探讨的内容，。

　　对话系统，传统上分为目标导向的agent和闲聊agent两种。所谓目标导向agent，即帮助用户去完成某项任务，例如帮忙预定餐桌或安排代驾等。闲聊agent即智能对话，具有互动性、娱乐性和话题性。

　　近来，我们可能听到太多关于深度神经网络构建端到端（不需要特定通道）对话系统的工作。然而，现在越来越明显的一个趋势就是，无论在目标导向还是闲聊的agent中都需要拥有一些知识，前者需要领域知识，后者需要常识知识。

　　3、亚马逊的Ruhi Sarikaya[3]证实，Alexa有一部分仍需要在带有从结构源（例如图）中提取知识的通道模式下执行。

　　4、微软研究院的Jianfeng Gao[4]阐释了小冰是如何利用结构化信息与用户互动的。值得注意的是，小冰目前为止仍然保持着最长人机对线、Facebook AI的Moon等人[5]在2019年推出了OpenDialKG，这是一个新的开放式对话知识图谱并行语料库，有15K的标注对线个关系的Freebase子集）。这在构建基于知识图谱的对话系统上迈出了巨大的一步，希望Facebook的工作也会鼓励到其他人。此外，作者提出了一种新颖的DialKG Walk架构，能够利用带有一个基于注意力图谱路径解码的E2E方式的知识图谱。

　　唯一值得担心的是选定的图（Freebase）从2014年起就正式停用了，并且很长时间里都没有支持了。或许是时候该将社区数据切换到维基数据了？

　　生成连贯的自然语言话语（例如从结构化数据）是一个热门的新兴话题。纯粹的神经端到端 NLG模型试图解决的是生成“非常枯燥”的文本的问题，而结构化数据的NLG在表达自然语言的固有结构方面则更具有挑战性。知识图谱难以用语言表述。例如，你可以从一个三元组(Berlin, capitalOf, Germany)生成多个不同的句子，但当你有一组连接的三元组时(Berlin, capitalOf, Germany) (World_Cup_2006, hostedBy, Germany)时，以下哪个选项更有效呢？

　　在Logan等人展示的论文和poster中，他们建议应当将语言模型（例如OpenAI GPT）与知识图谱嵌入结合使用。作者还介绍了一个新的数据集Linked WikiText-2，数据集中训练集包含了从Wikidata中标注的41K个实体和1.5K个关系。

　　事实上并仅仅是在ACL 2019上有这些文章，在最近的NAACL 2019中，Moryossef等人的一项工作[9]也于此相关，他们提出一种基于三元组的自然语言生成双重模型Chimera（two-fold model for NLG over triples）。首先，在给定三元组的情况下，他们生成如图（graph）一样的文本方案，其中保留了给定三元组的组合型；然后对这些文本方案进行打分排序；最后，运行一个典型的具有复制机制的神经机器翻译（NMT）来生成文本句子。其实验评估是就WebNLG数据集，有意思的是这个数据集也使用了Wikidata实体和谓词ID。

　　并不是源自ACL 2019，但仍然是最近的NAACL 2019中，Moryossef等人的一项非常相关的工作。提出Chimera - NLG超过三倍的双重模型。首先，给定一组三元组，它们生成文本计划作为图形，其保留给定三元组的组合性，对它们进行排名，并最终运行具有复制机制的典型神经机器翻译（NMT）系统以生成文本句子。评估基于WebNLG数据集，该数据集也使用维基数据的实体和谓词ID！

　　“基于知识图谱的问答（KGQA）旨在为用户提供一个界面，让用户能够用自然语言提问，且能使用他们自己的术语，然后通过查询知识图谱来得到简明的答案。”

　　以上的定义我引用了Chakraborty等人[10]的定义。在QA任务中，知识图谱为用户提供了可解释的结果（实际上，一个图模式可以/不可以在目标图中找到）。此外，它还可以执行阅读理解系统无法实现的复杂推理。在这方面园林景观设计公司，ACL 2019有许多state-of-art的研究，你可以去查一查。

　　Weber等人还在继续研究神经序言，这是一种将符号推理和标准化的学习方法结合在句子嵌入上的可微逻辑方法，可以直接应用于自然语言文本，而不需要将它们转换为逻辑形式，这种方法需要使用Prolog形式的推理来进行逻辑查询。因此，一方面，框架是基于模糊逻辑和预先训练句子的嵌入式模型。在我看来社区中的神经逻辑方法被低估了，当研究工作进行到开始争取真正的可解释性时，期望在这个领域能得到更多的关注，因为这个理论以及上面的论文提供了一个非常有根据和可解释性的机制，解释了它们是如何推断出一个特定的答案。Weber等人[12]研究的是神经Prolog，这是一个可微逻辑方法（differentiable logic approach），它将符号推理和基于句子嵌入的规则学习方法结合了起来，可以字节应用到自然语言文本中，而不需要将文本转化为逻辑形式，且可以使用Prolog形式的推理来进行逻辑查询。因此，这个框架事实上是建立在模糊逻辑和预训练句子嵌入模型之上的。我认为神经逻辑方法目前在社区中是一个被严重低估的领域，这篇文章以及上篇文章都为它们是如何推理出特定了一个非常基础的可解释的机制；因此当研究人员想要在真实可解释性方面开辟战场时，我希望这个领域能够得到足够的重视。

　　针对处理起来相对简单的KGQA数据集，Xiong等人[13]提出了一种基于不完整知识图谱的QA，在这里需要进行一些链接预测；Sydorova等人[14]在TextKBQA任务（有两个知识源：图和文本段落）上获得了不错的结果。另外一种方法是Yang等人[15]提出的，他们使用了带有KG（本例中使用的是wordNet和NELL）的BERT形式的阅读理解模型。截止2019年3月，他们的KT-NET在SQuAD1.1和ReCoRD上的表现优于纯粹的MRC系统，这说明这是一个有前景的研究方法。

　　基于阅读理解的QA系统目前仍然是比较火热的领域，在本次会议中有多个oral和poster的session都是关于这一方面的，所以我敢肯定随后会有一些关于这个方面更详细的解读。。简而言之，类似WikiHop或HotpotQA这样的新数据集是针对整个Wikipedia文章进行multi-hopQA园林景观设计公司，您需要结合几篇文章中方法来回答一个问题。CommensenseQA包含了从搜索引擎日志中获取的真实问题园林景观设计公司，因此系统需要建立莫衷类型的常识推理。如果你想从一堆完全无意义的样本中区分出有意义的部分，那么你就需要使用对抗训练了，今年ACL也提供了几篇文章（Zhu等人[16]和Wu等人[17]），他们的对抗训练还不错。

　　在COMET中，他们将语言模型（例如GPT-2）与种子知识图谱（例如ATOMIC）结合在了一起。给COMET输入图的种子元组，COMET便能学到图的结构和关系。此外，这个语言模型是用图表示构建而成，而不是传统的生成结点和边然后把它们加入到种子图中。更酷的是，你还可以得到一个表示为自然文本元组（例如(take a nap, CAUSES, have energy)）的图。用这个架构在大型数据集（例如Wikidata）上测试应该是一件非常有意思的事情。

　　新数据集和关系提取的基线模型（它们都是基于Wikidata实体和谓词，很好！）Yao和Ye等人[20]提出了一个大型数据集DocRED，其102K个文档，包含了6个实体类型、96个关系、2.5M个实体（没有WikidataIDs），828K个句子。Trisedya等人[21]提出了一个包含255K文本三元对、280K个实体和158个谓词的数据集，基于这个数据集还提出了一个任务（从给定自然语言句子中构建知识图谱）和一个基准模型。此外，Chen等人[22]提出了一个关系相似性的数据集，包含426K三元组、112K个实体和188个关系。

　　Soares等人[24]提出了一个关系学习的新方法——预训练一个大型模型（例如BERT），将句子输入它的编码器获得关系的抽象概念，然后在例如Wikidata、TACRED或DBpedia等特定模式中进行微调来获得一个带有相应ID的真实的谓词。这种方法具有很大的现实意义。通常基于KG的信息抽取方法都是为特定的本体（ontology）而设定的，所以你有多少本体你就需要有多少任务。这里作者从所有方案中提取了一些普适性的关系，这些关系你可以加入到你自己的方案中，从而减少大量重复性工作。这种方法在zero-shot和few-shot任务特别管用，在训练数据非常有限的情况下使用这种方式可以显著地提高你的模型的精确度。

　　在实体链接上，Logeswaran等人[25]提出使用类BERT的预训练阅读理解模型来将实体链接推广到未知领域的未知实体上。为此，他们引入了一个域自适应预训练（DAP）策略，以及在未知领域zero-shot实体链接的新任务。尽管目前他们的数据集仅包含了Wikia的文章，不过我认为将他们的框架应用到包含多语言标注和同义词或定义明确的特定领域本体的知识图谱上应该不会有太大问题。

　　Hosseini等人[26]的工作研究了从自然语言文本中直接提取关系图的问题，他们在多个评估数据集上获得了显著的改善。Shaw等人[27]也完成了一个类似的工作，他们用图网络（GNN这些天确实比较火）来获得带有实体的逻辑形式。

　　Wu等人[28]研究了KG中的关系表示，并提出一种表示适配模型（Representation Adapter model），这个模型可以推广到基于已有KG嵌入的未知关系当中。作者在文章中还将SimpleQuestion（SQ）数据集调整为SimpleQuestions-Balance（SQB）数据集，使得训练/测试拆分中实体与虚拟的谓词的分布更加平衡。

　　可能有人会认为NLP的会议不是一个学习关于图表示的最佳场所，但在ACL这次会议上确实出现了许多有见解的论坛，它们尝试从结构和语义两方面对知识图谱进行编码。

　　Nathani等人[30]介绍了一种基于图谱注意力网络（graph attention networks，GAT）的知识图谱嵌入方法，该方法在注意力机制中考虑了结点（node）和边缘（edge）的特征。作者采用了多头注意力架构（multi-head attention architecture），并重点强调了学习关系表示。论文中对四个数据集（WN18RR、FB15k-237、NELL-995、Kinship）进行的基准测试中显著提高了SOTA性能。实际上，这种方法要比ACL会议上同一天展示的（下面介绍的）另外一个方法要更好。

　　Bansal等人[31]提出了A2N的方法，这是一种带有近邻注意力（neighbourhood attention）的知识图谱嵌入技术。作者在评估中证明，从近邻中获取信息可以更好地表示多重关系（multi-hop relation）。在关系预测的基准测试中，A2N的表现与ConvEx相当，有时候甚至更好。不过与前面提到的方法比起来要稍显逊色一些。我建议，作者可以比较一下训练时间和内存消耗。

　　Xu和Li的工作[32]和前两篇工作有些不一样，他们使用二面体群（不懂的同学请翻翻群论的书）来给KG嵌入的关系建模。要想读懂这篇论文就需要坚实的数学基础了（可以尝试挑战一下自己，?），简单来说就是，二面体群可以为谓词的非阿贝尔成分（译者注：所谓非阿贝尔即，A*B!= B*A）建模，例如parent_of * spouse_of!=spouse_of * parent_of（这里*表示矩阵乘积）。此外，这种方法也能够对谓词见的对称和反对称关系进行建模。这种方法在传统基准测试中的表现并不比ConvE好多少（这主要是因为传统基准包含了大量的阿贝尔元素成分），不过在作者构建的更侧重于非阿贝尔元素的数据集FAMILY上它们能够取得优秀的成绩。需要强调的是，这篇文章绝对值得一看，不过确实需要一些数学基础。

　　Kutuzov等人[33]提出了一种构建知识嵌入的新框架，在这个框架中他们不再使用基于向量的距离函数，而是采用基于图的最优测度（类似于最短路径），并插入了自定义结点相似度函数（例如Leacock-Chodorow）。不过，虽然这种方法能够提高推理速度，但却没有充分利用结点和边的特征。作者表示将在未来的工作中进一步完善，期待ing！

　　专访腾讯AI Lab姚建华、杨帆：腾讯 AI Lab 为何瞄准单细胞蛋白质组学？

　　专访上海大学方昱春教授：数据驱动的手语识别研究，如何破解数据之困？｜GAIR live

　　对话上交苏剑波教授：直面手语的「方言」多样性与系统「通用性」挑战｜GAIR live

　　对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR

　　讲座预约 四位专家大论道 ：AI+手语识别，技术革新与应用前景｜GAIR live