邱锡鹏神经网络怎么样（邱锡鹏神经网络答案）
本文为第十六届自然语言处理青年学者研讨会 YSSNLP2019 报告《词法、句法分析研究进展综述》的简要文字整理，本报告主要回顾词法、句法领域的最新研究进展。
关于报告人：
邱锡鹏，复旦大学计算机科学技术学院副教授，博士生导师。于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究，在 ACL、EMNLP、IJCAI 等计算机学会 A/B 类期刊、会议上发表 50 余篇学术论文，引用 1600 余次。开源中文自然语言处理工具 FudanNLP 作者。2015 年入选首届中国科协人才托举工程，2017 年 ACL 杰出论文奖，2018 年获中国中文信息学会“钱伟长中文信息处理科学技术奖—汉王青年创新奖”。
大家好，我是邱锡鹏。今天非常荣幸给大家简要分享一下 NLP 中词法和句法分析领域的最新研究进展。
首先，我们来看一下词法和句法分析中的任务定义。我们一般认为词是语言中的最小语义单位，所以在进行后续的很多 NLP 任务的时候，需要先进行（中文）分词，标注它的词性，并分析句子的句法结构。像这里给的一个句子“上海计划发展金融业”，首先需要将其进行分词，然后进行词性标注和句法分析。这里我们的句法分析主要以依存句法分析为主进行介绍，建立词与词之间的依赖关系。因此我们这里主要涉及三个任务：中文分词，词性标注和依存句法分析。
目前用来解决这三个任务的基本方法可以分为序列标注方法，基于转移的方法和基于图的方法三种。为了解决错误传播问题，一般来说，我们可以将这三个任务进行联合建模，比如中文分词和词性标注的联合模型、词性标注和句法分析的联合模型、以及三个任务的全联合模型。
这三个任务的最新研究进展和 SOTA 模型都可以从 NLP-Progress 这个网站进行查询。
中文分词
首先我们来看一下中文分词。
目前中文分词最好的模型是来自 EMNLP 2018 的一篇论文，采用了基于堆叠双向长短期记忆网络的序列标注模型。
该方法虽然在模型上并没有太多的创新，但是其采用了预训练 bigram embedding 和变分 droupout 方法以及堆叠双向长短期记忆网络的微创新，训练了一个相对较深的网络，在解码时直接使用一个 softmax 分类器，而不用 CRF。在多个数据集上达到了最好的效果。
基于序列标注的方法是给字进行打标签，很难利用到词级别的信息。为了引入词级别的信息可以采用以下三种方法：基于转移的方法、Semi-CRF 和 DAG-LSTM/Lattice-LSTM。下面我分别简要介绍一下这三种方法。
基于转移的方法是通过转移动作序列来进行分词，即从左往右判断一个每两个相邻的字是分还是不分。这是一种贪婪的方法。在中间某一步时，我们已经有之前分好词的信息，所以可以利用词级别的信息来进行建模。
第二种利用词级别信息的方法是利用 Semi-CRF 模型，直接建模不同词之间的依赖关系。一般来讲，可以先统一通过一个双向的循环神经网络来提取字别的信息，然后使用一个融合方法来生成词级别的信息，最后输入 Semi-CRF 层来进行分词。Semi-CRF 的缺点是候选词有一个最大长度限制，我们提出了一种改进方法，目前正在投稿中。
第三种利用词级别信息的方法是是改进 LSTM 模型，将链式结构扩展到 DAG 结构。我们可以用一个事先准备好的词典，对句子进行预分割，把所有的分割可能性都组合出来。这样我们模型的输入是有多个字和词构成的混合序列，构成一个 DAG 结构。针对这种结构，我们提出一种 DAG-LSTM 来进行序列标注。
在中文分词中，有一个问题是很多不同的分词标准。之前的方法都是在单个标准上进行训练模型。我们知道，不同的分词标准之间有很多共通的特性。如这个表中所示，三个不同标准存在部分重叠，因此我们可以同时利用多个不同标准的数据进行联合训练，通过多任务学习来辅助提高每个单独标准的分词能力。
这里介绍一个我们在多标准分词上面的最新工作，所有不同的标准都共享一个模型，由于 Transformer 的强大能力，我们用一个共享的 Transformer 来进行编码，解码用一个共享的 MLP 或 CRF。然后增加一个额外的 Criterion ID，用来指示模型输出哪个标准的结果。目前这个模型在所有的分词任务上都达到了最好的效果。
词性标注
词性标注一般来讲比较简单，所以很少有单独工作来专门的词性标注任务。一般都是词性标注和其他任务相结合。首先我们来看一下联合的中文分词和词性标注任务。
第一种方法是基于字的序列标注方法，使用“BMES”和词性的交叉标签来给每个字打标签。比如“B-NN”、“S-NR”等。相比于中文分词，分词和词性的联合任务需要更多的特征，因此我们可以用更复杂的网络来进行抽取特征。
第二种方法是基于转移的方法，首先利用一个 BiLSTM 编码器来提取上下文特征，在解码时每一步都预测一个动作。动作的候选集合为是否分词以及词性。
依存句法分析
接下来介绍下句法分析的最新进展，这里主要以依存句法分析为主。在深度学习之前，依存句法分析就分为基于转移的方法和基于图的方法。近几年，分别出现了针对这两种不同方法的神经网络模型。
首先来看下基于转移的方法，通过 shift-reduce 两个基本的动作来将序列转换为树结构。首先用一个 buffer 来存储所有未处理的输入句子，并用一个栈来存储当前的分析状态。
动作可以分为：1）shift，即将 buffer 中的一个词移到栈中；2）left_arcright_arc
• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志
关于PaperWeekly