研究动态

基于动态跳边机制的长短时记忆网络

近年来，长短时记忆网络（LSTM）已经成功地被用于建模具有可变长度的序列数据。然而，长短时记忆网络在捕捉自然语言的长期依赖方面依然会遇到困难。为了解决这个问题，有研究者提出使用固定长度的跳跃系数来改进边与边之间的连接结构，尽管这种设计简单有效，但依然不能处理变长的依赖关系。因此，我们提出如下改进：
1

动态跳边机制

引入动态跳边机制来减轻LSTM 在长距离依赖问题上表现欠缺的问题，该动态跳边机制能够学会直接连接两个有依赖关系的词语。

2

基于强化学习的依赖关系学习方法

由于在训练数据中，并没有依赖关系的标注信息，我们提出一种新的基于强化学习方法从数据中自动学习依赖关系。

Tao Gui, Qi Zhang, Lujun Zhao, Yaosong Lin, Minlong Peng, Jingjing Gong, Xuanjing Huang, Long Short-Term Memory with Dynamic Skip Connections, AAAI-19.
image

基于对抗学习的多标准中文分词

中文分词是汉语自然语言处理的重要任务。中文分词语料丰富，每一份中文分词语料都是经过昂贵而耗时的人工标注得到的。又因为每份语料间的分词标准多少有些不一致，因而以往在训练一个分词模型的时候只会用一份语料，而置其他语料于不顾，这无疑是浪费。如果能够想办法利用多个分词标准语料集的信息，就能让模型在更大规模的数据上训练，从而提升各个分词标准下分词的准确率。多标准分词问题有非常高的学术和应用价值。实验证明，我们的方法可以利用不同标准的分词语料，提高中文分词的性能。在8个不同规范的中文分词数据集上，我们取得了比单标准分词更好的效果。论文发表于ACL 2017，并获杰出论文奖。
image
Xinchi Chen, Zhan Shi, Xipeng Qiu, Adversarial Multi-Criteria Learning for Chinese Word Segmentation, ACL-2017.