前言
句法依存分析技术,是自然语言处理领域中的底层技术,可以为自动问答,信息抽取等自然语言处理上层任务提供指导。本文将重点讲解句法分析技术的基本概况,以及句法分析技术在深度学习时代的应用。
一、概述
句法依存分析要解决的问题是找到词与词之间的句法关系,常见的句法关系有:主谓关系(SBV)、动宾关系(VOB)、等等。
如上图所示,依存句法分析的最终结果是一个节点为词,边为依存关系的有向无环图。通常,动词作为句子的中心词,所有其他词要么依存于中心词,要么依存路径与它联通。
二、两种解决方法
由于依存句法分析需要将线性结构的句子转换为有向无环图的形式,所以解决依存句法分析问题的方法与传统的自然语言处理方法有所区别,较为常用的方法可分为两大类,一类是基于转移的方法,一类是基于图的方法。
基于转移的方法,需要将句子映射为一组动作序列,最简单的方法是将词、词性、依存关系的向量表征送入到前馈神经网络中,并在分类层决定出每一步的动作。基于图的方法,则是直接对依存句法有向无环图的结构进行建模,通过计算词与词之间的得分,决定出每个词的父节点词。基于图的方法比基于转移的方法更加自然,充分利用了句法依存有向无环图的特性。
三、两个重要项目
大名鼎鼎的 Syntax net 是谷歌大脑团队在基于转移的前馈神经网络的基础上修改完成的,Syntax net 利用了字符级别的词语表征与动态构建的网络结构,获得了句子更加细致。灵活的特征表示。
依存句法的特性还被研究者应用的句子匹配的任务上,在 Syntax-based Deep Matching of Short Texts 这篇工作中,作者把具有相同依存信息的句子视为可以相互匹配的句子。
四、Tree-LSTM神经网络
Tree-LSTM 不同于传统的线性链的 LSTM,它是在句子的句法依存树上展开的。
Tree-LSTM 中每个节点的连接方式是根据词与词之间的句法关系的,父节点 LSTM 单元的计算也是依赖于其所有子节点的。如下图所示,单词 the 和 pests 之间有句法关系,整体构成了一个介词短语,这个介词短语的中心词 pests 又与 killed 有依存关系,通过层层递归,构成了整个句子的依存树。
五、依存树特征
我们已经知道,通过利用Tree-LSTM对句子进行编码,可以更好地学到句法的依存信息。在 Easy-First Dependency Parsing with Hierarchical Tree LSTMs 这篇文章中,作者在依存分析任务上验证了Tree-LSTM的有效性。
作者:慕梁
编辑:Yiri
更多知识可扫描下方二维码进行深入学习~
课程地址:
https://campus.swarma.org/gcou=10374
或点击阅读原文查看
关注集智AI学园公众号
获取更多更有趣的AI教程吧!
搜索微信公众号:swarmAI
集智AI学园QQ群:426390994
学园网站:campus.swarma.org
商务合作和投稿转载|swarma@swarma.org
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.