我在一所学生容易掉头发的大牛校，学了一周最前沿的语言学

靠大数据支撑的天然说话措置碰着不大的数据怎样办？

Gary Larson

语用学也可以用计较机研究吗？

Stanford CoCoLab

这些幽默的问题都可以在本年的北美逻辑、说话与信息学暑期黉舍（NASSLLI）获得解答。小编上周五刚刚竣事在这里的进修，借今天的午餐带大师总结一下本次暑校的一些亮点。

NASSLLI暑校始于2001年，如今每两年举办一次。它努力于为介入课程的逻辑学、说话学、计较机科学、认知科学等规模的门生供给一次精采的跨学科教育机缘。

本年的暑校由卡内基·梅隆大学（Carnegie Mellon University，CMU）主理。

卡内基·梅隆大学位于美国宾夕法尼亚州匹兹堡市，它以其出色的计较机科学项目而着名，闻名校友网罗李开复、茅以升、约翰·纳什、吴恩达等等。

卡内基·梅隆大学的哲学系领头构造了本次暑校。但同时，来自计较机科学、说话科技研究所、数学、生理学、统计学、机械进修、人机交互等等局部的同事都介入了勾当的构造。这一点很好地彰显了这个暑期黉舍的跨学科特征，也是以让勾当构造者不无孤高地表示——几乎没有比CMU更合适主理NASSLLI的地方了。

卡内基梅隆大黉舍景

本年的暑期黉舍有五个序列的课程——逻辑学与知识论、逻辑学与计较、计较说话学、语义学和语用学，以及试探类课程。五个序列的课平行停止，门生可以自选课程去听，并在整个暑校时代随意换课，情势非常矫捷。

NASSLLI的参加者以研究生为主，但也有一些本科生。大师的年级、履历、学科背景都不尽不异。

除了课程之外，周二至周四午时会有门生研究海报展现时辰：

下战书第三、四节课之间还有茶歇时辰：

课程全数竣事之后还有可口的自助晚宴：

这些都是和各个不合专业背景的学长姐、学弟妹交流的好机缘。

CMU迪特里希人文与社科学院地点的贝克堂是本次暑校所用的教学楼

本次NASSLLI一共开设了29门课。由于篇幅所限，小编下面只能引见三门本身感受斗劲幽默的课。不外，几乎所有课程的课件都市上传到网上，对任何一门课感乐趣的读者都可以在上下载课件来看（但请国内的同窗注庞大局部课件是在谷歌云端硬盘上的）。

语音助手是NLP的首要应用之一

虽然名为天然说话措置，可是跟着机械进修的生长，说话学知识在其中起到的浸染越来越小。

天然说话措置今朝主若是以计较机科学为背景的人在研究，使用的编制也以统计学和概率学的编制为主。主流的计较说话学和天然说话措置规模的会议更是被计较机科学家所占据。

神经搜集的生长更是令天然说话措置如虎添翼。使用神经搜集开发的谷歌翻译的切确度到达了令人啧啧称奇的程度。

来自36氪

基于统计和概率，尤其是基于神经搜集的天然说话措置必要海量的语料数据作为支撑。那么，在措置语料不够的小语种时，或在措置大说话中缺乏语料的特定规模时，天然说话措置会怎样样呢？

会凉。

这时，说话学知识就可以回来救场了。在天然说话措置中，数据越少，说话学构造起到的浸染就越大。

低资源天然说话措置技巧课由CMU说话科技研究所（Language Technology Institute）的教授David Mortesen主讲。Mortesen教授本人来自传统的说话学背景，所以他对说话学非常友爱，也很正视说话学知识在天然说话措置中的应用。

CMU说话科技研究所

对付低资源的说话或规模，我们既可以经由过程说话学知识的帮手，也可以运用一些特别的模子练习技巧，来改善NLP的默示。我侧重引见一下大师可能斗劲关怀的说话学在天然说话措置中可能的应用。

在形态学方面，对付像土耳其语这类的黏着语来说，每个词干后面都可以添上良多后缀，词干本身很少零丁出现。偶尔同样的表层情势可能有不合的底层解读。

比如土耳其语okuma可以解作oku-ma，是“念书”的动名词情势（-ma)，也可以解作ok-um-a，意思是向着（-a）我的（-um）箭（ok）。

土耳其语是典范的黏着语

更况且土耳其语还有元音和谐律，同样的后缀为了配合元音和谐律会使用不合的元音，这都为土耳其语的信息检索带来了难度。若是是纯挚地让机械本身弄清楚这些轨则的话，怕是不比让它学下围棋简单若干好多。

说话学知识在专闻名词识别（Named Entity Recongnition，NER）中非分格外适用。对付语义格（case）变化丰盛的说话，若是我们教给计较机若何辨识方位格（locative case），计较机就能更轻松地识别出哪些词表示地点。

比如拉丁语中Athenae是雅典的意思，方位格情势Athenis表示“在雅典”

latintutorial/YouTube

语音学知识在专闻名词识别中也可以起到浸染。例如维吾尔语是语料资源较少的说话，可是它的亲属说话土耳其语的语料则丰盛良多。

我们如今要识别维吾尔语 是什么意思。

转换成国际音标是 /inda/。而土耳其语里有单词incan，意思是“新疆”，国际音标是 /indan/。

比力两个音标我们创造只需末尾的//和/n/不一样。斗劲两个音的特征（feature），我们创造它们的区别只在于//是[+舌背音(dorsal)]，/n/是[+舌冠音(coronal)]，两个音几乎一样。

于是我们就可以把土耳其语incan和维吾尔语 对应起来，并揣测出 是“新疆”的意思。

专名识别（NER）是说话学知识可以有良多进献的一项NLP使命

我们甚至可以用语料较多的亲属说话练习说话模子，再将它直接应用于语料少的低资源说话上，也可以获得比只用低资源说话来停止练习要更好的了局。这听起来有些不成思议，比如只经由过程姐姐来体味妹妹的快乐爱好。

但这个编制被证明是实在可行的。

举一个特别的例子，即使我们把用语料资源较少的乌兹别克语练习出来的模子直接套用在语料资源较多的土耳其语上，也可以到达26.92%的切确率。

这就是所谓的迁移进修（Transfer Learning）

那么，将来的NLP现实是会更向说话学挨近，仍是说不考虑说话构造的NLP还能继续流行一段时辰呢？我在晚宴上向Mortesen教授就教了这一问题。

他认为，当前的NLP开发对说话学知识的使用是周期性的。若是纯挚的机械进修编制碰着了瓶颈，研究者就可能参考一些说话学知识来帮手开发；但当这些瓶颈被冲破时，说话学知识又会被放在一边。

可是教授本人仍是非常必定说话学知识在NLP中的价值的。他表示，所谓“NLP不消说话学知识”通常是门生的概念。他经常提出的攻讦就是说话科技研究所的重生多来自纯计较机科学背景，没有接收过说话学的练习。

我大三考试考试语音学课上傍不雅观不雅观李开复1993年引见主动语音识别的视频时，每当李开复说“音位就是英语里的音”，教授和门生就会起头咯咯咯地傻乐

（截图来自 University Video Communications）

不外，计较机科学的知识对付NLP的开发来说仍是最重要的，应该是要两者兼顾，不能偏废。

看完了计较说话学规模里最常见的天然说话措置，我们接着来体味一下计较编制是若何为一个不被看好的说话学分支注入活力的。

计较语用学

Computational pragmatics

“蓝的。”

problang.org

我们有蓝方块、蓝圆圈、绿方块三个工具。一小我可以用蓝、绿、圆圈、方块之一的词描述这些工具。那么，当一小我说“蓝的”的时辰，他指的可能是三个工具里的哪一件呢？

首先，既然他说的是“蓝的”，绿方块就天然没有可能了。那语者指的是蓝方块仍是蓝圆圈呢？

蓝方块的可能性大一些。若是语者指的是蓝圆圈，由于图中只需一个圆圈，他大可以说“圆圈”而不是“蓝的”，所以语者指的应该是蓝方块。

这个分析看上去挺合理，可是有没有方法证明我们是对的呢？Rational Speech Act（RSA）框架便是这么一个适用的工具。下面我简单引见一下若何用RSA回覆上面的问题。我会提到一些概率论的概念，晕数学的读者可以闭上眼睛，或大胆地透过指缝阅读。

RSA框架有三个条理：一个适用语者S1会从U = {蓝，绿，圆圈，方块}中选出一个最好的旌旗暗号词 u 来表示 S = {蓝方块、蓝圆圈、绿方块}中的一个物品 s 。

一个实字听者L0会接收语者所选择的旌旗暗号词u。他信托语者不会明明看着绿球却说它是蓝的，并且他会预判每一个物体在这一气象下出现的概率，也就是贝叶斯中的所谓先验概率（prior probability）。

适用听者L1则会用贝叶斯定理来推理语者的设法，并据此来诠释旌旗暗号词u到底指的是哪一件物品。

1. 实字听者（Literal Listener）L0

实字听者L0首先考虑旌旗暗号词的字面意思。他会计较在给出u这个词的前提下，出现物品s的概率。他算到，既然一共三件物品，说“蓝色”就应该解除了绿方块，剩下两件物品，那么“蓝”对应”蓝方块”的概率是50%，对应“蓝圆圈”的概率也是50%。（多别致呢）

2. 适用语者（Pragmatic Speaker）S1

说话是一种举措，适用语者S1做举措时会考虑举措的效用（utility)，并按照他估量的效用来抉择他会做哪一种举措。

在RSA的模子里，假设三种举措的效用分袂是a1 = -1，a2 = 6，a3 = 8。当适用语者的最优性为1时，他终极选择三种举措的概率分袂是0%、12%、88%。

若是我们进一步添加最优性，比如到2，适用语者终极选择举措a3的概率会进一步晋升到98%。适用语者更可能会做效用更高的举措。

简单来说，适用语者选择的词得切确，让听者可以听懂，在理解上不要出现误差；可是他还要扣除说话的本钱，尽量能少说就少说。

3. 适用听者（Pragmatic Listener）L1

对付适用听者L1来说，他在理解适用语者S1的话时，会考虑语者为什么会选择这么说。

是以适用听者听到旌旗暗号词u并对应到物品s的概率PL1(s|u)，是和适用语者S1看到物品s并选择说出旌旗暗号词u的概率PS1(u|s)，再乘上物品s本身的先验概率P(s)，成反比的。也就是PL1(s|u) ∝ PS1(u|s) P(s)。

把这三个条理的身分连系到一起，我们计较出在RSA模子中，当语者优选性为1时，“蓝色”指蓝方块的概率是60%，指蓝圆圈的概率是40%。若是进一步进步优选性到2，指蓝方块的概率会升到81%，指蓝圆圈的概率则降到19%。

RSA框架可以让我们得出和用文字推理一样的成效，且有了概率编制的加持让我们的推论显得严谨良多。除了上面的例子之外，RSA框架还可以用来分析下面的问题：

过于翔实（Over-informativeness）：

在第一幅图中，若是你想要箭头所指的生果，你可能会说“给我阿谁苹果”。但在第二幅图中，若是你想要箭头所指的生果，你可能会说“给我阿谁蓝色的苹果”。可是第二幅图并没有其它苹果，那为什么语者往往会加上“蓝色”这个冗余的信息呢？

梯级隐含（Scalar Implicature）：

problang.org

假设我们有三个苹果。当语者说“有一些苹果是红的”的时辰，听者会认为有一个、两个，仍是三个苹果是红的？若是听者晓得了语者只能不雅观不雅观察到两个苹果的话，他又会认为有几个苹果可能是红的呢？

本节课的教员是斯坦福大学的Judith Degen教授。Degen教授同时主管斯坦福互动说话措置考试考试室（interActive Language Processing lab Stanford）。

斯坦福互动说话措置考试考试室

她在课程简介中写道，语用学曾被认为是说话学届的垃圾桶。通常语义学诠释不了的复杂征象就会被丢进模恍惚糊的语用学。不外迩来认知科学的生长，加上数学建模的应用和大量的考试考试数据，让语用学进入了新的成熟期。

语用学也可以很科学，它不是说话学届的垃圾桶

对RSA感乐趣的读者可以上problang.org阅读本节课使用的在线课本。课本中有一些用WebPPL说话所编写的代码，不外读者并不必要把握它，只必要按照指示，调解一下代码中的参数，来试探不合的值对付成效的影响。

连着引见了两节计较说话学课程，对计较机不是那么感乐趣的读者可能已经要逃跑了。别焦心，我们接下来看一门好玩的课。

人工说话游乐场

Conlang playground

不晓得列位有没有逛过百度贴吧的“人造说话吧”。

在吧里偶尔能见到令人面前一亮的创意作品，也时常碰见功课太少的小门生，像误入了说话学届的民科聚会。

人工说话（Constructed languages, conlang）是为了艺术或辅助沟通等目的所酬报创造出来的说话。斗劲着名的人工说话有国际辅助语世界语（Esperanto），《指环王》里的精灵语，《权利的游戏》里的瓦雷利亚语，《星际迷航》里的克林贡语等等。

《权利的游戏》中的高档瓦雷利亚语

这门课由CMU说话科技研究所的 Lori Levin 教授主讲。Levin 教授同样来自说话学背景，她仍是北美计较说话学奥林匹克竞赛（NACLO）组委会的委员。门生会在这门课竣事时完成创作一门人工说话的原型。

人工说话不是瞎造的，它应该可以承载人类所想表达的意思，且应适宜天然说话的构造。创造人工说话也并非毫无意义，它是辅佐我们熟悉人类说话的一种手段。

课程率领门生考虑本身的说话应该拥有怎样样的语序（我用饭 仍是 我饭吃）、语义格（主格宾格，哪些格必要表示出来，哪些格可以不表示出来）、性数同等、系动词、斗劲级、类型分类（黏着语、屈折语）、名词、代词、反身代词、冠词等等。课程会使用良多真实的天然说话的例子来辅佐门生设想本身的说话。

课程末了还引见了一部幽默的短片。时任加州大学伯克利分校教授 Wallace Chafe 在1975年建造了一段没有对白的短片《梨的故事》。

;

这段影片会被向操不合说话的人士播放。不雅观不雅观众看完后会被要求描述短片里产生了什么。pearstories.org上有对七种首要汉语方言停止的测试，感乐趣的读者可以看一下。

短片可以用来测试可编码性（codability），也就是一种说话有没有充足的才能被用来表达人所想表达的事物。若是一个说话的可编码性高，不合的不雅观不雅观众会用近似的句法来描述场景；而若是一个说话的可编码性低，不合的不雅观不雅观众给出的描述则八门五花。

别的课程保举了人工说话创造者 Mark Rosenfelder 所写的《说话创造套件》（Language Construction Kit）。这本书可以在免费阅读。想创作人工说话的读者不妨参考一下。

除了上面引见的三节课，NASSLLI还有不少幽默的课程，例如天然说话的逻辑，爱丁堡大学NLP的图形情势主义与意义表示等等；也有良多适用的课程，例如用Python和NLTK做语料库说话学，用R说话做说话学研究等等。列位都可以到NASSLLI网站阅读这些课程。

用NLTK画的中文句法树

暑校贵吗？值吗？将来有哪些暑校机缘？

本年NASSLLI的注册费用只需200美元，若是是匹兹堡本地的门生则只需50美元，可谓非常实惠了。暑校构造者表示这一费用其实并不够付出实际的本钱，价钱低廉的缘故缘由是由于有帮手。

参加暑校首要的开支其其实于留宿。以本次NASSLLI为例，校内宿舍单人世65美元一晚，双人世50美元一晚，校外合作的酒店则是149美元一晚，大师可以参考一下。

NASSLLI也设有奖学金，在门生本身的系不扶助的情形下可以申请。NASSLLI设有门生海报展现时辰，所以若是能投一个海报再请系里全额扶助本身天然是最抱负的了。

参加只需一周的暑校有没有收成呢？其其实这么快节奏的情形下想要把每门课都听明白是很有难度的，所以来参加暑校更大的意义在于试探一些本身感乐趣却不必定有机缘在校进修的课程。对这些知识点有必定的体味能便当本身在往后的进修中进一步试探这些课题。

更重要的是，供给这些课程的教授和黉舍都是该规模的前驱。有机缘听到他们引见本身专精的研究是非常难能可贵的。别的，能在暑校时代的茶歇和晚宴等各类场合向学长姐和大牛教授们商讨本身在学科内的迷惑和心得，也绝对是一个不成多得的机缘。

至于将来的暑校项目，下一届NASSLLI会在2020年举办，主理黉舍应该是布兰迪斯大学。布兰迪斯大学计较说话学项目同时也是本届NASSLLI的帮手方之一。

2019年也有良多值得考虑的机缘。历史更为悠长且更为成熟的欧洲逻辑、说话与信息学暑校（ESSLLI）每年举办一次，每次两个礼拜，门生偶尔刻试探更多课程。2019年的ESSLLI将在拉脱维亚大学停止。2018年索非亚大学的ESSLLI虽然尚未截止报名，可是如今才报名的话留宿会斗劲难找。

拉脱维亚大学

lu.lv

美国说话学会（LSA）两年一度暑期说话学黉舍（Summer Linguistic Institute）将于2019年6月到7月在加州大学戴维斯分校停止，主题是数字时代的说话学。这是一个四周的项目，很着名且很受接待，并且有奖学金可以申请，大师可以多多寄望一下。

计较说话学方面，约翰霍普金斯大学说话及语音措置中心每年都市有一个六周的高强度暑期研究工作坊。这个工作坊由2014年起头更名为 Frederick Jelinik 留念工作坊。Frederick Jelinik是天然说话措置的前驱。没错，就是经由过程辞退说话学家来晋升语音识别体系默示的那位。

clsp.jhu.edu

工作坊网罗一个两周的人类说话科技暑校，会有良多手艺开发的练习。这个项目是对本科生友爱的，有供给本科生奖学金和本科生研究职位的申请。

列位读者还可以多多把持 Linguist List 来搜索将来的暑校机缘。

以上就是我对本年NASSLLI的一个简单回首回头回忆了。希望大师看完可以对说话学暑校产生必定乐趣，往后有机缘的话可以介入到这些勾傍边来。

参考质料

G. Scontras, M. H. Tessler, and M. Franke (2018). Probabilistic language understanding: An introduction to the Rational Speech Act framework. Retrieved 7 July 2018 from https://www.problang.org.

NASSLLI 2018 @ CMU - June 23-29 - North American Summer School on Logic, Language, and Information (2018). Retrieved 7 July 2018 from https://www.cmu.edu/nasslli2018/