网易首页 > 网易号 > 正文 申请入驻

第一次,我们在人工神经网络中发现了「真」神经元

0
分享至

  机器之心报道

  参与:杜伟、魔王

  

无论是字面上、符号上还是概念上的表达,这种神经元都会对相同的概念做出反应。

  OpenAI 的研究者们在人工神经网络 CLIP 上发现了「真」神经元,这种机制解释了 AI 模型对令人惊讶的视觉呈现进行分类时,为何拥有如此的准确性。研究人员表示,这是一项重要发现,可能对计算机大脑乃至人类大脑的研究产生重大影响。

  这或许意味着通用人工智能距离我们并没有想象的那么远。但理解了抽象概念的神经元,却也会做出一些令人啼笑皆非的理解。

  

  15 年前,Quiroga 等人发现人脑中包含多模态神经元。这些神经元能够对围绕常见高级主题的抽象概念簇产生反应,而不是任意特定的视觉特征。其中最著名的神经元当属 Halle Berry 神经元,它能够对美国女演员「哈莉·贝瑞」的照片、图像和文本产生反应。

  今年 1 月初,OpenAI 提出了一种通用视觉系统 CLIP,其性能媲美 ResNet-50,并在一些有挑战性的数据集上超过现有的视觉系统。给出一组以语言形式表述的类别,CLIP 能够立即将一张图像与其中某个类别进行匹配,而且它不像标准神经网络那样需要针对这些类别的特定数据进行微调。

  最近,OpenAI 又有了一个惊人发现:CLIP 模型中出现了多模态神经元!这类神经元能够对以文本、符号或概念形式呈现的相同概念作出反应。例如「Spider-Man」神经元(类似 Halle Berry 神经元)能够对蜘蛛图像、文本「spider」的图像和漫画人物「蜘蛛侠」做出响应。

  

  在 CLIP 模型中发现的神经元具备与人脑中 Halle Berry 神经元类似的功能,相比之前的人工神经元有所进步。

  这一发现为合成视觉系统与自然视觉系统中的普遍机制——抽象提供了线索。研究人员发现 CLIP 的最高层将图像组织为 idea 的松散语义集合,从而为模型的通用性和表示的紧凑性提供了简单解释。

  OpenAI 表示:这一发现或许可以解释 CLIP 模型的分类准确率,也是理解大型语言模型在训练过程中学习到的关联和偏见的重要一步。

  

  那么,CLIP 中的多模态神经元到底是什么样子呢?OpenAI 研究人员利用可解释性工具进行了探究,发现 CLIP 权重内的高级概念包含很多人类视觉词汇,如地区、面部表情、宗教图像、名人等。通过对神经元影响力的探究,我们可以更加了解 CLIP 如何执行分类。

  CLIP 中的多模态神经元

  OpanAI 的论文《Multimodal Neurons in Artificial Neural Networks》建立在近十年来对卷积网络解释的研究基础上,该研究首先观察到许多经典方法可以直接应用于 CLIP。OpenAI 使用两种工具来理解模型的激活,分别是特征可视化(通过对输入进行基于梯度的优化来最大化神经元的激活)和数据集示例(观察数据集中神经元最大激活图像的分布)。

  通过这些简单的方法,OpenAI 发现 CLIP RN50x4(ResNet-50 利用 EfficientNet 扩展规则扩增 4 倍)中的大多数神经元都可以得到解释。这些神经元似乎是「多面神经元」的极端示例,它们只在更高层次的抽象上对不同用例做出响应。

  例如,对于夏季和冬季两个不同季节,文本、人脸、Logo、建筑物、室内、自然和姿态等表现出了不同的效果:

  

  对于美国和印度两个不同国家,文本、人脸、Logo、建筑物、室内、自然和姿态等也呈现出了不同的效果:

  

  OpenAI 惊奇地发现,其中很多类别似乎是利用颅内深度电极记录的癫痫患者内侧颞叶中的镜像神经元,包含对情绪、动物和名人做出反应的神经元。

  然而,OpenAI 对 CLIP 的研究发现了更多这类奇怪但绝妙的抽象,包括似乎能计数的神经元、对艺术风格做出响应的神经元,甚至对具有数字修改痕迹的图像做出响应的神经元。

  多模态神经元的构成是怎样的

  这些多模态神经元能够帮助我们理解 CLIP 如何执行分类。使用一个稀疏线性探针即可以很容易地查看 CLIP 的权重,从而了解哪些概念结合在一起实现了 ImageNet 数据集上的最终分类。

  如下图所示,存钱罐似乎是由一个「finance」神经元和瓷器(porcelain )神经元组成的。「Spider-Man」神经元也表现为一个蜘蛛检测器,并在「谷仓蜘蛛」(barn spider)的分类中发挥重要作用。

  

  对于文本分类,OpenAI 的一个关键发现是,这些概念以类似于 word2vec 目标函数的方式包含在神经元中,它们几乎是线性的。因此,这些概念构成了一个单代数,其行为方式类似于线性探针。通过线性化注意力,我们也可以像线性探针那样检查任意句子,具体如下图所示:

  

  错误的抽象

  CLIP 的抽象化程度揭示了一种新的攻击向量(vector of attack),OpenAI 认为这种向量并未在以往的系统中表现出来。和很多深度网络一样,模型最高层上的表征完全由这类高级抽象控制。但是,区分 CLIP 的关键在于程度(degree),CLIP 的多模态神经元能够在文字和符号之间实现泛化,而这可能是一把双刃剑。

  通过一系列精心设计的实验,OpenAI 证明了可以利用这种还原行为来欺骗模型做出荒谬的分类。此外,OpenAI 观察到,CLIP 中神经元的激发通常可以借助其对文本图像的响应来控制,从而为攻击该模型提供了一个简单的向量。

  举例而言,金融神经元可以对存钱罐和货币符号串「$$$」做出响应。通过强制性地激活金融神经元,我们可以欺骗 CLIP 模型将一条狗分类为存钱罐。具体如下图所示:

  

  野外攻击

  OpenAI 将这类攻击称为「typographic attack」。研究人员穷尽 CLIP 模型鲁棒性读取文本的能力,发现即使是手写文本图像也能骗过模型。如下图所示,在「史密斯奶奶」青苹果表面贴上写着「iPod」的纸张,系统将其错误分类为「iPod」。

  

  研究人员认为这类攻击还可能以更微妙、不明显的形式出现。CLIP 的输入图像往往用多种细微复杂的形式进行抽象,这可能会对一些常见模式进行过度抽象——过度简化,进而导致过度泛化。

  偏见和过度泛化

  CLIP 模型基于精心收集的网络图像进行训练,但它仍然继承了许多未经检查的偏见与关联。研究人员发现 CLIP 中的许多关联是良性的,但也有一些关联会带来损害,如对特定个人或组织的贬损。例如,「Middle East」(中东)神经元与恐怖主义存在关联,「immigration」(移民)神经元对拉丁美洲有反应,甚至有的神经元还对黑皮肤人群和大猩猩产生反应。这映射了早期其他模型中存在的图像标注问题,而这是不可接受的。

  这些关联对此类强大视觉系统的应用提出了极大挑战。不管是经过微调还是使用零次学习,这些偏见和关联大概率仍会存在于系统中,而它们也将以可见或不可见的方式影响模型部署。我们或许很难预测很多带偏见的行为,如何度量和纠正它们是非常困难的事情。OpenAI 认为这些可解释性工具可以提前发现关联和歧视,进而帮助从业者规避潜在的问题。

  OpenAI 表示他们对 CLIP 的理解仍在继续,而是否发布 CLIP 模型的大型版本尚属未知。

  这一研究或许会对 AI 技术,甚至神经科学研究打开一条新路。「因为我们不了解神经网络运作的机制,因此很难理解它们出错的原因,」OpenAI 的联合创始人、首席科学家 Ilya Sutskever 说道。「我们不知道它们是否可靠,或它们是否存在一些测试中未发现的漏洞。」

  此外,OpenAI 还发布了用于理解 CLIP 模型的工具,例如 OpenAI Microscope,它最近更新了 CLIP RN50x4 中每个神经元的特征可视化、数据集示例和文本特征可视化。详情参见:
https://microscope.openai.com/models

  

  图源:
https://microscope.openai.com/models/contrastive_4x?models.technique=deep_dream

  研究者还公布了 CLIP RN50x4 和 RN101 的权重,参见 GitHub 项目:
https://github.com/openai/CLIP

  https://distill.pub/2021/multimodal-neurons/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

拜登也没有想到,“谢谢中国”会响彻美国的后花园

海峡军武
2021-04-21 16:21:33

6.1英寸iPhone降价1100元,128GB+iOS14,网友:良心价

叽歪数码vvv
2021-04-19 15:54:10

穆帅下课内幕曝光!更衣室球员分成3派,凯恩拼尽全力没能挽局

体育课副班长
2021-04-20 22:28:30

中纪委:严惩10类公务员、7类村官、6类党员!

西安女性
2021-04-21 05:12:41

4个549万!昨晚我省三市喜降双色球头奖

生活直通车
2021-04-21 18:12:00

“针织”芭比裤,搭配白色T恤,简洁又大方的搭配深入人心!

燃情时尚
2021-04-21 16:29:34

杨颖一家三口罕见同框,黄晓明小心翼翼伸出手,却始终不敢搂杨颖

娱界万人迷
2021-04-20 10:39:23

哈里梅根与王室交恶,连锁反应殃及查尔斯继位,登基或被取消

译言
2021-04-21 21:32:17

中国香港警察,总计3万多人,一月工资,到底有多少钱?

万里繁华
2021-04-20 15:46:00

《乘风破浪的姐姐》第二季为什么干不过第一季?有以下几个原因

数字的尾巴
2021-04-20 00:49:23

曼晚:因曼联此前加入欧超联赛,赞助商与曼联的协议都暂停谈判

直播吧
2021-04-21 18:22:04

记者调侃穆帅后再调侃曼联:单赛季参加欧冠、欧联和欧超的球队

直播吧
2021-04-22 00:24:12

八家豪门相继退出!欧超联赛土崩瓦解;欧足联欢迎回归,唯独暴击尤文

体育课副班长
2021-04-21 12:57:07

单日新增确诊超29万例,印度卫生部宣布:我们接种疫苗速度全球最快,超过美国和中国

环球网资讯
2021-04-21 17:16:23

印度发布军事强国榜单,美国只排第二,俄罗斯和印度位列三四

海峡军志
2021-04-21 15:27:19

恒驰版PPT——许家印的薛定谔式造车与底盘

迷雾星球
2021-04-21 14:27:51

丁俊晖一轮游微博被攻陷!球迷愤怒:还打广告,你真让人失望透顶

三十年莱斯特城球迷
2021-04-21 11:53:11

2元/瓶的可口可乐宣布将全球涨价,15年在华不涨价记录恐被打破!

财经正解局
2021-04-20 12:43:15

轻度抑郁症的人,多半会有7句“口头禅”,希望你一句没有说过

商业模式桑博士
2021-04-19 17:08:27

林盛斌被曝年收入两千万,住月租10万豪宅,请三名工人照顾起居

港剧剧透社
2021-04-21 16:10:18
2021-04-22 01:12:51
机器之心Pro
机器之心Pro
专业的人工智能媒体
5843文章数 121586关注度
往期回顾 全部

科技要闻

特斯拉维权当事人:我们只问为什么刹车失灵

头条要闻

疑似为特斯拉陶琳“连夜改简历”?百度百科:不实

头条要闻

疑似为特斯拉陶琳“连夜改简历”?百度百科:不实

体育要闻

郭艾伦16分10助攻 末节却挨了顿批

娱乐要闻

毛晓彤穿鹅黄短裙 对镜甜笑wink杀

财经要闻

汽车要闻

美式复古敞篷跑车将国产 挂比亚迪的LOGO

态度原创

健康
旅游
亲子
本地
公开课

超龄了,还有必要打HPV疫苗吗

旅游要闻

佛山周边原来藏着这么多景点!

亲子要闻

《小舍得》热播,全民“鸡娃”无人胜出

本地新闻

取悦自己的方式有很多,哪种戳中了你的“爽点”?

公开课

指甲没月牙,是身体不健康?这种情况最危险