网易首页 > 网易号 > 正文 申请入驻

陈根:自我监督学习——填补仍然局限的深度学习系统

0
分享至

  文/陈根

  当前,以深度学习为代表的人工智能技术取得了飞速的发展,正落地应用于各行各业。但深度学习不是万能的,深度学习的局限性导致其在近几年的发展中进入了瓶颈。

  一个明显的局限在于,深度学习需要大量的训练数据。可以说,尽管深度神经网络在许多任务中表现良好,但这些网络通常需要大量数据才能避免过度拟合。遗憾的是,许多场景无法获得大量数据,例如医学图像分析。就此,减少深度学习对数据的依赖性,已经成为AI研究人员最重要的探索方向之一。

  自我监督学习的基本思路,就是开发出一种能够填补当前空白的深度学习系统。在自我监督学习系统里,只需要向其展示输入、文本、视频甚至是图像,而后剔除出其中一部分,由经过训练的神经网络或者人们选定的类或模型预测这些缺失的部分。预测对象可以是视频内容的后续走向,也可以是文本中缺少的词汇。

  Transformers是目前最接近自我监督系统的架构,Transformers不需要标记数据,它们可以通过维基百科等资料进行大规模非结构化文本训练。而且事实证明,与之前的同类系统相比,Transformers在生成文本、组织对话以及建立回复内容方面拥有更好的表现。

  

  近来,通过训练一个人工智能系统来处理10亿张Instagram上的未标记图片,Facebook的研究人员在自我监督学习方面取得了重大突破。

  这个被称为“SEER”(自我监督)的模型被上传了10亿张公开的Instagram图片,这些图片此前并未被人工整理过。但即使没有通常用于算法训练的标签和注释,SEER也能够自主完成数据集中工作,并且在目标检测等任务上实现最高水平的准确性

  研究人员表示:“与现有的在ImageNet数据集上训练的计算机视觉的自监督模型相比,SEER是第一个可以随机训练互联网上图像上的完全自监督的计算机视觉模型。”这意味着,人类标记数据这项费时费力的工作有可能被解决。与此同时,不需要管理数据集,自我监督模型也可以与更大、更多样化的数据集一起工作

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

50岁西拉米终于重见天日!素颜出行美貌依旧,气质却不似以往张扬

世界你好
2021-04-21 09:58:31

打击菅义伟嚣张气焰,专家:中国应收回琉球群岛主权,可打疼日本

火星之后有彩虹
2021-04-21 18:13:19

夫妻有一人是哪个生肖,子女不会丑,男富女贵

社会de记忆
2021-04-21 13:50:24

61岁刘德华对女儿发飙,崩溃大骂“有没有搞错”:无论是不是天王,辅导作业都投降

掌门1对1
2021-04-20 13:06:10

发生地震时,如果正好在飞机上,是不是就能逃过一劫了?

科技你懂的
2021-04-20 09:33:38

华为带火无人驾驶,但大涨的却是白酒板块!但斌:无人驾驶一旦实现,最利好白酒

和讯财经新知
2021-04-21 12:35:03

江苏一男孩考试完去饭店打工,父母不放心在窗外偷看:差点掉泪

凡间事
2021-04-21 08:42:33

惠州,缺水!缺水!缺水!

世界你好
2021-04-21 09:26:39

拾荒老母拿百万存单回家,两儿争相赡养,死后村长撕毁存单

倚靠窗前
2021-04-20 21:17:07

让配枪执勤无后顾之忧

特种装备网行业门户
2021-04-21 14:29:11

果然,美国不会撤军!拜登:继续增兵

社会黄金瞳
2021-04-20 10:48:09

《大风吹》火遍全网!身陷丑闻的刘惜君因低胸装翻红,网友:真白

你看漫漫说娱乐
2021-04-21 13:34:25

他赚了10亿被踢出公司,一怒之下自己开公司,却狂赚2000亿!

黑猩猩智库
2021-04-19 22:45:35

一夜3消息!徐杰公开回应垫脚,秦晓雯霸气发声,马布里正式离队

多特体育说
2021-04-21 19:22:48

美俄激烈外交战打响,关键时刻中国传出一消息,拜登实在没料到

诸葛小彻
2021-04-21 13:22:10

官方解读广州楼市新政,4月22日起执行!还能赶末班车么

南方都市报
2021-04-21 20:00:03

“这就是卖淫!”以色列政府为伤兵康复治疗提供“性代理人”遭批

环球军事时报
2021-04-21 13:41:28

美国会通过发动战争,扼杀掉中国超越美国之势吗?

古凌
2021-04-20 17:35:02

台媒称演员许玮甯离婚

陶衣柜
2021-04-21 11:19:22

一拳超人187:英雄不死定律打破?龙卷爆衣晕厥,背心被揍成肉饼

二次元小萌新
2021-04-21 13:37:19
2021-04-21 21:04:51
陈述根本
陈述根本
科技领域最深度的信息解读
1407文章数 28294关注度
往期回顾 全部

科技要闻

特斯拉维权当事人:我们只问为什么刹车失灵

头条要闻

中美是否将在气候等议题上展开合作?外交部回应

头条要闻

中美是否将在气候等议题上展开合作?外交部回应

体育要闻

打西部前5胜率10%!利拉德没机会看表

娱乐要闻

毛晓彤穿鹅黄短裙 对镜甜笑wink杀

财经要闻

汽车要闻

美式复古敞篷跑车将国产 挂比亚迪的LOGO

态度原创

健康
家居
房产
亲子
军事航空

超龄了,还有必要打HPV疫苗吗

家居要闻

港男月入过万只能带妻儿住7平蜗居 在洗衣机上做饭

房产要闻

重磅!广州限购再次收紧!人才购房变1年社保

亲子要闻

《小舍得》热播,全民“鸡娃”无人胜出

军事要闻

F-35B战斗机飞行员"看透"机身降落航母