ICCV 2023 | EmoSet：具有丰富属性标注的大规模视觉情感数据集

本文是VCC助理教授杨景媛对论文 EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes 的解读，该工作由深圳大学可视计算研究中心黄惠教授课题组、以色列耶路撒冷希伯来大学Dani Lischinski教授和特拉维夫大学Daniel Cohen-Or教授合作完成，已发表在计算机视觉国际顶级会议ICCV 2023上，同时获得中国发明专利授权。

该工作构建了一个大规模视觉情感数据集，并首次引入丰富的情感属性标注，在四个维度超越了现有数据集：数据规模、标注丰富度、数据多样性和数据平衡度，为视觉情感计算提供好的数据支持和新的研究思路，鼓励研究者在可解释情感计算进行深入探索。

论文链接： https://arxiv.org/abs/2307.07961 项目主页： https://vcc.tech/EmoSet

一、情感，是生活的调色盘

想象一下，如果生活中只有冰冷的数据、枯燥的事实和无情的逻辑，这个世界会变成什么样？毫无疑问，会变得无比单调和乏味。幸运的是，大自然为我们赋予了一份珍贵的礼物——情感！它们是我们感知生活的调色盘，点亮和充盈着我们每个人的生活。

在这个以视觉信息为主导的世界里，视觉情感不容小觑，是我们体验快乐、感受温暖、理解他人，甚至是表达愤怒、经历恐惧和共情悲伤的关键。图像中蕴含着丰富的情感信息，让我们可以在静默情况下，同样传递感动、共鸣和欢乐。

或许您曾经在社交网络上看到一只扑蝴蝶的小猫咪，它俏皮的动作让您忍俊不禁。或许您曾经浏览过摄影作品中壮丽恢弘的风景，感受到一种无法言喻的心灵震颤。或许您身处热闹的聚会之中，朋友、欢笑、美食、香槟，喜悦和温暖如潮水般涌上您的心头。

正是这些视觉情感，让我们的生活变得丰富多彩，让我们的心灵得以超越时间和空间的束缚。今天，我们要和大家分享我们最近构建的视觉情感数据集 EmoSet 。

二、标注数据规模领域第一

情感是抽象的，标注数据量不足，严重制约着视觉情感领域的发展。基于此，研究团队提出EmoSet，首先在数据量上做到第一：

通过利用810个情感关键词进行检索，该数据集包含3.3M张情感图片，其中118K是经过机器和人工双重标注的，数据规模是现有最大数据集的5倍。

该数据集包含来自社交媒体和艺术作品的图片，且在八分类情感上分布较为均衡，即愉悦、敬畏、满足、激动、愤怒、厌恶、恐惧和悲伤。

三、首次提出丰富情感属性

情感是复杂的，影响情感的原因多种多样，因素间的联系纵横交错。除情感类别外， EmoSet首次提出并标注了六种情感属性：亮度、颜色、场景、物体、人脸表情和人体动作 ，以上属性是基于心理学相关的研究提出的。

通过对情感与各属性进行关联分析，该工作揭示了 属性对于情感分析的有效性 。此外，该工作还设计了一种属性模块， 利用情感属性帮助提升识别任务上的性能， 实验结果进一步验证了属性在情感识别和理解任务上的巨大潜能。

四、为可解释情感计算提供支撑

现有视觉情感计算主要集中在识别任务，这极大地限制了该领域的发展和深入， 情感属性的提出，一方面使情感从抽象走向具体，另一方面从“是什么”走向“为什么”。

EmoSet有望在弱监督学习、视觉语言大模型及多模态情感分析等任务上发挥重要作用，助力情感生成和编辑研究。

研究团队希望该数据集的提出，可以给视觉情感计算领域的研究提供好的数据基础，启发新的研究思路，鼓励研究者们在 可解释图像情感计算 上进行深入探索。

来源：公众号【深圳大学可视计算研究中心】

Illustration by IconScout Store from IconScout

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线480+期talk视频，2400+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈

⤵一键送你进入TechBeat快乐星球