网易首页 > 网易号 > 正文 申请入驻

UniPercept 统一图像美学、质量与结构纹理感知

0
分享至

操铄:中国科学技术大学与上海人工智能实验室联合培养博士生,专注多模态图像理解与生成。主导研发了 ArtiMuse、UniPercept 等成果,多篇工作发表于 ECCV、ICCV 等国际顶级会议。

李佳阳:北京大学硕士生,专注多模态图像理解及融合。作为核心作者参与了 ArtiMuse、UniPercept 等工作,多篇工作发表于 TIP、TPAMI 等国际顶级期刊。

尽管多模态大语言模型(MLLMs)在识别「图中有什么」这一语义层面上取得了巨大进步,但在理解「图像看起来怎么样」这一感知层面上仍显乏力。

近日,来自上海人工智能实验室、中科大、北大、清华等机构的研究者联合发布了UniPercept。这是首个统一了美学(Aesthetics)质量(Quality)结构与纹理(Structure & Texture)三个维度的感知级图像理解框架。

项目主页:https://thunderbolt215.github.io/Unipercept-project/

代码仓库:

https://github.com/thunderbolt215/UniPercept

论文地址:

https://arxiv.org/abs/2512.21675

模型权重:https://huggingface.co/collections/Thunderbolt215215/unipercept

相关工作 (ArtiMuse):

https://github.com/thunderbolt215/ArtiMuse

引言:

从「识别物体」到「感知图像」

当前,多模态大语言模型在目标检测、图像描述和视觉推理等语义级任务中表现卓越。然而,人类视觉感知不仅限于物体识别,还包括对构图美感、画质损伤、材质纹理以及结构规律性的细腻捕捉。

语义级理解关注的是「场景中有哪些实体」,而感知级理解则需要评估精细的、低层级的视觉外观,例如美学和谐度、降质严重程度或表面肌理。这些属性往往是微妙且主观的,对内容创作、图像增强及生成模型对齐至关重要。

为了填补这一空白,研究团队提出了UniPercept。该工作建立了层次化的感知属性定义系统,构建了大规模基准测试集UniPercept-Bench,并开发了一个通过领域自适应预训练和任务对齐强化学习训练的强基准模型。此外,研究团队还给出了UniPercept的下游应用实例,包括作为生成模型的奖励模型(Reward Model),以及作为生成模型评估的指标(Metrics)等。

UniPercept-Bench:

三位一体的全域感知评价体系


UniPercept 将感知级图像理解拆解为三个核心领域,构建了「领域 - 类别 - 准则」的三级层次结构,旨在全面覆盖人类对图像的视觉评价维度。

核心评估维度

  • 图像美学评估(IAA):侧重于构图设计、视觉元素与结构、情感和整体视觉吸引力等。它关注的是图像是否「好看」,探讨艺术表达与视觉平衡。

  • 图像质量评估(IQA):侧重于感知保真度和降质因素,如噪声、模糊、压缩伪影。它回答的是图像是否「技术性达标」。

  • 图像结构与纹理评估(ISTA):这是 UniPercept 首次系统化提出的维度,强调局部特征、几何规律性、材质属性(如平滑度、粗糙度)和细节丰富度。它回答的是图像的「场景、结构、纹理和构成与复杂程度」。

UniPercept-Bench 的定义体系分为三级细分,包含 3 个领域、17 个类别和 44 个细分准则,给出了专家级的细致定义体系,其精细程度远远超过此前的图像评估 Benchmark。

在具体定义上,它实现了从领域到准则的精密解构:例如从美学(IAA)领域,到「构图与设计(Composition & Design)」类别,深入到对「视觉平衡(Visual Balance)」这一微观准则的量化;或从场景解析(ISTA)领域,到「几何构成(Geometric Composition)」类别,细化到对「3D 体积(3D Volume)」隐含信息的提取。这种三级联动的体系,确保了模型能够从宏观的「整体感知」跨越到微观的「渲染精度」进行全方位、多维度的专家级评估。

任务形式与数据流水线


该基准支持视觉评分(Visual Rating, VR)视觉问答(Visual Question Answering, VQA)两种互补的任务形式。

为了确保数据质量,研究团队设计了三阶段自动化流水线:

  • 初始生成:利用先进多模态模型结合专业准则库生成候选问答对。
  • 拒绝采样:由异构判别模型对问题的有效性、答案的准确性及逻辑一致性进行五分制打分,剔除约 40% 的不合格样本。
  • 人工精修:组织专业志愿者进行手动核验,特别是对边界案例进行修改,确保最终结果与人类专家感知高度对齐。

UniPercept 模型:

领域自适应与任务对齐强化学习


为了使模型具备真正的感知能力,研究者采用两阶段框架对基础多模态模型进行持续演进。

领域自适应预训练(Domain-Adaptive Pre-Training)

研究团队整合了约 80 万个样本的大规模语料库,涵盖文本描述、结构化标注和数值评分。通过这一阶段,模型习得了跨领域的底层视觉特征,为其后续的精准判断打下了相应的感知基础。

任务对齐强化学习(Task-Aligned RL for VR & VQA)

这是提升模型感知一致性的关键。研究者采用了 GRPO 算法进行策略优化,并针对感知任务设计了特定的奖励函数:

  • 视觉问答(VQA)任务:采用二元奖励,鼓励模型输出准确的离散答案。
  • 视觉评分(VR)任务:创新性地设计了自适应高斯软奖励(Adaptive Gaussian Soft Reward)。该函数根据模型预测值与参考分数的偏差动态调整平滑系数。

这种软奖励机制提供了更平滑的梯度,避免了传统阈值奖励导致的优化不连续性。此外,模型引入了评分 Token 策略,直接从预测概率分布中导出数值,大幅缓解了模型生成数字时的幻觉倾向。

性能:

全面超越现有顶尖模型


研究团队在 UniPercept-Bench 上评估了包括商用闭源模型系列、领先开源系列以及针对美学和质量优化的专用模型在内的 18 个模型,UniPercept 在其中取得了显著优秀的表现。

视觉评分(VR)表现

在持续分数的回归任务中,大多数通用模型在没有针对性训练的情况下表现较差。相比之下,UniPercept 在所有三个领域(美学、质量、结构)中均取得了最高的斯皮尔曼相关系数(SRCC)和皮尔逊相关系数(PLCC)。尤其是在 ISTA 领域,UniPercept 填补了现有模型对细节纹理判断的空白。

视觉问答(VQA)表现

实验显示,即使是目前最顶尖的商业模型在处理精细感知问题时也显得吃力:

  • 图像美学评估(IAA)领域,UniPercept 的准确率超越了 GPT-4o 约 16 个百分点。
  • 图像质量评估(IQA)领域,UniPercept 在识别特定物体上的细微损伤(如运动模糊、压缩畸变)方面展现出极强的定位与判断能力。
  • 图像结构与纹理复杂度评估(ISTA)领域,模型能够准确分辨不同材质的表面特性(如镜面反射、亚光纹理),准确率突破 80%。

应用:

作为奖励模型/评估指标


UniPercept 展示了作为生成模型优化信号的巨大潜力。研究者将其作为奖励模型,整合进文生图模型的微调流水线中。UniPercept 主要从以下三个方面对生成模型进行优化:

  • 美学引导:显著改善生成图像的构图平衡和光影和谐度。
  • 质量引导:增强图像细节的锐度和清晰度,减少常见的伪影干扰。
  • 结构纹理引导:丰富了场景的复杂程度、结构的丰富度、物体的表面肌理,使画面表现更丰富。

不同奖励信号有着不同的优化侧重点,当三个维度的奖励信号协同作用时,生成的图像在视觉吸引力和技术保真度上均达到最优。

此外,UniPercept 天然可以作为从美学、质量、纹理与结构三方面对于图像进行评估的评估指标(Metrics),可以准确反映不同模型输出图像的各方面表现。

生成图像的全方位「感知档案」

UniPercept 还能为图像生成全方位的「感知档案」,不仅给出评分,还能从美学、质量、纹理与结构三个方面针对构图、执行精度、损伤位置等具体维度给出详细的文字解析与结构化输出。

结语


UniPercept 的提出,是多模态大模型的研究重心正在从单纯的语义识别,向更具挑战性的「感知图像」转化的重要一环。通过建立统一的评价基准、高效的数据生产线以及新颖的任务对齐学习策略,UniPercept 为未来的视觉内容评价与可控生成提供了一个强大的底座。它不仅是研究感知的有力工具,更是构建「感知闭环」系统的重要一步。

随着感知级理解能力的不断提升,人工智能将能够像人类艺术家一样,不仅能看懂画面中的故事,更能体会并创造出具备极致美感与精湛质感的视觉作品。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
惨!新5元纪念币,没人约了!

惨!新5元纪念币,没人约了!

天天纪念币
2026-11-18 12:05:10
日本预测:中国将成为全球第一个,不需要武器进口的国家

日本预测:中国将成为全球第一个,不需要武器进口的国家

小妹讲史
2026-11-17 17:40:50
日本3岁女童惨死家中!全身50多处淤青、食道破裂!亲妈多次目睹丈夫施暴却未阻止!

日本3岁女童惨死家中!全身50多处淤青、食道破裂!亲妈多次目睹丈夫施暴却未阻止!

东京新青年
2026-11-17 19:22:35
WTA公布赛季年终奖金榜:郑钦文收入超249万美元,为收入最高中国球员;世界第一莱巴金娜超1113万美元居首,安德列娃、萨巴伦卡分列二三位

WTA公布赛季年终奖金榜:郑钦文收入超249万美元,为收入最高中国球员;世界第一莱巴金娜超1113万美元居首,安德列娃、萨巴伦卡分列二三位

大风新闻
2026-11-18 14:26:01
立场亲华武契奇前脚离去,后脚塞尔维亚就冒出个不亲欧不亲俄的“硬茬”,欧洲这次真急了!

立场亲华武契奇前脚离去,后脚塞尔维亚就冒出个不亲欧不亲俄的“硬茬”,欧洲这次真急了!

唠叨说历史
2026-11-12 14:20:16
车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

触摸史迹
2026-11-17 09:20:45
A股三大指数快速拉升翻红

A股三大指数快速拉升翻红

证券时报
2026-11-18 13:46:04
钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

墨策讲历史
2026-11-04 22:47:01
最新:乌克兰重创克里米亚大桥以东两大炼油厂!

最新:乌克兰重创克里米亚大桥以东两大炼油厂!

项鹏飞
2026-11-18 20:22:28
CBA杯开打!24队争夺8个名额,CBA和NBL直接对话,强队缺兵少将!

CBA杯开打!24队争夺8个名额,CBA和NBL直接对话,强队缺兵少将!

大卫的篮球故事
2026-11-18 12:54:45
真爱!曼联0-3不敌伯恩茅斯之后 波切蒂诺立马告知有解约条款

真爱!曼联0-3不敌伯恩茅斯之后 波切蒂诺立马告知有解约条款

雪狼侃体育
2026-11-18 21:16:54
笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

王老师你还好吗
2026-11-06 14:39:40
六盘水用1200万抵扣2.2亿债务,女子拒绝后遭逮捕,被批不识抬举

六盘水用1200万抵扣2.2亿债务,女子拒绝后遭逮捕,被批不识抬举

干史人
2025-04-25 08:30:03
上海大量上市!价格稳住了!盒马、叮咚等同步热销

上海大量上市!价格稳住了!盒马、叮咚等同步热销

看看新闻Knews
2026-11-18 20:52:06
两场验出真货!王钰栋张玉宁领衔四人成赢家,邵佳一等三人成输家

两场验出真货!王钰栋张玉宁领衔四人成赢家,邵佳一等三人成输家

南海浪花
2026-11-18 01:23:32
俄已解除禁杀令,允许暗杀泽连斯基?特朗普坦言:普京已经让步了

俄已解除禁杀令,允许暗杀泽连斯基?特朗普坦言:普京已经让步了

国际法大视野
2026-11-17 15:18:04
上半年138.3万对离婚,民政局“不劝了”:40岁以后的分手,是算过账的

上半年138.3万对离婚,民政局“不劝了”:40岁以后的分手,是算过账的

青科新闻
2026-11-08 11:25:23
普京访华:来中国最舒心,中美俄开创历史

普京访华:来中国最舒心,中美俄开创历史

生思孰虑
2026-11-18 16:31:39
30多名高管在场!黄仁勋:“我希望你死”,让我们都解脱

30多名高管在场!黄仁勋:“我希望你死”,让我们都解脱

青橘罐头
2026-11-18 09:46:47
先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

军迷战情室
2026-11-17 07:39:35
2026-11-18 21:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
教育
游戏
旅游
军事航空

房产要闻

周大生出手!海棠湾又一大商业体来了

教育要闻

第十五届“挑战杯”中国大学生创业计划竞赛主体赛拟授奖名单,公布!

《GTA6》全新截图公开!男主开战斗机 女主瑜伽裤

旅游要闻

昆明这个老码头好在!让你在家门口体验海滨度假

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版