HPS v2：800K文生图模型的人类偏好数据集以及评价指标

本文提出了一个目前数据量最大的、涵盖面最广、反应人类对生成图像喜爱程度的数据集：HPD v2， 并基于该数据集，提出了目前泛化性最强的“人类喜好评估模型”：HPS v2。HPS v2可以类比为ChatGPT中的reward model，能够用于图像生成模型的对齐以及评估。

论文链接： https://arxiv.org/pdf/2306.09341.pdf 代码链接： https://github.com/tgxs002/HPSv2

一、背景

文生图模型的出现颠覆了人类的绘图方式，只需寥寥数字便可根据描述生成逼真的图像。然而，不少工作已经证明现有的评价指标（例如FID、IS、CLIP Score等）无法有效预测人们对于生成图像的喜好程度。

二、人类偏好数据集 HPD v2

为了解决这个问题，本文推出了一个名为HPD v2的全新数据集，它类似InstructGPT论文中的compaison data，包含了0.8M图片之间的comparison，反映了人们对不同图像的喜爱程度，是目前同类型数据集中最大的一个。

如上图所示，我们先对COCO Caption和DiffusionDB的文本进行清洗，去除繁杂的风格词汇。再用Stable Diffusion、DALL-E等近十个文生图模型（如下表所示），生成了超过43万张图片。我们请标注员对这些图片按组进行排序，从而构成我们的数据集。下图展示了我们的图像来源分布。

三、人类偏好分数 HPS v2

通过对HPD v2数据集的训练，我们训练了一个模型来拟合人类对图像的喜好：HPS v2。实验结果显示，HPS v2比以前的模型（包括 HPS v1、ImageReward 和 PickScore等）具有更好的泛化能力，并可作为文生图模型更好的评估指标。

在下图中，我们展示了由6个开源文生图模型生成的图像的HPS v2指标，可以看到，HPS v2与人类的主观感受有良好的一致性。

四、如何优化HPS v2？

本文提出两个简单的方案，可以提高生成图像的分数，为后续研究工作抛砖引玉。一个是用参考图像的特征提供更好的文生图初始化噪声。我们发现，在训练Stable Diffusion时，模型并没有见过纯噪声的输入，但推理时模型的输入却是从纯噪声开始的，这与训练阶段不一致。基于这一观察，我们尝试将参考图像的特征与随机噪声混合作为初始化噪声。如下图所示，我们的方法有效地提高了生成图像的HPS v2，并提高了对于生成结果的控制力度。

第二个方案是如HPS v1中介绍的，在关键词中给定一些有助于提高质量的标记。我们在此进行了量化的对比。如下表所示，这两种方法均提升了生成图像的HPS v2值，其中给定额外的标记能大幅提升生成质量。

五、总结

本文提出了目前数据量最大、覆盖模型最多的、反映人类对生成图像喜爱度的数据集HPD v2，并基于该数据集提出了最具泛化性的人类喜好评估模型HPS v2和一套稳定、公正、易用的文生图模型的评价基准。本工作为文本到图像生成模型的质量评估提供了一种新的方法，为模型改进和进一步研究提供了有力支持。

来源：公众号【商汤学术】

Illustration by IconScout Store from IconScout

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线480+期talk视频，2400+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈

⤵一键送你进入TechBeat快乐星球