索尼新数据集可检验 AI 模型是否公平对待不同人群

IT之家 11 月 6 日消息，索尼人工智能（Sony AI）发布了一个用于测试人工智能模型公平性与偏见的新数据集，名为“公平以人为本图像基准”（Fair Human-Centric Image Benchmark，简称 FHIBE，发音类似“Phoebe”）。该公司称，这是“首个公开可用、具有全球多样性、基于参与者知情同意的人类图像数据集，可用于评估各类计算机视觉任务中的偏见问题”。换言之，该数据集旨在检验当前 AI 模型在多大程度上能够公平对待不同人群。值得注意的是，索尼在评估过程中发现，目前没有任何一家公司发布的数据集能够完全满足其设定的公平性基准。

图源：索尼

索尼表示，FHIBE 有助于应对 AI 行业在伦理与偏见方面的挑战。该数据集包含来自 80 多个国家近 2,000 名有偿参与者的图像，所有参与者的肖像均在明确知情同意的前提下被使用 —— 这与当前业界普遍采用的、未经许可大规模抓取网络数据的做法形成鲜明对比。FHIBE 参与者可随时选择撤回其图像。据IT之家了解，这些图像还附有详细标注，涵盖人口统计学和身体特征、环境因素，甚至包括拍摄时的相机参数。

该工具“验证了当前 AI 模型中此前已被记录的偏见”，但索尼强调，FHIBE 还能对导致这些偏见的具体因素进行细致分析。例如，某些模型在使用“she / her / hers”代词的时准确率较低，而 FHIBE 分析发现，此前被忽视的一个关键因素是这些人群在发型上的高度多样性。

此外，FHIBE 还发现，当 AI 模型被问及某个中立问题（如“该人物的职业是什么？”）时，会强化刻板印象。测试显示，模型对特定代词使用群体和族裔背景人群存在明显偏见，常常将受访者描述为性工作者、毒贩或小偷。而在被要求推测某人所犯罪行时，模型对非洲或亚洲族裔、肤色较深者以及使用“he / him / his”代词的人群，更频繁地生成“有毒”（toxic）回应。

索尼 AI 表示，FHIBE 证明了在数据收集中实现伦理、多样性和公平性是完全可行的。该工具现已向公众开放，并将随时间推移持续更新。相关研究成果已于本周三发表于《自然》（Nature）期刊。