东北大学团队发布首个大规模开放文本生成图像训练数据集Fine

这项由东北大学电气与计算机工程系团队领导的研究发表于2026年2月，论文编号为arXiv:2602.09439v1，该研究解决了开放社区在文本生成图像模型训练中面临的数据质量瓶颈问题。

在人工智能快速发展的今天，文本生成图像技术已经能够创造出令人惊叹的视觉作品。然而，就像烹饪需要优质食材一样，训练出色的AI模型同样需要高质量的数据。目前市面上表现最佳的文本生成图像模型，如GPT Image、Nano Banana Pro、Seedream等，大多掌握在大型企业手中。这种差距并非源于技术本身的秘密，而是因为这些企业拥有开放社区无法获得的高质量训练数据。

就像一位主厨需要新鲜食材才能做出美味佳肴，研究人员需要高质量的文本-图像配对数据才能训练出优秀的生成模型。然而，现实情况是，真正高质量的图像数据往往价格昂贵，每张图片的成本可能超过10美元，而且通常受到版权限制，无法自由分发。这就形成了一个恶性循环：开放社区只能使用质量较低、规模较小的数据集，导致训练出的模型在性能上始终落后于商业产品。

为了打破这种数据垄断局面，东北大学的研究团队决定从根本上解决这个问题。他们没有选择简单地收集更多现有数据，而是采用了一种创新的混合策略，就像一位聪明的厨师会结合使用新鲜食材和精心调制的调料一样。

一、创新的双轨数据构建策略

研究团队的核心创新在于采用了双轨并进的数据构建方法。第一条轨道是合成数据生成，就像在实验室中培育出完美的蔬菜一样，研究团队使用最先进的AI模型来生成高质量的图像。第二条轨道则是精心筛选真实世界的高质量摄影作品，这些作品来自那些愿意开放分享的专业摄影师。

在合成数据的生成过程中，研究团队首先设计了一套复杂的提示词生成系统。这个系统就像一个经验丰富的导演，能够构思出各种各样的视觉场景。他们使用LLaMA3指令模型作为"创意大脑"，系统地生成涵盖自然景观、人物肖像、设计元素、文本渲染等多个类别的提示词。为了确保生成的提示词足够多样化，他们特意设置了较高的随机性参数，就像让这个"创意大脑"更加天马行空一样。

整个合成数据生成过程包含了10种任务组合、32个提示类别、11种视觉风格和5种提示模板。这种全面覆盖的方法确保了数据集的丰富性和多样性。研究团队发现，在自然景观和人物肖像方面，用户的需求最为旺盛，因此在数据分布上给予了更多权重，自然景观占27.8%，人物相关内容占37.9%，同时也保留了足够的长尾场景覆盖，如文本渲染占17.4%，设计元素占10.6%。

为了进一步提升提示词的质量，研究团队还引入了一个专门的提示词增强模型。这个模型的作用就像一位文学编辑，能够将简单的描述转化为更加详细和生动的叙述。比如，原本简单的"海滩上的孩子堆沙堡"可能会被扩展为"一个穿着彩色泳装的快乐孩子在金色沙滩上专心致志地用小铲子和水桶建造着复杂的沙堡，背景是蔚蓝的大海和飘着白云的天空"。通过这种方式，每个原始提示词都能生成一个更加丰富详细的对应版本。

二、严格的质量控制体系

数据质量控制是整个项目最关键的环节，研究团队在这方面采用了极其严格的标准。他们建立了一套多层次的筛选机制，就像品酒师品鉴美酒一样仔细。

首先是去重处理。由于AI生成的提示词往往存在大量重复，研究团队采用了语义去重的方法，而非简单的字面匹配。他们使用all-MiniLM-L6-v2句子编码器将每个提示词转换为384维的向量表示，然后通过计算余弦相似度来识别语义相近的提示词。当两个提示词的相似度超过0.8时，就会被判定为重复。这种方法能够识别出那些表达方式不同但意思相同的提示词，比如"红色汽车停在路边"和"一辆红色轿车停靠在街道旁"会被正确识别为重复内容。

内容安全检查是另一个重要环节。研究团队使用LLaMA-Guard-3-8B模型对所有提示词进行安全性审查，过滤掉可能涉及暴力犯罪、儿童性剥削、隐私侵犯等不当内容的提示词。同时，他们还设置了长度限制，超过150个单词的提示词会被自动过滤，确保提示词的实用性。

属性一致性检查则确保生成的提示词与预设的风格和类别属性保持一致。研究团队使用Qwen3-VL-8B-Instruct模型作为属性验证器，检查每个提示词是否真正符合其标记的风格和类别。比如，标记为"未来主义风格"的提示词确实应该包含科技感和未来感的元素，而不是传统的田园风光描述。

在图像生成环节，研究团队选择了当时最先进的开源生成模型Z-Image和FLUX2。这两个模型在图像质量和文本对齐方面都表现出色，远超早期的FLUX、GPT-4o、MidJourney等模型。为了获得最佳效果，他们为每个提示词生成1-3张候选图像，然后使用Aesthetic Predictor V2.5评分系统选择质量最高的一张。

最严格的筛选步骤是文本-图像对的质量验证。研究团队发现，现有的自动化评估指标如HPSv2和HPSv3虽然有用，但对于构建生产级别的训练数据集来说还不够严格。这些指标经常会遗漏细微的不匹配问题，也无法检测到常见的图像生成缺陷。因此，他们决定使用具有推理能力的视觉语言模型进行人工智能辅助的精细化验证。

这个验证过程就像聘请了一位极其严格的艺术品鉴定专家。模型会仔细检查每一个细节：图像中是否包含了提示词要求的所有元素，物体数量是否正确，颜色和材质是否匹配，空间关系是否合理，是否存在解剖学错误（如多余的手指或扭曲的肢体），是否有图像伪影或水印等问题。只有完全通过这些严格检查的图像才会被保留在最终数据集中。

这种严格的质量控制导致了惊人的淘汰率：超过95%的初始候选数据被过滤掉了。虽然这意味着大量的计算资源投入，但也确保了最终数据集的极高质量。经过所有筛选步骤后，合成数据集包含了614万多张高质量图像。

三、精心策划的真实图像收集

除了合成数据，研究团队还收集了一套精心筛选的真实图像数据集。这部分数据的作用就像在美食中加入天然调料，为整个数据集增添真实世界的丰富性和多样性。

真实图像的来源主要是三个创作者驱动的平台：Pexels、Pixabay和Unsplash-Lite。这些平台的特点是汇聚了大量专业摄影师和创作者的作品，而且这些作品都在开放许可证下分享，可以合法使用。选择这些平台的原因很简单：这些图像已经经过了人类创作者的审美判断，具有天然的高质量基础。

然而，仅仅来自优质平台还不够，研究团队对这些真实图像施加了更加严格的质量标准。他们使用Aesthetic Predictor V2.5对所有图像进行评分，只保留评分在6.5以上的图像，这个标准比合成图像的5.5分标准还要高。这种差异化处理反映了研究团队的策略思考：真实图像数量相对较少，因此可以设置更高的质量门槛，而合成图像需要保持一定的规模，因此采用相对宽松但仍然很高的标准。

为了让这些真实图像能够用于文本条件训练，研究团队使用微调过的Qwen2.5-VL-7B模型为每张图像生成描述文本。与合成数据类似，他们为每张图像生成了两种版本的描述：简短的初始描述和经过增强的详细描述。这种双版本设计反映了实际使用场景中的多样性——有些用户喜欢简洁明了的指令，有些用户则偏好详细具体的描述。

经过所有筛选步骤，真实图像数据集最终包含了168,424张高质量图像。其中，Pexels贡献了117,389张（保留率50.3%），Unsplash-Lite贡献了18,381张（保留率73.6%），Pixabay贡献了32,654张（保留率20.0%）。不同平台的保留率差异反映了平台本身的内容质量分布特征。

四、前所未有的数据集规模和多样性

经过精心构建，Fine-T2I数据集达到了前所未有的规模和质量水平。整个数据集包含超过600万个文本-图像对，占用约2TB的存储空间，这个规模已经接近预训练数据集的水平，但保持着专门针对精调的质量标准。

数据集的多样性体现在多个维度。在图像分辨率方面，数据集包含了从768×768到2560×2560等多种分辨率，以及各种宽高比，包括方形、横向和纵向布局。这种多样性确保了模型能够适应不同的实际应用场景，而不是局限于单一的512×512格式。

在内容类别分布上，数据集实现了既符合实际需求又保持多样性的平衡。人物相关内容（37.9%）和自然景观（27.8%）占据主要比重，反映了用户最常见的生成需求。文本渲染（17.4%）和设计元素（10.6%）提供了对指令敏感和布局复杂场景的覆盖，而稀有案例（6.3%）确保了长尾场景的支持。

风格多样性也得到了充分保证。通用摄影风格占20%，为最大比重，其次是各种艺术风格，包括动漫风格（11%）、卡通插图风格（9%）、图形设计风格（13%）、传统艺术风格（10%）等。这种分布确保了模型既能生成逼真的照片效果，也能创作各种风格化的艺术作品。

任务复杂度分析显示，63.1%的提示词对应单一任务指令，36.9%涉及多任务组合。多任务组合包括颜色控制、计数要求、位置安排、逻辑推理等各种组合，这些复杂指令对于训练模型的指令理解和执行能力至关重要。

五、严格的性能验证和比较评估

为了验证Fine-T2I数据集的有效性，研究团队进行了全面的实验验证。他们选择了两个代表性的模型架构：扩散模型SD-XL和自回归模型LlamaGen，这两个模型代表了当前文本生成图像技术的两大主要路线。

实验设计遵循了严格的对照原则。研究团队从公开发布的预训练检查点开始，使用Fine-T2I数据集进行继续训练。对于SD-XL，他们采用LoRA适配器进行轻量级训练，批大小为8，学习率为1×10??。对于LlamaGen，他们进行全模型微调，批大小为24，学习率为3×10??。两个模型都训练了大约1个epoch，以避免过拟合。

评估方法的选择特别值得关注。研究团队认识到，现有的自动化基准测试（如GenEval和T2I-CompBench）在覆盖范围和人类偏好对齐方面存在局限性，特别是在评估美学质量、风格保真度和细粒度指令遵循方面。因此，他们构建了一个更加贴近实际使用场景的评估套件。

评估数据来源于Artificial Analysis Image Arena排行榜的500个公开提示词。这些提示词涵盖了用户在实际使用中的各种需求，从简单的物体描述到复杂的场景构建，从风格指定到情感表达。使用这些"野生"提示词进行评估能够更真实地反映模型在实际应用中的表现。

人类评估采用了大规模的偏好比较方法。评估者需要在使用Fine-T2I训练的模型生成的图像和未经该数据集训练的基线模型生成的图像之间进行选择，评估维度包括文本-图像对齐度和整体视觉质量。为了确保评估的客观性，研究团队使用了随机化的展示顺序，评估者不知道哪张图像来自哪个模型。

实验结果令人印象深刻。在LlamaGen模型上，使用Fine-T2I训练后的模型在视觉质量方面获得了80.7%的胜率，在文本-图像对齐方面获得了65.3%的胜率。SD-XL模型同样显示出显著改进，在视觉质量方面获得52.1%的胜率，在文本-图像对齐方面获得64.2%的胜率。

这些结果表明，Fine-T2I数据集能够为不同架构的模型带来一致的性能提升。更重要的是，改进不仅体现在单一指标上，而是在视觉质量和指令遵循两个关键维度上都有显著提升。

为了进一步验证数据集的优势，研究团队还与其他公开的微调数据集进行了对比。他们使用相同的LlamaGen模型分别在T2I-2M、BLIP3o-60k和Fine-T2I上进行训练，然后进行三方比较评估。结果显示，在文本对齐方面，Fine-T2I达到38.3%的胜率，而BLIP3o-60k和T2I-2M分别只有28.4%和33.3%。在视觉质量方面，Fine-T2I的优势更加明显，达到49.6%的胜率，远超其他两个数据集的29.5%和21.3%。

六、深度质量分析和美学评估

为了更深入地理解Fine-T2I数据集的特征，研究团队进行了详细的质量分析。美学评分分析显示，数据集确实达到了预期的高质量标准。

在合成数据部分，36.64%的图像获得了5.5-6.0分的美学评分，35.70%获得了6.0-6.5分，还有相当比例的图像达到了更高分数。这种分布反映了生成模型的特点：虽然存在一定变异性，但整体质量保持在很高水平。

真实图像数据集的美学评分分布更加集中在高分区间。63.21%的图像获得了6.5-7.0分，28.71%获得了6.0-6.5分。这种集中度反映了研究团队对真实图像采用的更严格筛选标准以及专业摄影师作品的高质量基础。

两种数据来源的互补性也很明显。真实图像数据集提供了稳定的高美学标准，确保了数据集的质量下限，而合成数据集则提供了大规模的多样性指导，覆盖了各种风格和场景需求。

提示词长度分析揭示了数据集在指令复杂度方面的特征。原始提示词通常较短，大多在50词以内，符合用户的实际使用习惯。经过增强的提示词则显著更长，提供了更丰富的细节描述。这种双版本设计使得模型既能处理简洁的用户输入，也能从详细的指令中学习更精确的控制能力。

分辨率多样性分析显示，数据集真正实现了现代应用的需求。与许多现有数据集局限于512×512或1024×1024的固定分辨率不同，Fine-T2I包含了从768×768到2560×2560的各种分辨率，以及广泛的宽高比选择。这种多样性确保了训练出的模型能够适应不同的实际应用场景，从社交媒体的方形图像到横幅广告的宽屏格式。

七、突破性的开放性和可访问性

Fine-T2I项目最重要的贡献之一是其完全开放的特性。研究团队将整个数据集在开放许可证下发布，任何研究者或开发者都可以自由使用、修改和分发。这种开放性打破了高质量训练数据被少数大型企业垄断的局面。

开放性不仅体现在数据本身，还包括完整的构建流程。研究团队详细公开了从提示词生成、质量筛选到最终数据整理的每一个步骤，使得其他研究团队能够复现这个过程，甚至在此基础上进一步改进。这种透明度对于推动整个领域的发展具有重要意义。

数据集的发布还包括了详细的使用文档和示例代码，降低了使用门槛。研究团队在Hugging Face平台上提供了便捷的访问接口，用户可以轻松下载和使用数据集。同时，他们还创建了一个交互式的探索界面，让用户能够直观地浏览数据集的内容和质量。

为了确保数据集的长期可用性和持续改进，研究团队建立了社区反馈机制。用户可以报告发现的问题或提出改进建议，研究团队承诺会持续维护和更新数据集。这种社区驱动的改进模式有助于数据集质量的持续提升。

八、广泛的应用前景和影响

Fine-T2I数据集的发布对文本生成图像领域具有深远影响。首先，它为开放社区提供了与商业级别数据集相当的训练资源，有助于缩小开源模型与商业模型之间的性能差距。

在教育领域，Fine-T2I为研究生和本科生提供了学习和实践文本生成图像技术的优质资源。学生们不再需要费力收集和清理数据，可以直接专注于算法创新和模型改进。这种便利性有助于培养更多该领域的人才。

对于初创公司和中小型研发团队，Fine-T2I降低了进入文本生成图像领域的门槛。他们不需要投入大量资源来构建专有数据集，可以基于Fine-T2I快速开发原型和产品。这种民主化的数据访问有助于促进创新和竞争。

在学术研究方面，Fine-T2I为各种研究方向提供了统一的基准数据集。研究者们可以在相同的数据基础上比较不同算法的性能，提高研究结果的可比性和可重复性。这对于推动领域的科学发展具有重要意义。

数据集的高质量和多样性还为探索新的应用场景提供了可能。比如，研究者可以利用其中的文本渲染数据来改进AI在图形设计中的应用，或者使用多样的风格数据来开发更好的风格迁移算法。

九、技术挑战的创新解决方案

在构建Fine-T2I的过程中，研究团队遇到了许多技术挑战，他们的解决方案为该领域提供了有价值的经验。

提示词重复性问题是其中一个主要挑战。AI模型在生成提示词时经常产生高度相似的输出，即使设置了不同的随机种子。研究团队通过提高采样温度、降低核心采样阈值以及基于属性的条件生成等方法来缓解这个问题，但仍然需要大规模的语义去重处理。他们的经验表明，在使用AI生成训练数据时，去重是一个不可避免的重要步骤。

质量评估的自动化是另一个关键挑战。现有的自动评估指标在构建生产级数据集时显得不够严格，经常遗漏重要的质量问题。研究团队创新性地使用具有推理能力的视觉语言模型进行精细化评估，虽然计算成本较高，但显著提高了质量控制的准确性。

属性一致性控制也是一个复杂问题。生成的提示词不总是能完美反映预设的风格和类别属性，特别是在属性组合复杂或相互矛盾的情况下。研究团队建议将属性作为软性元数据使用，而不是严格的硬约束，这种灵活性平衡了控制性和实用性。

美学评估的主观性问题同样值得关注。随着文本生成图像技术的发展，人们对"高质量"图像的标准也在不断变化。从早期偏好风格化、艺术性的生成结果，到现在更青睐逼真、自然的照片效果，这种趋势变化影响了美学评分模型的准确性。研究团队认为，未来需要开发更能反映当前人类偏好的评估方法。

说到底，Fine-T2I项目不仅仅是一个数据集，更是对开放科学理念的实践。在人工智能快速发展的今天，数据已经成为决定技术能力上限的关键因素。通过提供这样一个大规模、高质量、完全开放的数据集，东北大学的研究团队为整个开放社区注入了强大的动力。

这项工作的意义远超技术层面。它体现了知识共享和协作创新的价值，证明了学术机构在推动技术民主化方面可以发挥的重要作用。当越来越多的高质量资源被开放共享时，整个技术生态系统都会受益，创新的门槛会降低，竞争会更加公平，最终受益的是整个人类社会。

Fine-T2I的成功发布也为其他研究团队提供了启发。它展示了如何在资源有限的情况下，通过精心的设计和严格的执行，创造出具有重大影响力的研究成果。这种模式值得更多研究机构借鉴和推广。

随着Fine-T2I在开放社区的广泛应用，我们有理由期待，文本生成图像技术将迎来一个更加开放、多元和创新的发展阶段。这不仅会促进技术本身的进步，也会催生更多有趣、有用的应用，让这项令人惊叹的技术真正造福于更广大的用户群体。

Q&A

Q1：Fine-T2I数据集与现有的文本生成图像训练数据集相比有什么优势？

A：Fine-T2I数据集在规模、质量和开放性方面都有显著优势。它包含超过600万个高质量文本-图像对，支持多种分辨率和宽高比，经过了极其严格的质量筛选（淘汰率超过95%），而且完全开放免费使用。相比之下，现有开放数据集要么规模较小，要么质量不高，要么分辨率有限。

Q2：普通开发者如何使用Fine-T2I数据集训练自己的文本生成图像模型？

A：开发者可以通过Hugging Face平台直接下载Fine-T2I数据集，研究团队提供了完整的使用文档和示例代码。数据集包含了合成图像和真实图像两部分，每张图像都有原始版本和增强版本的文本描述，开发者可以根据自己的需求选择使用。建议先从较小规模开始实验，然后逐步扩大训练规模。

Q3：Fine-T2I数据集的发布会对文本生成图像行业产生什么影响？

A：Fine-T2I的发布将显著降低进入文本生成图像领域的门槛，帮助开源模型缩小与商业模型的性能差距。这将促进更多创新和竞争，推动整个行业的技术进步。对于初创公司、学术研究机构和个人开发者来说，这意味着他们可以更容易地开发出高质量的文本生成图像应用。