一张商业海报,对设计师来说可能是半天工作;但对百万中小商家而言,却是一道真实的经营鸿沟。外包一张专业海报少则数百、多则数千元;临时促销要求分钟级交付,传统设计流程却要1到3天;好不容易批量生产出来,质量又参差不齐——来自美团智能创作团队的观察显示,这种"创意贫富差距"正在成为本地生活商家日常运营的隐性成本。
过去两年,该团队围绕这一问题构建了覆盖"能生成、能编辑、能评判"的完整技术体系。三项核心工作已产出一系列顶级学术会议论文,并全部开源,同时在美团外卖套餐图生成、品牌IP袋鼠团团、点评信息流治理等真实业务场景完成落地。
![]()
这三项工作的核心突破分别指向海报生成的三个关键瓶颈。首先是端到端高美感海报生成方案PosterCraft,该工作摒弃了传统模块化流水线——即先由视觉语言模型规划布局、再将文字叠加到单独生成背景上的做法——转而采用四阶段级联优化工作流,让模型端到端地协同优化文字、视觉和版式。这一方案在文字渲染准确率上接近Top级别的闭源商业系统,其相关论文已被ICLR 2026接收。
具体而言,PosterCraft的训练流程从大规模文字渲染优化起步,基于200万样本的Text-Render-2M数据集通过Flow Matching微调,显著提升文字渲染准确率,解决基础模型常见的文字缺失、重复和错误问题。随后进入高质量海报微调阶段,经多级管线筛选超过10万张高质量海报构成HQ-Poster-100K数据集,并引入区域感知校准机制,对非文字区域、主要文字区域和次要文字区域实施差异化加权。第三阶段利用6000个高质量偏好对进行Best-of-N偏好优化(DPO),让模型学习色彩和谐、版式平衡等高阶美学偏好。第四阶段则构建Poster-Reflect-120K数据集,由Gemini选择最优生成结果并输出结构化反馈建议。
第二项工作是面向多任务统一编辑的PosterOmni,其核心价值在于用单一模型覆盖扩图、补全、比例调整、风格迁移等六类设计任务。在真实设计需求中,局部编辑与全局创作往往交替出现,PosterOmni的设计定位是成为更接近"基于参考稿工作的智能设计助手",该工作相关论文已被CVPR 2026接收。
第三项工作PosterReward则是首个专门面向海报质量评估的奖励模型。现有图像质量指标如FID、IS等无法捕捉海报特有的排版质量、文字准确性和设计规范性,而人工评估成本高昂。PosterReward在专项评测基准上达到86%准确率,远超现有基线,既作为RL奖励信号驱动生成模型持续进化,也承担工业化生产的质检把关角色。该工作论文同样被CVPR 2026接收。
三项工作构成一个持续自我进化的技术闭环:评估驱动生成优化,生成拓展编辑边界,编辑反哺评估标准。团队表示,相关代码已全部开源于MeiGen-AI仓库。在业务侧,这套从"能生成"到"能编辑"再到"能评判"的体系,正在解决一个更根本的问题:当数百万商家需要分钟级产出商业可用的海报时,单纯"生成一张看起来还行的图"远远不够,必须在精准文字渲染、和谐版式布局、统一美学风格和可量化质量评估之间找到平衡点。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.