网易首页 > 网易号 > 正文 申请入驻

百度又开源!消费级GPU可跑,文字渲染能力对标Nano Banana

0
分享至


智东西
作者 陈佳
编辑 程茜

智东西4月15日报道,今日,百度文心大模型团队正式开源文生图模型ERNIE-Image,其参数规模仅8B,可在显存24GB的消费级GPU上运行。该模型在GenEval、OneIG等多项国际基准上综合得分位居开源模型第一,尤其在文字渲染能力上,与Nano Banana等商业闭源模型同处第一梯队。

同步开源的还有ERNIE-Image-Turbo版本,其推理步数从标准版的50步压缩至8步。


两款模型的权重与推理代码已全部上传至Hugging Face,遵循Apache 2.0协议,ComfyUI工作流模板也已同步上线,开源量化方案由模型加速工具链Unsloth合作提供GGUF格式支持。

ERNIE-Image采用单流DiT架构,并内置提示词增强(Prompt Enhancer)模块,可将简短输入自动扩展为结构化描述再进行生成,提升指令理解与细节控制能力。


▲百度ERNIE-Image开源代码仓库页面,并已获得78颗星(图源:GitHub)

智东西用六组提示词对该模型Turbo版本进行了实测,从实际体验来看,ERNIE-Image-Turbo在处理复杂画面时表现稳定,比如多物体按照提示词要求摆放、图表生成、光影效果这些的任务基本都能做到位,但涉及复杂文字、多语言内容或人物关系这种更精细的要求,就容易出现写错字或理解偏差的问题。

技术Blog:https://ernie.baidu.com/blog/zh/posts/ernie-image/

体验平台:https://aistudio.baidu.com/ernieimage

Hugging Face:
https://huggingface.co/baidu/ERNIE-Image
https://huggingface.co/baidu/ERNIE-Image-Turbo

一、六组高难Prompt实测,多主体与图表生成表现良好

我们用六组提示词对ERNIE-Image-Turbo做了测试,覆盖高密度多语言文字渲染、多语言混排、漫画分镜叙事、数据图表生成、多主体空间控制和光影人像六个维度。六组全部单次生成,未经重试筛选,所有图均为原图直出。

整体感受是,该模型多主体空间关系控制、数据图表生成和光影细节还原这几项能力表现不错,但碰到高复杂度文字渲染,踩坑比预期要明显。

1、生僻汉字渲染,“鬱”字没能过关

第一组想看的是,这个模型能不能在图像里准确写出笔画复杂的生僻字,尤其是形近字。

该模型在宣纸水墨背景、楷体风格与红色 “文心” 印章这些视觉氛围营造上均还原到位。

但在文字精确生成上存在明显失误,我们指定的第一行是“鬱鬱蔥蔥”(yù yù cōng cōng),生成出来变成了“糲糲萬蕙”,完全不是同一个字。第三行的生僻字“赢麟龑靐”(yíng lín yǎn bìng),生成结果是“赢麟頃䫧”,“龑”和“靐”这两个高复杂度字直接被换掉了。三行里只有第二行“薛蟠贾雨村”字形结构没有问题。


2、中英日韩四语混排,英文丢了个字母

中英日韩四语混排测试里,整体呈现和提示词要求基本对得上,版式、风格没什么大问题。但仔细看会发现,第二行的“Knowledge”明显少写了一个字母“e”,第四行的韩文也和指定的“지식에는 경계가 없다”有出入。


我们随后加大了难度,要求该模型把四种语言以极小字号清晰呈现、笔画无锯齿、严格网格对齐。结果图里出现了乱码、字符变形和内容篡改,多处文字直接无法识别,指定的技术参数和评测数据没有一个完整还原出来。


3、漫画分镜实测,角色搞反了

这一组测试同时考三件事:多面板布局、角色跨格一致性、气泡里的文字渲染。

生成图片的布局和风格表现不错,两行三列的均等分镜结构完整,格间分隔清晰,角色外观在六格之间保持了一致性。但剧情出了岔子,第二格设定的是学生举手提问,气泡内容是“老师,这是什么意思?”,生成出来变成了教授举手,气泡也跟着配在了教授身上,互动主体完全反了。该模型在语义上出了理解偏差。


4、生成数据图表,细节基本准确到位

这一组测的是能不能该模型按指令生成结构严谨的表格和可视化图,数字和标签准不准。

这组表现比预期好。表头“模型名称”“参数量”“GenEval得分”清晰无误,填入的模型名称、8B参数量,以及0.8856、0.8667等具体得分都没有遗漏或改错。右栏条形图的配色规则也严格执行了,橙色高亮ERNIE-Image (w/o PE),蓝色呈现其余模型,Y轴的0.75到0.95区间准确,条形顶部数值标注和表格完全一致。唯一的小瑕疵是X轴第二个模型名称漏掉了“Turbo”。


5、七件物品测多主体空间控制,位置关系对得很准

这组测试要求该模型严格控制七个物品的位置、尺寸、遮挡关系,在一张写实俯拍桌面照里把它们放对地方。

这是六组里最让人满意的一组,七个指定物品全部按要求出现,且核心位置关系没有乱:翻开的精装书在画面正中,左页手写批注“此处存疑”、右页英文印刷句都清晰可读;黑色细框眼镜压在书本左上角;白色陶瓷咖啡杯在书本右侧,心形拉花形态自然;一元人民币硬币在咖啡杯右侧;黄色便利贴贴于书本正下方,手写“deadline:4月20日”内容准确;钢笔放在桌面左下角,笔尖朝向书本,全程无人物入镜。空间逻辑自洽,没有出现物品叠错或位置串行的情况。


6、伦勃朗布光,光影执行到位

最后一组想测的是,在给出高度具体的光影、材质和色彩指令后,该模型会不会自行简化内容。

结果是,该模型严格执行了指令:画面采用伦勃朗布光,主光来自左上方45度角,右侧脸颊的三角形光斑清晰可辨,轮廓规整;右侧完全无补光,仅靠少量环境反光勾出轮廓;背景纯黑,无纹理;肤质写实,毛孔可见,无磨皮痕迹;深色高领毛衣领口处的编织纹理也还原出来了。

二、国际基准评测成绩单,文字渲染在开源模型里拿第一

百度在三个国际公开基准上对ERNIE-Image进行了系统评测,分别是衡量通用图像生成能力的GenEval、覆盖中英文双语场景的OneIG,以及专门测试高密度文字渲染的LongText-Bench。

在衡量通用图像生成能力的GenEval测试中,ERNIE-Image(不启用PE)综合得分为0.8856,在所有参测模型中排名第一,超过Qwen-Image(0.8683)和FLUX.2-klein-9B(0.8481)。


▲GenEval专业文生图模型评测基准(图源:百度ERNIE-Image技术报告)

OneIG英文榜上,ERNIE-Image开启PE后综合得分0.5750,仅次于Nano Banana 2.0(0.5780)和Seedream 4.5(0.5760),位列第三,同时在推理维度单项排名第一(0.3566)。


▲OneIG-EN,评估文生图模型在英文提示词场景下综合生成能力的量化评测体系(图源:百度ERNIE-Image技术报告)

中文榜上,ERNIE-Image开启PE的综合得分为0.5543,同样位列前两名仅次于Nano Banana 2.0,还在多样性维度上跑出了0.2478的最高分。


▲OneIG-ZW,评估文生图模型在中文提示词场景下综合生成能力的量化评测体系(图源:百度ERNIE-Image技术报告)

文字渲染专项LongText-Bench是最能体现ERNIE-Image差异化能力的榜单。英文维度上,ERNIE-Image开启PE得分0.9804,中文维度0.9661,综合均分0.9733,在所有开源模型中排名第一。对比来看,Nano Banana 2.0综合均分0.9650,Qwen-Image为0.9445,Z-Image为0.9355。


▲LongText-Bench,专业文生图长文本评测基准(图源:百度ERNIE-Image技术报告)

三、架构轻量、部署门槛低,8B参数跑进商用模型射程

ERNIE-Image的核心架构是单流Diffusion Transformer(DiT),并内置一个轻量级提示词增强器Prompt Enhancer(PE)模块,负责将用户的简短文字输入自动扩展为更丰富、结构化的详细描述,再送入DiT主干生成图像。

该模型的参数规模仅8B,这在开源文生图领域属于中小体量,但百度称在参数效率优化上做了大量工作,使运行门槛降至24GB显存的消费级GPU,显著低于此前同精度水平模型的部署要求。对照部分大参数开源模型的运行需求,ERNIE-Image这一设计的意义在于,个人创作者和中小团队无需购置专业工作站即可本地部署。

两个模型版本在调用方式上有所区别:标准版ERNIE-Image推理步数为50步,CFG(分类器自由引导)值为4.0;Turbo版由DMD和强化学习联合优化,推理步数降至8步,CFG降至1.0,牺牲少量精度换取速度提升。

在工程部署上,百度同时提供了两种集成方案。第一种是通过Hugging Face的diffusers库直接调用,只需几行Python代码即可完成推理;第二种是通过推理框架SGLang部署服务端,并支持将PE模块单独剥离,用vLLM单独运行以加快提示词扩展速度,DiT主干与PE各占独立端口,适合对延迟敏感的线上场景。此外,AI-Toolkit已支持对ERNIE-Image进行微调训练,为有个性化需求的开发者提供了完整的训练-推理链路。

结语:文生图再进阶,从“能出图”走向“可控生成”

如果把文生图模型的发展拆开看,过去一段时间的进步主要集中在“画得更像”,但在复杂结构控制、规则执行和文本表达上一直不稳定。

此次ERNIE-Image的实测结果显示,多主体位置关系、图表结构、分镜布局和光影条件这类“强约束任务”已经可以较稳定完成。未来,谁能先解决文本与语义一致性问题,谁才更有可能真正进入设计、内容生产等高要求场景。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
被要求补缴社保,老板在店门口滚屏抱怨,“选择员工需谨慎”

被要求补缴社保,老板在店门口滚屏抱怨,“选择员工需谨慎”

中国新闻周刊
2026-09-04 09:47:35
251斤女生减重121斤判若两人,用两年多时间"减掉半个自己”,起因是可能面临糖尿病风险,曾被电影《热辣滚烫》震撼;4个方法教你科学减肥

251斤女生减重121斤判若两人,用两年多时间"减掉半个自己”,起因是可能面临糖尿病风险,曾被电影《热辣滚烫》震撼;4个方法教你科学减肥

大风新闻
2026-09-03 22:33:31
付磊教授和曾梦琪教授的同框合影曝光!两人相差12岁,几乎看不出年龄差,网友:从长相上说,男方有点吃亏

付磊教授和曾梦琪教授的同框合影曝光!两人相差12岁,几乎看不出年龄差,网友:从长相上说,男方有点吃亏

火山詩话
2026-09-04 07:58:24
7分钟100公里6000多条命!尼泊尔的未来被锁死了

7分钟100公里6000多条命!尼泊尔的未来被锁死了

鲁八两
2026-09-03 17:43:56
杭州知名炒货店老板方林富去世,享年56岁,亲力亲为开炒货店37年,住院期间还千叮万嘱“店不能关”,大家称他:本土炒货界的守夜人

杭州知名炒货店老板方林富去世,享年56岁,亲力亲为开炒货店37年,住院期间还千叮万嘱“店不能关”,大家称他:本土炒货界的守夜人

都市快报橙柿互动
2026-09-03 21:55:54
男子自驾撞上羊群致53只羊死伤,赔偿8.48万元后羊却归羊主人所有,律师解读:赔了钱,羊为什么不能带走?

男子自驾撞上羊群致53只羊死伤,赔偿8.48万元后羊却归羊主人所有,律师解读:赔了钱,羊为什么不能带走?

上观新闻
2026-09-04 06:23:48
又是武大!导师和学生搞权色交易,被亲生女儿举报

又是武大!导师和学生搞权色交易,被亲生女儿举报

平老师666
2026-09-03 22:45:21
郭富城这次脸丢到全港!方媛时装展端到脚抖,网友:装得累不累

郭富城这次脸丢到全港!方媛时装展端到脚抖,网友:装得累不累

再战五百回合
2026-09-03 22:42:53
遗憾!穆氏皇马巨星贝林厄姆错失西甲8月最佳!获奖的竟然是他!

遗憾!穆氏皇马巨星贝林厄姆错失西甲8月最佳!获奖的竟然是他!

福酱的小时光
2026-09-04 07:57:04
欧盟中国委员会发声:希望实行12小时两班倒的企业全部倒闭

欧盟中国委员会发声:希望实行12小时两班倒的企业全部倒闭

回京历史梦
2026-09-04 09:13:41
两天票房为零,著名戏骨助力也没用,九月刚开始最惨电影就诞生了

两天票房为零,著名戏骨助力也没用,九月刚开始最惨电影就诞生了

影视高原说
2026-09-02 13:04:17
韩方拒换涉台标牌,中方开幕前断然撤展,想凭道歉了事已不可能了

韩方拒换涉台标牌,中方开幕前断然撤展,想凭道歉了事已不可能了

军情观察家
2026-09-03 18:21:54
人社局通报!星宇股份道歉才1天,又被重创,上市15年恐也得凉

人社局通报!星宇股份道歉才1天,又被重创,上市15年恐也得凉

知法而形
2026-09-04 07:49:35
胡锡进再回孙宇晨:希望3年后你我都还在|代笔

胡锡进再回孙宇晨:希望3年后你我都还在|代笔

小小河
2026-09-04 02:23:45
普京一点弯路都不想走了!直接公开向中国喊话:只要中方点头

普京一点弯路都不想走了!直接公开向中国喊话:只要中方点头

果妈聊娱乐
2026-09-04 08:19:54
亚运会中国体育代表团名单公布 36名奥运冠军领衔出战

亚运会中国体育代表团名单公布 36名奥运冠军领衔出战

新京报
2026-09-04 11:00:04
一月捐人疑吐槽韩红基金会!停捐后立马被电话追问原因,平时一个电话都没

一月捐人疑吐槽韩红基金会!停捐后立马被电话追问原因,平时一个电话都没

小徐讲八卦
2026-09-04 07:32:44
累计534万!武汉大学教授付某还挺有钱的:一页家庭资产的手稿,现金有125万,车子价值69万,房子有4套,网友认为严重低估了

累计534万!武汉大学教授付某还挺有钱的:一页家庭资产的手稿,现金有125万,车子价值69万,房子有4套,网友认为严重低估了

火山詩话
2026-09-04 07:37:30
杀害在韩中国留学生嫌疑人被移送检方,作案动机初步披露

杀害在韩中国留学生嫌疑人被移送检方,作案动机初步披露

界面新闻
2026-09-04 10:10:22
尼泊尔上百公斤巨鱼因泥石流冲到印度,当地居民争相捕捞,有食用者呕吐腹泻呼吸困难,政府告诫不要吃

尼泊尔上百公斤巨鱼因泥石流冲到印度,当地居民争相捕捞,有食用者呕吐腹泻呼吸困难,政府告诫不要吃

极目新闻
2026-09-03 17:18:56
2026-09-04 11:23:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12547文章数 117166关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

尼泊尔泥石流致1290死 民众拍下山洪吞没山谷建筑过程

头条要闻

尼泊尔泥石流致1290死 民众拍下山洪吞没山谷建筑过程

体育要闻

梅西:巴萨10号与阿根廷10号

娱乐要闻

王宝强冯清八年未领证!真相令人泪目

财经要闻

电池税开征,纯电车利润快归零了

汽车要闻

30.99-39.99万 价格够狠、配置够满、豪华够硬 奇瑞捷豹路虎神行者8上市即爆单

态度原创

健康
教育
亲子
房产
军事航空

脑梗能否取栓,关键看这几点!

教育要闻

天府新区开学收心指南:家长现在做这7件事,娃开学不慌

亲子要闻

女性生育力为什么会随年龄下降?Nature Aging研究:卵巢衰老既是卵母细胞数量的变化,也是整个卵巢微环境的变化

房产要闻

投资50亿!三亚又一重大配套,方案曝光!

军事要闻

乌特工内战街头对射 互认对方为"俄特工"

无障碍浏览 进入关怀版