网易首页 > 网易号 > 正文 申请入驻

近4000条提示词测下来,AI画架构图错在哪

0
分享至

一支由软件架构师组成的小团队,把近4000条全新提示词喂给自家的AI架构图工具,得到约7700张评分图表,覆盖全部18种图表类型。结果:95%到100%的图表没有实质错误,每一张都能在屏幕上画出来。但团队自己说,走到这一步的过程"很让人谦卑"。

他们做的是CloudSketch AI,一款把自然语言描述转成架构图的工具。动手之前,团队只有一个担心:不是慢,不是丑,而是"自信地画错"。演示里每个AI画图工具都好看,你输入惯用的五条提示词,出来五张漂亮的图。麻烦从第37条提示词开始——德国的一套薪资系统、马哈拉施特拉邦的一个农场、带热修复和三个发布分支的Git工作流。他们想看的正是这里。

测试怎么设的

每种图表类型写40条从未见过的提示词,然后封存。一组只跑一次,之后只要改了任何代码,这组就不再算数,必须重写一组。这条规则让他们搭进去很多个晚上,也是他们相信这些数字的唯一理由。

提示词的地区配比是刻意的:每组10条设在印度,20条在世界其他地区,10条不带国家。其他地区权重翻倍,因为那是他们最弱的地方。AI评审把每张图判为通过、偏弱或失败,"无实质错误"指通过或偏弱,同时始终并列报告只算通过的严格分。每张图还要在真实浏览器里用网站同款Mermaid版本渲染,画不出来就算失败,文字再聪明也没用。一种类型要两组新提示词在同一份代码上都拿到95%以上才算过关,一次侥幸不算数。

三种读者,三档细节

同一套系统,走进不同会议室需要不同的图。每张图可以写给三类人看:

  • 技术版:给工程师,真实组件名、协议、端口一应俱全
  • 管理者版:大白话,发生什么、谁来做、哪里会出错
  • 投资者版:价值与流向,钱和客户往哪走

细节还分三档:极详细档展示全部,标准档保留主路径,高管档只给CEO看大图——他大概还是会要求字号再大点。AI只写完整那张图,两个更小的档位由普通代码裁剪出来,所以彼此永远一致,切换不花成本。

测试覆盖范围也说清楚了:每条提示词跑两次,一次技术版、一次管理者版,每组共80张图。评审打的是完整图,也就是极详细档。投资者版和标准、高管两档在这些组里没有单独评分,是下一步的事。

哪里崩了

早期分数看着健康,直到有人手工打开几张图,发现有些根本没渲染出来。评审读的是代码,对此一无所知。那个下午很糟糕。从那以后,每次运行结束都要在浏览器里把每张图画一遍,空白即失败,没有例外。

Mermaid有AI不知道的硬规则。一天之内他们撞上三个:桑基图拒绝任何非纯ASCII字符,名字里一个卢比符号,图就什么都不显示;多系列柱状图会把柱子叠在一起且不显示图例;Git图拒绝不可能的步骤,比如把分支合并进自己。模型无从知晓这些,现在都在代码里提前修掉。

提示词里的例子会被照抄。甘特图说明里曾写"例如住房项目的RERA审批",很快RERA就出现在跟住房毫无关系的计划里。UPI出现在客户旅程图、双向箭头出现在网络图,也是同样的道理。现在他们只写规则,不写例子。

过了94%之后,代码比更多文字管用。网络图、泳道图、桑基图、图表和Git图最后那几分,从来不是靠更好的提示词拿到的,每多一条指令只是把错误挪到别处。真正有效的是小而无聊的代码:没有跳过防火墙的连线,每一步都在泳道内,流量数字真的加得起来。

评审自己也会错。它误读过用例图的箭头方向,也数错过甘特图日期。所以凡是代码能测量的事实——日期、总数、时长——他们自己测,再把数字交给评审。

印度以外的提示词几乎是每组最弱的部分。单位、法规、本地名称,这些小东西把模型绊倒,新组里因此放了两倍。

还有些错误跟画图无关,是知识问题。项目计划的甘特图轻松通过,作物季节和节日的计划却一直失败:模型根本不知道收成到底什么时候发生,也不知道什么必须等它结束。这没法靠更好的布局解决,所以甘特图只对项目计划作承诺,其余标为beta。

本周还有个小插曲:一张薪资图把SQL Server连接标成了"TDS/TCS"。TDS是数据库协议,TCS是印度的一种税。模型看到"薪资"和"税",好心地混在了一起。现在这也成了一条代码规则。

他们不声称什么

这是自家测试,由AI评分,没有独立第三方核查,请就当它是一份内部的、AI评分的测试来看。"无实质错误"不等于完美:严格分从77.5%到97.5%,偏弱的图能用,但放到客户面前之前仍值得看一眼。有些类型只是勉强过线——流程图、状态图、泳道图、优先级图、桑基图和Git图都是以很小的差距越过95%。投资者版和更小的细节档还没有单独评分。

你的提示词也不是他们的提示词。测试集只是样本。团队的建议是:拿一套你烂熟于心的系统去描述,在技术、管理者、投资者三个视图和高管、标准、极详细三档之间切换,对照你知道的事实检查。模板库里的每张图都展示了生成它的原始提示词。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
吃相难看!港媒曝霍启山喜讯不到3小时,荒唐事发生,还不止一件

吃相难看!港媒曝霍启山喜讯不到3小时,荒唐事发生,还不止一件

手工制作阿歼
2026-11-12 12:41:20
直到看到张萌对她翻白眼,才懂为何1年上5次春晚也没红,越扒越有

直到看到张萌对她翻白眼,才懂为何1年上5次春晚也没红,越扒越有

不写散文诗
2026-11-11 17:17:56
卖掉荣耀6年,华为又生了个亲儿子!

卖掉荣耀6年,华为又生了个亲儿子!

牲产队
2026-11-13 00:12:06
赫格塞思遭遇卫兵呵斥,马克龙再次遭遇卫兵接连晕倒

赫格塞思遭遇卫兵呵斥,马克龙再次遭遇卫兵接连晕倒

新民周刊
2026-11-13 09:08:03
WTA总决赛战报:激战165分钟淘汰世界第4高芙,四强已定三席

WTA总决赛战报:激战165分钟淘汰世界第4高芙,四强已定三席

浮云过影r
2026-11-13 12:24:44
史上最大GPU盗窃案!英伟达7600万芯片整车蒸发

史上最大GPU盗窃案!英伟达7600万芯片整车蒸发

环球零碳
2026-11-11 21:38:08
“真是个该死的失败者”!萨巴伦卡的困局到底是什么?

“真是个该死的失败者”!萨巴伦卡的困局到底是什么?

全网球APP
2026-11-13 22:11:56
中国公民请远离!我使馆紧急提醒

中国公民请远离!我使馆紧急提醒

极目新闻
2026-11-12 19:58:14
黄乐朋友圈含金量太高,黄仁勋就成了她的陪衬,配得上爽文大女主

黄乐朋友圈含金量太高,黄仁勋就成了她的陪衬,配得上爽文大女主

皮蛋儿电影
2026-11-11 08:53:20
中国正在失控的商铺空置潮持续蔓延,怎么破解

中国正在失控的商铺空置潮持续蔓延,怎么破解

律法刑道
2026-11-12 09:49:42
100:53!台媒发现不对劲,解放军把台岛裹了三层,赖当局急了!

100:53!台媒发现不对劲,解放军把台岛裹了三层,赖当局急了!

农村黄煮任
2026-11-12 22:01:46
英伟达退出中国市场后,黄仁勋曾叹息:伤害中国,美国受伤更严重

英伟达退出中国市场后,黄仁勋曾叹息:伤害中国,美国受伤更严重

莫地方
2026-11-12 01:25:04
中国空间站迎来首位外籍访客,只待一周就返航

中国空间站迎来首位外籍访客,只待一周就返航

宇宙来信2
2026-11-13 01:10:09
全球最大资产管理集团贝莱德:坐拥15.5万亿美元只有1%投向了中国市场!

全球最大资产管理集团贝莱德:坐拥15.5万亿美元只有1%投向了中国市场!

城事堂
2026-11-12 15:12:38
揭秘:华子为何不做替补席?真相在这

揭秘:华子为何不做替补席?真相在这

体育篮球弟
2026-11-13 03:47:02
冲击生涯300球!意丙联赛迎来“重量级对决”,46岁巨星重返赛场

冲击生涯300球!意丙联赛迎来“重量级对决”,46岁巨星重返赛场

汪星人哟
2026-11-13 19:44:31
4年1.5亿美金!0分+3分+2分!NBA退步最快球星诞生

4年1.5亿美金!0分+3分+2分!NBA退步最快球星诞生

微评体育圈
2026-11-14 00:05:31
重要党刊定调“尊界刹车事件”,震动行业!

重要党刊定调“尊界刹车事件”,震动行业!

互联网品牌官
2026-11-11 16:16:48
现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

谢鵑解说
2026-10-14 11:39:22
真被马斯克说中?全球争抢的不是芯片,而是中国20万一台的变压器

真被马斯克说中?全球争抢的不是芯片,而是中国20万一台的变压器

小莜读史
2026-11-07 17:58:29
2026-11-14 07:23:00
硅屿手记
硅屿手记
有态度网友ytd
242文章数 85关注度
往期回顾 全部

科技要闻

黄仁勋辞职,马斯克们抱不平!

头条要闻

牛弹琴:黄仁勋黯然辞职 至少释放三重信号

头条要闻

牛弹琴:黄仁勋黯然辞职 至少释放三重信号

体育要闻

28年前的“点球罪人”,把冠军带回大连

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

教育
时尚
家居
本地
数码

教育要闻

中俄教育年独家专访|远东联邦大学副校长详解赴俄留学新趋势

霍启山娜然婚礼将近,豪门新娘妆长什么样?

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

无障碍浏览 进入关怀版