网易首页 > 网易号 > 正文 申请入驻

深度评测:PromptPilot,字节跳动的“提示词工厂”

0
分享至

下面的情景是不是有些似曾相识?

当满怀期待地给AI大模型下达指令,比如“帮我分析一下这周的股价走势”。

等待数十秒后,得到了一份空洞无物,只有数据罗列的通用模板,令人大失所望。

转念一想,不应该啊,之前看过的短视频里介绍AI都和点石成金一样:

有的人能用AI在朋友圈、小红书和微博上追逐时尚潮流生成爆款文案;

有的人能用AI生成胜过资深程序员编写的高质量代码;

有的人能让AI充当各领域内的行业专家,随随便便来一份分析报告都不在话下;

同样是AI,天差地别的结果。

不同的AI大模型之间能力存在差距,这是事实。

但造成这一差异的更为主要的原因在于,使用AI的方法,也就是提问的方式。

我们注意到,为了降低使用门槛,加速AI大模型应用普及,各大厂也在“提示词工程”上下大心思。PromptPilot,便是字节系的大模型提示词解决方案平台。

以其为样本,本文将就“提示词工程”与字节系的“提示词工厂”,一探究竟。

01 提示词的演进过程

人与AI沟通的媒介,即为提示词(Prompt)。

有人会问:“写Prompt不就是打字提问吗?”

非也,这是一门学问。

这门学问在AI诞生至今的短短几年内,已经经历了从“远古时代”到“现代”的飞速进化。

简单了解一下提示词的发展路径,或许能够帮助理解为什么我们需要更“工程化”的思维。

Stage.1 “魔法咒语”时代

这是最早期的阶段,但也是大多数人目前所处的阶段。

使用AI大模型和使用搜索引擎的方法并无两样,就像最初大家在使用GPT3.5时,只需要随意抛出问题,就可以把AI当作百科全书使用。

这个阶段的提示词特点也很鲜明,“一问一答,简单直接”。

当然,使用效果也有些靠运气。对于一些需要思考、推理或创意的任务,AI的回答时而惊艳,时而平庸。

Stage.2 “启蒙与引导”时代

此后,AI的发展速度远超人们的想象。

研究者和“高级玩家”们发现,AI就像一个孩子,直接下命令,它有时根本听不懂。

但如果给AI一些适当的提示和引导,有助于孩子的成长,最终得到更好的结果。

在这一阶段,诞生了两种里程碑式的AI使用方式:

一是示例学习:在向AI正式发文之前,先给出范例,让AI进行模仿;

二是思维链路:不是直接生成最终答案,而是像做中学数学题一样,必须把过程写清楚,最后给出解答。思维链路的出现,使AI在计算、推理和逻辑类任务中取得了巨大的飞跃。

因此,这时的AI ,虽然本质上只是一段早已编写好的程序,但它也可以被视为一个可以教导和启发的学生。

Stage.3 “系统化工程”时代

这是我们现在所处的时代。AI产品五花八门,其能力已经达到“逆天”的水平。

简单的小技巧已经无法有效驾驭AI,是时候设计出一套系统化、规范化且可复用的方法来更加有效地利用AI了。

因此,不论是LLM应用开发平台,还是各家厂商最新版本的AI大模型,如果让它们自动生成提示词,都已经不再是零散的指令,而是采用一个包含角色、背景、任务、规则、输出格式和限制等元素的结构化框架。

其目的也很简单,让AI的输出稳定、可控、易于复制。

02 提示词工程

“提示词工程”是什么?

AI给出的回答是:“一门设计和优化提示词的科学,旨在更有效地与大型语言模型进行沟通,从而引导它们生成更准确、更相关、更高质量的输出结果。”

如前文所述,提示词的重要性源于”Garbage In, Garbage Out”原则,AI模型的输出质量直接取决于输入提示词的质量。

优质的提示词,最重要的功能在于有效减少AI出现“幻觉”的概率,使其回答更加贴近现实和用户意图。

同时,提示词有助于发掘AI的“潜力”。相比简单的指令,提示词工程可以让AI实现更多功能,比如编写代码、市场分析、创意生成等更加复杂、更加抽象的任务。

此外,用户还可以对AI的回答添加格式、语气、长度等约束条件,灵活地调整答案的展现形式,同时节约调试时间。

对于编写提示词的方法,Gemini 2.5 Pro给出了名为R.O.L.E.S.的法则,这里选择构建工作流时使用的实例:

R - Role(角色):你希望AI是谁?

这是AI使用者在编写提示词时最容易忽略的一步,因为我们常常上来就直接把问题抛给AI。通过赋予AI一个具体且专业的角色,能够激活它在该领域的知识库,使其回答更具深度和专业性。

例如:

# 角色

你是一个顶级的金融数据分析师,能够解析用户的请求,并为后续的数据库检索程序准备一份精确的数据需求清单。

O - Objective(目标):你想完成什么核心任务?

用户需要清楚地告诉AI最终目的是什么。不要担心语言过于繁琐,AI“听不懂”的是短句,而不是长难句。任务越明确,AI的行动路径就越清晰。

例如:

# 核心任务

你的任务是分析用户关于“谷歌”(别称:Google)的指令"{{query}}"。你的最终输出不是直接回答用户的问题,而是列出为了回答这个问题,必须从我们的财务知识库中检索的**所有基础数据字段**。

L - Limit&Constraint(限制与约束):有哪些规则必须遵守?

AI作为一个自由创作的作家,输出方式向来是不拘一格。要想获得准确的结果,就必须对其加以限制和约束,包括但不仅限于风格、语气、字数、禁止事项等等。

例如:

# 输出要求

- **严格遵循格式**: 严格输出由`键:值`对、逗号`,`和分号`;`组成的字符串。

- **纯净输出**: 不要包含任何前缀、解释、引号、空格或任何其他多余的文字。

- **空处理**: 如果指令与谷歌的财务或市场数据完全无关,输出NO_QUERY`。

E - Examples(示例):有没有可以参考的例子?

如果用户的要求比较复杂或独特(比如某一个细分领域),那么提供给AI一个具体的例子会是比较高效的沟通方式,这有助于让AI迅速理解用户期望的格式和风格,而不是通过多轮对话让AI不断去尝试。

例如:

# 示例

* *用户说*: "谷歌的收入和市值是多少?"

* *你的思考*: 用户直接要“营业收入”和“市值”。这是基础指标。

* *最终输出*: 营业收入,市值

S - Steps(步骤):完成任务需要分几步?

对于较为复杂的任务,就轮到之前提过的“思维链路”出场了。一次把任务灌输给AI通常得不到理想的结果,但如果能引导AI按照步骤思考和执行,就可以大幅提升输出结果的逻辑性和准确性。

例如:

# 步骤

首先判断用户指定的财务指标是否能够从给定的财报中直接获取;若不能获取,再根据计算公式获取相关指标;最后分析该指标的含义。

对于上面这套法则,还有一些需要注意的细节:

第一,提示词的编写并没有严格的规定,上面的五个部分可以按需修改;

第二,给出的例子中可能包含{}、**、<>等符号,这些符号也是提示词工程中的小技巧,每种符号都具有特定的功能,可以把一个纯自然语言的段落转变成一个类似于“程序”的指令集。

03 字节的“提示词工厂”

在明确提示词的编写流程后,就该思考这套方法的实用性了。

很明显,如果按部就班地完成每个步骤,工作量已经接近于写一篇作文。

换个角度来看,我们需要使用提示词让AI完成任务,而写提示词恰好就是一项任务。

因此,我们可以再偷个懒,干脆让AI把提示词也帮着写完得了。

字节在6月推出了一款名为PromptPilot的产品,是面向大模型应用的全链路优化平台。

平台介绍中提到,该产品不仅可以提供精准、专业、可持续迭代的提示词,还可以覆盖大模型开发从构想、开发部署到迭代优化的全过程。

该产品免费试用至2025年9月11日,链接:https://promptpilot.volcengine.com/home

眼见为实,下面我们来试用一下看看效果如何。

主界面UI看上去很简洁,功能主要有三个:Prompt生成、Prompt优化和视觉理解Solution。

由于本篇文章主要讨论提示词相关内容,因此只介绍前两个功能。

图:PromptPilot使用流程图

对于没有提示词编写经验的用户,可以直接在平台上生成结构化的提示词:

图:生成提示词界面

任务描述并不需要太复杂,只要表达清楚就好,也不必担心描述不够精细,后面还可以进行调整。

这是平台生成的初版提示词,虽然尚不完备,可能与用户的详细需求仍然存在差异,但其效果已经远比使用短句给AI下达命令要好。

接下来,需要验证这份提示词的效果究竟如何。点击“验证Prompt”进入调优环节:

图:选择调优模式

PromptPilot提供了两种调优模式,评分模式类似于“简答题”,需要用户填写分数、评价意见(可选)和理想回答(可选),GSB比较模式则类似于“选择题”,需要用户对答案进行比较,并给出Good、Same和Bad的判断。

提示词的重要性我们已经提过很多次,因此更推荐选择评分模式。

图:调优界面

选择评分模式进入调优界面后,需要进行几项设置:

首先,如果用户觉得提示词无法满足需求,可以使用“一键改写Prompt”。

然后,在提示词中可以看到熟悉的标识{{AI_NEWS}},表示这里需要填入相关领域的AI新闻。点击“填写变量”,将新闻内容粘贴进去即可。

PromptPilot还提供了一项很贴心的服务:AI生成变量内容。

也就是说,如果我们并没有足够的新闻,就可以让AI现编一条。这个功能在不需要信息真实性的情况下能帮上大忙,快速构造数据集就靠它了。

不过,我们需要真实新闻才能发布文章,而有些聪明的模型可以识别出虚假的新闻,因此这里还是不要使用AI生成变量内容。

最后,在模型回答窗口中可以自由选择大模型版本,其中DeepSeek和豆包的部分版本免费。

这里,考虑尝试一下豆包的新模型:Doubao-Seed-1.6-Thinking,开启深度思考功能。

完成上述设置后,点击“保存并生成模型回答”,平台会调用选择的模型,按照给定的提示词开始编写文章。生成文章后,需要点击“添加至评测集”。

只靠一篇文章是无法衡量提示词质量的优劣的,因此我们需要更多的数据来进行评判。

图:评测数据集界面

与前面的操作相同,我们需要把新闻粘贴至评测数据集中的AI_NEWS一列。

点击“生成全部回答”,模型开始编写对应的文章。

评分同样可以由AI完成,点击“智能评分”-“AI评分标准”-“生成评分标准”即可获得一套较为详细的评分标准,用户可以在此基础上进行修改或是直接使用。

开启智能评分功能后,AI在文章编写文章后会自动生成评分及理由。需要注意的是,智能评分功能并不完善,经常出现全是满分的情况,而这样的评分对于调优Prompt没有意义。

当然,这个环节也可以由我们手动完成,主观的评阅意见能够使文章的风格更接近于理想中的状态。但新闻数量较多时,人工评阅的工作量还是有些过大。

这个时候,就又轮到“老朋友”工作流登场了。

既然PromptPilot是火山引擎的工具,而大模型我们又选择了豆包,因此工作流我们也选择字节系的Coze进行开发。

图:AI生成文章评分工作流

工作流的结构很简单,开始节点接收两个参数:news(原始新闻)和article(AI生成的文章)。

大模型节点用来进行评分,同样将上面两个参数作为输入,并开始编写提示词。

既然研究AI,当然提示词也要让AI来生成。需要注意的是,适当提高文章评分的区分度,有助于提示词的优化。

因此,我让AI生成了一份评分标准,并告知需要严格评判产生区分度,并生成了对应的结构化提示词。

图:AI评分提示词|

提示词编写完成后,大模型节点的模型同样选择豆包·1.6·深度思考·多模态。

现在,只需要运行工作流,把新闻原文和AI生成的文章粘贴进去就可以得到评分及打分理由,完成后粘贴到PromptPilot中即可。

最终,数据集包含36条新闻及对应文章,开始进行提示词的智能优化。

图:智能优化界面

可以看到,平台推荐的数据是50条以上并给出理想回答,但这并非必须。只有评分是必须项。

智能优化环节花费了约17分钟,迭代了28次,结果如下:

图:智能优化结果

这样,我们就得到了一份优化后的提示词,相比上一版提示词增加了更多任务描述和细节。

下拉该页面还可以看到根据新的提示词生成的文章,这里就不一一展示了。

但还请不要忘记,提示词工程并非到此而止,而是可以继续通过添加数据、评分和理想回答的方法进行下一轮优化,直到它能够完全满足需求。

至此,我们已经掌握了一套标准化的用于优化提示词的方法。

而事实上,这个过程就是我们常常提到的——强化学习。

04 结语

回到最初的问题:为什么同样的AI,在不同人手中会产生天壤之别?

答案正是提示词工程——与AI高效写作的艺术与科学。

它并非计算机行业的专利,而是未来人们需要具备的基础素养。

掌握它,意味着驾驭AI,拥有放大自身价值的能力。

然而,知易行难。“知道”结构化提示词的重要性,与“做到”在每次向AI提问时熟练运用,中间还存在一道不那么容易跨越的鸿沟。

坦诚地说,字节跳动当前版本PromptPilot远非完美,也绝非终点。

请不要指望它能一键生成满足所有精细化需求,同时还拥有绝佳效果的“神级”提示词。

在面对较为复杂或创新需求的任务时,我们会清楚地感受到它提供的框架仍然有所局限。

同时别忘了,它也有一定的使用门槛,需要我们花时间去学习、去配置、去适应。

但与此同时,这也揭示了PromptPilot的核心价值:它并非“答案机”,而是“思维矫正器”。

在学习和使用PromptPilot的过程中,它强行打破了我们用大白话随口一问的惯性。

它的结构化编辑器更像是一个“思维脚手架”,也许本身并不美观,但能保证搭建出的建筑地基稳固、结构完整。

而它的存在,能够帮助那些面对AI聊天框总是无从下手,或是因AI输出质量不佳而苦恼的用户,完整从0到1的初次跃迁。

它的目标用户,并非那些随手写出上百字的复杂指令的提示词工程师,而是每一个希望告别低效提问,着手建立系统化和结构化思维的“学生”。

最终,在熟练掌握思维模式后,我们可能不再使用PromptPilot,但已经具备了与AI高效对话的底层能力。

而这,正是AI时代真正的通行证。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
离异母亲带13岁女儿和60后男子同居,女儿被多次侵犯不反抗,男子被判13年半,网友:母亲怎么当的

离异母亲带13岁女儿和60后男子同居,女儿被多次侵犯不反抗,男子被判13年半,网友:母亲怎么当的

一丝不苟的法律人
2026-11-18 16:35:02
网传物业费会成为压死失业人群的最后一根稻草…

网传物业费会成为压死失业人群的最后一根稻草…

慧翔百科
2026-11-12 11:33:59
WTI原油期货跌幅扩大至2% 失守83美元/桶

WTI原油期货跌幅扩大至2% 失守83美元/桶

每日经济新闻
2026-11-18 14:59:03
阿兰:入选国家队就已实现梦想,首秀传射让我非常满足

阿兰:入选国家队就已实现梦想,首秀传射让我非常满足

懂球帝
2026-11-17 21:47:10
现场画面:泰国总理飙粤语谈回广东感受:“好开心”“冇时间”

现场画面:泰国总理飙粤语谈回广东感受:“好开心”“冇时间”

凤凰卫视
2026-11-18 17:23:07
上海四年流失60万人!年轻人纷纷撤离,真相根本不是房价那么简单

上海四年流失60万人!年轻人纷纷撤离,真相根本不是房价那么简单

青眼财经
2026-11-16 21:47:28
张天爱里面不穿,有点辣啊

张天爱里面不穿,有点辣啊

吃瓜党二号头目
2026-09-05 12:10:46
官宣!肇俊哲出任主教练!

官宣!肇俊哲出任主教练!

五星体育
2026-11-17 16:54:10
彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

磊子讲史
2026-11-18 14:51:40
赌场还是屠宰场?A股正在把散户吃干抹净

赌场还是屠宰场?A股正在把散户吃干抹净

A活着
2026-10-12 17:03:56
林子聪说,我住的这个房子,市价三千万,能租五六十年!我都快五十了,住到一百一十岁?根本没必要背房贷!

林子聪说,我住的这个房子,市价三千万,能租五六十年!我都快五十了,住到一百一十岁?根本没必要背房贷!

元气科技馆
2026-11-10 17:19:04
欧国联8强出炉:英法德葡获头名!挪威大逆转+压哨晋级 20日19点抽签

欧国联8强出炉:英法德葡获头名!挪威大逆转+压哨晋级 20日19点抽签

我爱英超
2026-11-18 06:06:25
钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

墨策讲历史
2026-11-04 22:47:01
1993年冯巩登门拜访张学良,少帅盯着他看了半天,颤抖着问:冯国璋是你什么人?听完答复,他背过身落泪了

1993年冯巩登门拜访张学良,少帅盯着他看了半天,颤抖着问:冯国璋是你什么人?听完答复,他背过身落泪了

磊子讲史
2026-11-18 11:31:17
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
大结局将至!菲众议院检察官透露,萨拉弹劾案预计12月中旬作出裁决

大结局将至!菲众议院检察官透露,萨拉弹劾案预计12月中旬作出裁决

淡淡稻花香s
2026-11-18 04:41:25
女教师带出5届状元班,优秀教师却落选,转身去私立,全年级挽留

女教师带出5届状元班,优秀教师却落选,转身去私立,全年级挽留

第四思维
2025-09-03 09:30:25
2022年,我海军编队用激光武器,照向澳飞行员,结局如何?

2022年,我海军编队用激光武器,照向澳飞行员,结局如何?

灿烂夏天
2025-01-17 23:29:40
中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

潘冹旅行浪子
2026-06-23 00:04:49
随着湖人9连胜,马刺93-105活塞,西部最新排名出炉!森林狼升第3

随着湖人9连胜,马刺93-105活塞,西部最新排名出炉!森林狼升第3

薇说体育
2026-11-18 17:09:27
2026-11-18 18:00:49
锦缎研究院 incentive-icons
锦缎研究院
专注上市公司价值发现与传播
2656文章数 10848关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
房产
健康
教育
时尚

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

效果图曝光!三亚超级万象城,长这样!

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

数学到底应不应该超前学呢?值得探讨

奶瓶界爱马仕,批量收割中产父母

无障碍浏览 进入关怀版