产品经理能力自测表：从会用 AI 到会做 AI 产品

当AI把“周五再决定要不要采购”整理成“周五前完成采购”，产品含义完全变了。本文从真实会议场景出发，拆解AI会议任务提取的六个关键维度，强调保留原句、人工核对与证据链的重要性，告诉你从“会用AI”到“会做AI”的核心差距。

———— / BEGIN / ————

“周五再决定要不要采购。”

系统把它整理成了：“周五前完成采购。”

就这么几个字，产品含义全变了。

前一句是会议里的待定事项，后一句是一个带截止时间的任务。谁负责、什么时候交、算不算已经承诺出去，全跟着变。

这种事在演示里几乎看不出来。演示用的都是干净样本，一句话一个任务，跑出来很漂亮。等真接到会议转写上，条件句、含糊日期、没点名的人，就开始出这种事故。

然后会议里还有两句：

小林周四下班前整理两家报价。交付日期下周再定。

“会做 AI 产品”和“会用 AI”，差别就在这儿——先提取带原句的候选任务，交给有权限的人核对，确认之后才写进任务系统。它不替会议做决定，也不把没定的日期补成一个看着完整的承诺。

漂亮结果不等于交付

做这类东西最容易犯的错，是一上来就想“让它全自动”。

先问一句：采购团队真正想省的，是会后重听录音、找自己答应过的事，还是把已经确认的任务自动派发？两个目标的风险完全不一样。做前者，错了大不了人工再看一遍；做后者，可能把一条还没定的采购直接推给供应商。

还有最明显的数据侧的坑。会议转写从哪来？“小林”对应哪个账号？会议日期和时区是什么？“下周”有没有确定参照？系统里查不到，产品就该显示“待核对”，而不是让模型挑一个看起来合理的日期——挑错了，后面每一步都错得很有自信。

流程上最不能省的是回读。系统返回超时，页面就不能显示“已创建”；重复点击，也不能变成两条一样的任务。这两条不做，用户第一次撞上，就再也不信这个功能了。

六个维度，各自要留下证据

要检查的不是工具用得熟不熟，而是每个关键判断能不能拿出东西来。

六维能力自测示意图

“漏项与误报”的对照：Google PAIR《User Needs》里的 两侧取舍示意

挑最容易露馅的三处看就够了。

1. 需求维度看人工基线：现在谁在整理会议，最费时间的到底是找任务、补背景，还是确认责任？

2. 数据维度看来源和可见范围：录音能不能用、谁能看到、缺负责人时系统怎么办？

3. 流程维度看草稿怎么变成正式任务：谁能改、谁能确认，失败和重试怎么回到待处理。

评估、成本、运营这三项不是上线以后补的三张报表，是第一版就得写进设计里的约束。这点很多团队是反着做的——先把功能推上线，再想怎么量化，量到最后发现没数据可看。

先把错误钉在原句上

系统把“周五再决定要不要采购”写成“周五前完成采购”，先别急着调提示词。顺着这一个错往回查，通常比再试十次更快。

需求上，第一版允不允许系统产生执行承诺？数据上，候选任务有没有保留原句？评估上，测试样本里有没有“再决定”“如果预算通过”“日期待定”这类条件句？界面上，用户能不能把错的任务删掉、改回“待确认”？权限上，没有写入权限的人点了确认会怎么样？

这些问题没写清楚，模型换得再快，也只是同一个模糊流程里反复出错。

OWASP GenAI Security Project，2025 版

麻烦不会在上线那天结束。有人改了日期，产品就得记下原始输入、错误类型、修改结果和版本。换模型、换提示词之后，拿同一条样本回归一次，才知道这次改动是真解决了问题，还是碰巧对了一次。

还有一个成本经常被漏算：用户为了放心，重听整段会议录音。这是复核成本。生成快不等于活干得快——核对时间要是比人工整理还长，这功能就不成立。

缺哪份证据，下一步就补哪份

不用一次补齐六项，先挑缺得最狠的那一项。

没有需求证据，就去观察真实的会后整理过程，记下人们到底在找什么；没有评估证据，就收集容易错的片段，把预期行为写成能判定的样子；没有运营证据，就定清楚谁接纠错、怎么把纠错变成回归样本、什么时候该把自动写入关掉。

Roadmap to Excellent Evals（从手动测试、写无歧义任务、正负例覆盖，到搭评估工具、设计 grader、长期维护的顺序图）

Zooming Out: The Swiss Cheese of Quality（自动评估、人工转录复核与早期程序审查、生产监控与用户反馈三层叠加的示意图）

小范围试用的时候，我一般只看五件事：

1. 核对一条任务要多久

2. 漏项和错项分别是什么

3. 确认之后是不是真写进去了

4. 失败之后还能不能把活干完

5. 每条任务的调用与人工复核成本

没有统一阈值。先跟原来的人工流程按同一口径比一遍，再决定继续、收窄，还是把自动写入停掉。

从会用 AI 到会做 AI，差的不是多试几个工具。是能不能把一句会议话整理成带来源的草稿，把判断权留在人手里，记下错在哪，并且让下一次改动可以被验证。

“周五再决定要不要采购”，就该保留成待决定事项。产品做得好，第一件事是没替人做这个决定。

本文来自作者：黄哈哈哈