网易首页 > 网易号 > 正文 申请入驻

做AI产品经理最难的点:召回测试与提示词配置

0
分享至

现在要问做AI产品最难的点是什么,那就是如何在产品设计中引导用户避免生产AI幻觉,并且提升识别准确率以及答案准确率,因为现在任何模型都是有不准的情况。

幻觉导致在生产力场景上,无法覆盖,产品经理难以做变现收益,这也是为什么现在几乎AI模型厂商都是在亏钱的本质原因,因为付费的用户还是非常少一部分,并且订阅成本还cover不了成本。

反观是涉及到不需要那么细致的情况下,这部分是AI产品可以做收益的,比如你看在娱乐领域的视频、音乐、以及游戏上,AI能力成了很多供应商的必备,很多人就会花钱去采购。

很难做的就是公众号排版

因为公众号排版涉及到多个样式以及文字与段落,长文章加上排版样式,就会出现超长tokens,幻觉较多。目前推出的AI排版,会反而增加了人工成本,我们希望最好的方式显然就是公众号一键排版完成。

所以,产品经理首先找到不同的排版风格文章,然后在进行AI排版生成,从而 测试,才能得到最佳效果。

如下图不同的排版效果,不同的排版风格所涉及到的素材以及AI模型能力还有区别,有的还需要绘制图像。

研发过程并不花时间,而大量的时间是调试与测试,这就是花费时间。

不同创作者的文章排版风格不一样,比如像我的文章排版的风格就简单,但是一些公司媒体的公众号文章就复杂的多,有各种组件与格式。

AI测试的参数调试

比如我推荐用Dify来完成的AI配置,仍然需要产品经理来参与多个配置,比如下面的Top K与 score积分制,这涉及到知识库的范围与技能大小。

我们在知识库的配置以上参数涉及到段落分值

将段落参数配置如上,通过修分段的字符长度,来完成知识库的检索准确率

如上知识库的长度与重叠配置,从在分段数量上做控制,得到检索正确率较高的组合。

但这个调试需要产品经理不断地测试

每一次字符长度设置后,就需要查看知识库的分段数量,从而再进行召回测试,通过不断的测试,最终得到一个比较好的答案。

知识库做召回测试是发现知识库的召回率以及只是完整性,比如这里我们拿的规培考试题目来做召回测试,就发现题目并没有完整出现。

这也是产品经理测试AI模型最费时间的工作环节。

提示词测试

除了召回测试外,AI产品经理还要关注提示词测试,比如下面我们做的耳鼻喉科答题的AI提示词规则设置,就说明了答题的要求以及限制,这一部分也需要产品经理调试。

甚至是说清楚解释与限制,才能够保证AI产品的落地点幻觉减少,从而真的产生生产力。

这都不是说部署了AI大模型就好了,而要反复的在业务场景做调试才能完成,如果在Dify这类模型管理工具里没有办法实现到自己想要的参数,那就只有进行个性化开发,或者调整自己的产品设计方案。

这是传统的产品经理不会涉及的,以上就是今天的分享。

“关注我,了解第一批空间计算的产品经理做什么”

点击加入XR空间计算开发者、产品经理交流群

AI开源项目拆解群,以及每天体验1款APP

我创建的产品设计打卡社群,加入后365天,每天体验一款APP。提升产品设计能力,同时有1300份体验报告帮助你找到竞品。

在这里你可以随时查询到你想找的各类竞品行业APP以及我收集整理的开源Github项目,马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度,体验一款应用。

平均1天1块钱,扫码购买即可加入

连续体验48款应用,通过后原路退回

报名后添加星球助理

PMTalk123

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
从双赢交易到尼克斯单方面赢麻了 唐斯夺冠的夏天兰德尔惨遭贱卖

从双赢交易到尼克斯单方面赢麻了 唐斯夺冠的夏天兰德尔惨遭贱卖

隐于山海
2026-06-23 14:01:22
终于懂国足为何臭了!看看这满地行李,再看看C罗。

终于懂国足为何臭了!看看这满地行李,再看看C罗。

林子说事
2026-06-22 16:27:36
苏州工厂招印度员工,汤教授呼吁:西方亡羊补牢,我们要守住底线

苏州工厂招印度员工,汤教授呼吁:西方亡羊补牢,我们要守住底线

王新喜
2026-06-22 17:12:30
1985年公安部原“一把手”被开除党籍,开国少将鸣不平:这是报复

1985年公安部原“一把手”被开除党籍,开国少将鸣不平:这是报复

历史的烟火
2026-06-23 02:34:55
欧文:我丝毫不意外C罗下一场能用帽子戏法回应批评

欧文:我丝毫不意外C罗下一场能用帽子戏法回应批评

懂球帝
2026-06-23 13:57:19
伊朗议长:霍尔木兹海峡将按伊方制定的机制进行管理

伊朗议长:霍尔木兹海峡将按伊方制定的机制进行管理

新京报
2026-06-23 07:23:57
日本专家:你以为是原子弹使我们投降的吗?不!是苏联的一个公告

日本专家:你以为是原子弹使我们投降的吗?不!是苏联的一个公告

探史
2026-06-19 11:11:17
“都绝户了,还拼命挣钱干嘛?”看见父亲50岁就躺平,我崩溃了

“都绝户了,还拼命挣钱干嘛?”看见父亲50岁就躺平,我崩溃了

素十三儿
2026-04-13 07:12:36
63岁李连杰父亲节晒父女合照,四个女儿全部出镜,长女长得像前妻

63岁李连杰父亲节晒父女合照,四个女儿全部出镜,长女长得像前妻

冷紫葉
2026-06-21 19:19:43
离职多年还能收到工作的消息:怎么忍住不骂的?

离职多年还能收到工作的消息:怎么忍住不骂的?

采采
2026-06-17 17:22:34
1457万枚烂在银行!武夷山纪念币创下近十年最尴尬纪录

1457万枚烂在银行!武夷山纪念币创下近十年最尴尬纪录

老孟谈钱
2026-06-19 03:17:17
部门裁员比例达30%!主动报名多5000,一天津网友哭诉陷两难境地

部门裁员比例达30%!主动报名多5000,一天津网友哭诉陷两难境地

火山詩话
2026-06-23 05:36:24
酒吧撞见妻子与人拥吻,我轻拍男人肩膀:兄弟,我老婆以后归你了

酒吧撞见妻子与人拥吻,我轻拍男人肩膀:兄弟,我老婆以后归你了

千秋文化
2026-06-22 19:53:19
硅谷不要、中东赶人,14亿印度人掉头冲向中国!莫迪的精明算盘!

硅谷不要、中东赶人,14亿印度人掉头冲向中国!莫迪的精明算盘!

小鹿姐姐情感说
2026-06-23 13:50:38
今年很怪,很多农村人说日子更难了

今年很怪,很多农村人说日子更难了

觉叔说
2026-06-15 17:11:56
为什么大获全胜的歼-10卖不出去,一败涂地的阵风却销量火爆?

为什么大获全胜的歼-10卖不出去,一败涂地的阵风却销量火爆?

基斯默默
2026-05-28 11:06:03
巴拉圭美女球迷谈爆火出圈:土耳其给我带来了好运

巴拉圭美女球迷谈爆火出圈:土耳其给我带来了好运

懂球帝
2026-06-22 21:20:13
十几年书白读了!广州医科大学某附院,2026届研究生就业率仅21%

十几年书白读了!广州医科大学某附院,2026届研究生就业率仅21%

东东趣谈
2026-06-23 12:04:10
阿尔瓦雷斯公开发声后,有马竞球迷烧掉了他的球衣

阿尔瓦雷斯公开发声后,有马竞球迷烧掉了他的球衣

懂球帝
2026-06-23 08:14:24
小米新车再次爆火,市场一片哗然!

小米新车再次爆火,市场一片哗然!

米粒说车唯一呀
2026-06-22 13:30:26
2026-06-23 15:48:49
Kevin改变世界的点滴 incentive-icons
Kevin改变世界的点滴
每周一次,产品案例与经验分享
341文章数 22关注度
往期回顾 全部

科技要闻

48名中国开发者联名举报苹果

头条要闻

飞机提前10分钟起飞大学生起诉航司 海航承诺调整规则

头条要闻

飞机提前10分钟起飞大学生起诉航司 海航承诺调整规则

体育要闻

扬尼斯去了迈阿密:凯尔特人怎么办?

娱乐要闻

内娱95后顶流格局发生潜移默化的变化

财经要闻

智谱万亿市值,国产Anthropic真来了?

汽车要闻

华为智驾ADS限时优惠月底结束 7月1日前下订立省3000元

态度原创

艺术
家居
数码
时尚
本地

艺术要闻

90后川妹子独居成都三层小楼,不装窗帘,活得太自在了

家居要闻

绿意盎然 自然之境

数码要闻

LPDDR5X单季价格狂飙89% 手机和PC的涨价潮还在后头

除了玛丽珍、薄底鞋,今年最火的鞋子就是它了

本地新闻

吃一次广东龙舟饭,才懂什么是豪华盛宴

无障碍浏览 进入关怀版