每个有用户内容的平台,最后都会攒出一份没人真正实现的规则清单。工具不认识它,审核员却天天在脑子里跑它。
“这条商品信息里有没有电话号码?”听起来简单,直到有人写成“五五五,一二三四”,而不是 555-1234。“这个卖家是不是想把付款挪到站外?”关键词过滤会把所有打出“Discord”的人一并封掉,包括那些在你自家市场上卖 Discord Nitro 的人。“这张头像对我们的用户来说是不是太露了?”每个应用画的那条线都不一样。
现成的审核 API 给的是固定类别:裸露、仇恨、暴力。有用,但真实平台上大部分的审核工作,恰恰发生在这些类别覆盖不到的地方。Detectivision 想做的,就是把规则本身变成可调用的东西。
一条规则,就是一个用你自己的话写的判断题
一个 API。你发来文本、图片或视频,它返回命中了你的哪几条规则,每条都带置信度分数。规则是这里最有意思的部分:每一条都是一个简单的“是/否”问题,用你自己的措辞写。
- 这条消息是否分享了电话号码、Instagram 账号或邮箱,即使是用文字写出来、或者用空格拆开的?
- 这条消息是否要求站外付款,比如银行转账或 IBAN?
- 这条评论是否带有侮辱或辱骂,包括俚语和拼错的脏话?
- 这张照片是否出现酒精或烟草?
一条规则还能用另外两句话把线画清楚:什么算,什么不算。以 contact_info 为例——算的:数字、用文字写出的数字(“五五五,一二三”)、账号(“insta: jane.shop”)、“jane at gmail”。不算的:价格、订单号、平台自己的客服地址。
每条规则都会变成你账户上的一个标记,和内置的那些(仇恨、侮辱、脏话、色情、诈骗、暴力等)并列。不需要训练自定义分类器,不需要做类别映射。只要你的信任与安全负责人能把这条规则说出口,它就能成为一个标记。
文本、图片和视频都已上线。视频按你选定的帧率逐帧检查(0.5 到 10 fps),每个发现都带时间戳。
调用方式与一个刻意的设计
所有类型共用一个端点,密钥放在 Api-Key 请求头里。请求体里指定 type、input、mode 和 flags,返回结果包含 flagged 状态、命中的 flag 及置信度、检查过的规则、未检查的规则,以及耗时。示例中一次文本审核返回了 contact_info 命中,置信度 0.96,耗时 640 毫秒。
返回结果里没有 action 字段,这是故意的。一个标记意味着拦截、挂起待审还是放行,由你在自己的代码里决定。图片和视频的 input 传 URL,视频额外传 fps。
这套 API 已经在真实场景里跑:Kick 的直播聊天审核。每条聊天消息到达时都会被检查,被标记的消息会被删除,或者发送者在数秒内被禁言,主播的审核团队可以在一个实时控制台里复核每个决定。主播通过 OAuth 连接自己的频道,审核跑在他们自己的 Detectivision 账户上。目前面向 Kick 主播开放,Twitch 支持是下一步。
面向想用真实内容测试自己规则的平台,免费试用已经开放:市场、约会应用、社区、直播。Basic 方案前两个月免费。官方希望听到的问题是:你会从哪条规则开始?
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.