北京
分享至
搜索最怕的不是找不到，是等。LangSmith给出的答案是：半秒内返回。
它的做法分两步。先用结构化过滤器收窄候选集，比如时间范围这类条件，把需要评估的轨迹数量压下来。剩下的每一条轨迹，再交给一个小型快速模型，与搜索描述逐条比对。
关键在并行。每一次评估同时进行，匹配结果实时流回，用户不需要等完整扫描跑完才能看到东西。
这套设计指向一个明确目标：搜索查询的实时响应性。候选集先被结构化条件砍小，评分模型只处理剩下的部分，单次评估又并行铺开，三个环节叠起来，才有了半秒这个量级。
值得注意的是，承担评分的是小型快速模型，不是更大的模型。在搜索这种对延迟敏感的场景里，模型规模让位于响应速度，是一个清晰的取舍。
结构化过滤负责缩小范围，并行评分负责抢时间，实时流回负责让用户尽早看到结果。三者缺一，半秒都很难成立。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
