大模型在多语言场景里有个老毛病:术语漂移。让它翻译软件领域的专有概念,模型经常自己造出字面直译、前后不一致甚至被明令禁止的译法,而不是老老实实按官方审定的词表来。
Crowdin 是企业本地化平台,GitHub、GitLab、Discord 和微软开源项目都用它来管理翻译、品牌词表和字符串目录。随着 Crowdin Connector for Cognee 发布,工程团队可以把本地化仓库、已审定的术语词表和翻译记忆直接导入 Cognee 的 AI 原生知识图谱。
这套连接器的核心思路,是让智能体在生成目标语言内容之前,先去查一遍记忆图谱。官方给出的例子很直白:德语里该用“Passkey”的地方,不能译成“Passwort”。
接进记忆引擎后,智能体能做四件事:
- 确定性术语锚定:用德语、法语或日语回复时,先查询 Cognee 记忆图谱,确保使用已审定的词表术语。
- 上下文感知翻译:生成本地化文案前,先检查字符串键、UI 上下文描述和字符长度限制。
- 自动化本地化审计:跨分支检查翻译完成度指标,标记缺失翻译或过期字符串。
- 孤儿清理:Crowdin 中删除的过期字符串或废弃术语,通过 write_disposition=“replace” 从图谱记忆中自动遗忘。
从架构上看,连接器按生产环境的可靠性来设计。数据摄入覆盖三类对象:项目(项目标识、源语言、目标语言区域、后台链接)、词表(审定术语、禁用同义词、词性、语言定义)、本地化字符串(开发者上下文注释、字符串键、英文源文、目标译文)。
进入 Cognee 流水线后,所有文档都打上 DOCUMENT_SOURCE_ATTR = “crowdin”,走 cognify() 处理;crowdin_localization 表采用 replace 写入策略清理废弃术语;文档 ID 基于项目 ID 和报告类型生成确定性的 uuid5,避免知识图谱里出现重复节点。
容错方面,连接器对 HTTP 429 限流和 5xx 瞬时服务器错误采用带抖动的指数退避;日志和异常信息中的凭证与令牌会自动脱敏为 [REDACTED_CROWDIN_TOKEN];生成的 Markdown 文档结构经过整理,便于分块和向量检索。
使用方式不复杂。安装两个包:
pip install cognee cognee-community-connector-crowdin
或用 uv add 添加同样的依赖。随后配置 CrowdinConfig,填入 API 令牌,打开词表和字符串开关,调用连接器拉取文档,再依次执行 cognee.add() 和 cognify() 写入名为 localization_knowledge 的数据集。之后就能用自然语言提问,比如“Passkey 在德语里的审定译法是什么”,由 cognee.search() 返回记忆结果。
摄入后的记忆长什么样?连接器把 Crowdin REST API v2 的 JSON 解析成结构化 Markdown 报告。以一份词表为例:术语 Passkey 在英语下标注词性为名词、状态为审定、定义为 FIDO2 WebAuthn 加密凭证;在德语下同样标注审定,并附上限制条件——不得译为 Passwort,保留 Passkey。
经过 cognify() 处理后,知识图谱会构建出术语、语言、概念与准则等节点,以及它们之间的关系,例如词表包含 Passkey、Passkey 带有“不得译为 Passwort”的限制。
这个 Crowdin 连接器是 Cognee 社区生态里的开源贡献,代码分别放在 Cognee Core 和 Community Connectors 两个仓库中。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.