360集团开源FG-CLIP2：通过29项全球基准测试重新定义视觉语言模型

近期，360集团低调开源的视觉语言对齐模型FG-CLIP2，在全球科技圈掀起热议。这款模型在涵盖长短文本图文检索、目标检测等在内的29项权威公开基准测试中，全面超越了科技巨头Google的SigLIP2与Meta的MetaCLIP2，标志着中国在AI基础模型领域取得了又一突破性进展。

FG-CLIP2性能雷达图。图源 360集团

中文benchmark综合排名。图源 360集团

从“看得见”到“看得清”：攻克AI视觉“细粒度”难题

如果说OpenAI在2021年提出的CLIP模型，为AI配上了一副能“看清世界”的普通眼镜；那么360的FG-CLIP2，则是为AI装备了一台“高精度光学显微镜”，使其能够“洞察入微”。它成功攻克了CLIP模型长期存在的“细粒度识别”痛点。

传统CLIP模型虽然善于理解图像的全局概念，但在区分细微的物体属性、复杂的空间关系以及精准的语言表达时，往往力不从心。FG-CLIP2则实现了质的飞跃：它不仅能辨别出猫的具体品种，还能在遮挡情况下精准判断其状态；面对包含多个物体的复杂场景，其细节识别置信度仍高达96%。这种从“宏观”到“微观”的能力跃迁，是AI真正理解物理世界的关键一步。

FG-CLIP2效果案例。图源 360集团

三大根本性创新，构筑技术护城河

在模型核心上，它实现了三大根本创新：第一，层次化对齐架构，让模型能像人眼一样，同时把握宏观场景与微观细节，实现从“看得见”到“看得清”的跨越。第二，动态注意力机制，使模型可以智能聚焦于图像关键区域，以最小算力代价换取精准的细节捕捉能力。第三，双语协同优化策略，从底层解决了中英文理解不平衡的难题，实现了真正的双语原生支持。

卓越的性能离不开强大的底层支撑。FG-CLIP2依托于自研的超大规模高质量数据集FineHARD。该数据集不仅包含详尽的全局描述和千万级的局部区域标注，还创新性地引入了由大模型生成的“难负样本”，极大地锤炼了模型的辨别能力。

在训练方法上，模型采用了革命性的两阶段策略。其关键的第二阶段摒弃了传统CLIP的“整体对整体”的粗放对齐模式，升级为“局部对局部”的精细对齐，这正是其实现细粒度理解的精髓所在。

通过这一系列紧密结合的技术创新，FG-CLIP2成功攻克了长期困扰行业的“细粒度识别”难题，并将其领先能力通过API等形式开放，赋能千行百业的智能化升级。

FG-CLIP2训练策略。图源 360集团

告别“差不多”AI：细粒度视觉撬动产业新支点

FG-CLIP2的价值不仅在于实验室指标的领先，更在于其广泛而深远的行业应用潜力，推动AI从“感知”走向“认知”，从“可用”走向“好用”。

在电商领域，它能精准理解“白色蕾丝边、袖口有珍珠装饰的连衣裙”等复杂描述，实现“所想即所得”的精准搜索，彻底革新商品检索与推荐体验，降低退货率，直接提升商业转化。

在具身智能领域，它是机器人的“慧眼”，能精准执行“拿餐桌上的红色水杯”或“把玩具放进绿色收纳箱”等指令，通过精准识别物体属性与空间关系，让机器人在家庭、仓储等复杂场景中的操作成为可能。

此外，其能力同样赋能于AIGC内容生成、内容审核及安防监控等多个关键场景，通过洞察细节，确保生成内容的精准性、审核的可靠性以及安防检索的高效性，为各行各业的智能化升级奠定了坚实的视觉理解基石。

构建AI底层能力：360的AI长期主义

FG-CLIP2的技术突破并非偶然，而是360对AI底层能力的长期坚持。作为国内较早布局人工智能研究的企业，360人工智能研究院已持续深耕多模态领域多年。从2021年起，在大模型方向上团队累计在ICML、NeurIPS、ICCV等顶级会议发表论文12篇，并在多项国际AI竞赛中夺冠。

此外，360依托浏览器、搜索、安全等丰富的业务生态，积累了百亿级的图文数据，并结合自研的大规模高质量数据集FineHARD，为训练FG-CLIP2这样的顶尖模型提供了独一无二的“数据燃料”。同时，强大的工程化能力确保了模型不仅在学术上领先，更能在实际业务中高效、稳定地运行，其推理速度达到同类模型的1.5倍。

此次开源FG-CLIP2，是360在AI基础模型领域的一次关键落子，其意义远不止于展示技术实力，更是为中国构建自主可控的AI技术体系，添上一块重要基石。

上游新闻 马亮