图说：GVLab开源平台正式上线 采访对象供图（下同）
今天，上海人工智能实验室联合商汤科技发布通用视觉开源平台OpenGVLab，面向学术界和产业界开放其超高效预训练模型、超大规模公开数据集，以及业内首个针对通用视觉模型的评测基准。此举将为全球开发者提升各类下游视觉任务模型训练提供重要支持，推动AI技术的规模化应用落地，并促进人工智能基础研究及生态建设的快速发展。
此次发布的通用视觉开源平台OpenGVLab不仅包含超高效预训练模型，同时包括千万级精标注、十万级标签量的公开数据集；同步公布的评测基准则将便于开发者对不同通用视觉模型的性能进行横向评估和持续调优。
“开源是一项意义非凡的工作，人工智能技术的迅速发展离不开全球研究开发人员十余年来的开源共建，共享共用。”上海人工智能实验室相关负责人表示，“希望通过发布 OpenGVLab 开源平台，帮助业界更好地探索和应用通用视觉方法，促进体系化解决 AI 发展中数据、效率、泛化、认知和安全等诸多瓶颈问题，为推动人工智能科研创新、产业发展作出贡献。”
展现极强的通用性
打麻将、竞速摩托、香槟、熊猫……或许人能轻松看出图片的内容，但人工智能不一定可以。虽然人工智能已经强大到可以识别万物，但很多AI模型只能完成单一的任务，比如识别单一的物体，或者识别风格较为统一的照片，如果换一种类型或者风格，就爱莫能助。
去年11月，上海人工智能实验室联合商汤科技、香港中文大学和上海交通大学发布通用视觉技术体系“书生”（INTERN），很好地解决了这一问题——具备足够的通用性和泛化能力。
通用视觉开源平台OpenGVLab即是基于“书生”打造而成。其开源的预训练模型具有超高的性能和通用性。
具体而言，相较于当前最强开源模型（OpenAI 于2021年发布的CLIP），OpenGVLab的模型可全面覆盖分类、目标检测、语义分割、深度估计四大视觉核心任务，在准确率和数据使用效率上均取得大幅提升。
基于同样的下游场景数据，开源模型在分类、目标检测、语义分割及深度估计四大任务26个数据集上，平均错误率分别降低了40.2%、47.3%、34.8%和9.4%。开源模型在分类、检测、分割和深度估计中，仅用10%的下游训练数据就超过了现有其他开源模型。
使用此模型，研究人员可以大幅降低下游数据采集成本，用极低的数据量，即可快速满足多场景、多任务的AI模型训练。OpenGVLab还提供多种不同参数量、不同计算量的预训练模型，以满足不同场景的应用。
图说：OpenGVLab开源模型推理结果：左侧为输入的图片，右侧为识别出来的标签
开放千万级精标注数据集
高性能的模型，离不开丰富数据集的训练。
除了预训练模型，以百亿数据总量为基础，上海人工智能实验室构建了超大量级的精标注数据集，近期将进行数据开源工作。
超大量级的精标注数据集不仅整合了现有的开源数据集，还通过大规模数据图像标注任务，实现了对图像分类、目标检测以及图像分割等任务的覆盖，数据总量级近7000万。开源范围涵盖千万级精标注数据集和十万级标签体系。目前，图像分类任务数据集已率先开源，后续还将开源目标检测任务等更多数据集。
同时开放的还有总标签量级达到十万量级的超大标签体系，不仅几乎覆盖了所有现有开源数据集，还在此基础上扩充了大量细粒度标签，涵盖各类图像中的属性、状态等，极大丰富了图像任务的应用场景，显著降低下游数据的采集成本。此外，研究人员还可以通过自动化工具添加更多标签，对数据标签体系进行持续扩展和延伸，不断提高标签体系的细粒度，共同促进开源生态繁荣发展。
图说：针对艺术作品，OpenGVLab预训练模型展示出了强大的泛化能力，例如，针对这幅大熊猫画作，模型不但“看”出了这是一张“毛笔画”“水粉画”，而且由于图中的黑白色，模型还给出了“yin yang”（阴阳）的推测，这也体现了数据集标签的丰富性。
首个通用视觉评测基准
伴随OpenGVLab的发布，上海人工智能实验室还开放了业内首个针对通用视觉模型的评测基准，弥补通用视觉模型评测领域的空白。
当前，行业中已有的评测基准主要针对单一任务、单一视觉维度设计，无法反映通用视觉模型的整体性能，难以用于横向比较。全新的通用视觉评测基准凭借在任务、数据等层面的创新设计，可以提供权威的评测结果，推动统一标准上的公平和准确评测，加快通用视觉模型的产业化应用步伐。
在任务设计上，OpenGVLab提供的通用视觉评测基准创新地引入了多任务评测体系，可以从分类、目标检测、语义分割、深度估计、行为识别等5类任务方向，对模型的通用性能进行整体评估。不仅如此，该评测基准新加了仅用测试数据集10%数据量的评测设定，可以有效评估通用模型在真实数据分布下的小样本学习能力。在测试后，评测基准还会根据模型的评测结果给出相应的总分，方便使用者对不同的模型进行横向评测。
随着人工智能与产业融合的不断深入，行业对人工智能的需求逐渐从单一任务向复杂的多任务协同发展，亟需构建开源、开放的体系，以满足趋于碎片化和长尾化的海量应用需求。
OpenGVLab的开源，将帮助开发者显著降低通用视觉模型的开发门槛，用更低成本快速开发用于成百上千种视觉任务、视觉场景的算法模型，高效实现对长尾场景的覆盖，推动通用AI技术的规模化应用。
新民晚报记者 郜阳
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
