山东
IT之家 6 月 3 日消息，字节跳动 Seed 团队上周宣布开源统一多模态理解和生成模型 BAGEL，该模型支持文本、图像和视频的统一理解和生成。
BAGEL 具有 70 亿个激活参数（总共 140 亿个），并在大规模交错多模态数据上进行训练。BAGEL 在标准多模态理解排行榜上超越了当前顶级的开源 VLMs，如 Qwen2.5-VL 和 InternVL-2.5，并且提供了与专业生成器如 SD3 竞争的文本到图像质量。
此外，BAGEL 在经典的图像编辑场景中展示了比领先的开源模型更好的定性结果。更重要的是，它扩展到了自由形式的视觉操作、多视图合成和世界导航，这些能力构成了超出以往图像编辑模型范围的“世界建模”任务。
具体来看，BAGEL 基于大语言模型进行训练，具备基础的推理和对话能力，能够处理图像和文本的混合输入，并以混合格式输出。
▲混合输入-混合输出
BAGEL 可生成较高质量、逼真的图像、视频或图文交错的内容。此外，还引入了长思维链 COT（Chain-of-Thought）模式，模型在生成之前可先“思考”。
▲BAGEL 通过“思考”生成了一个穿着毛衣的鳄鱼玩偶
基于交错的多模态数据预训练，BAGEL 自然地学会了保留视觉特征和细微细节，并且能从视频中捕捉复杂的视觉运动，这些能力使得 BAGEL 在图像编辑上更为高效。
▲基于同一人物形象进行图像编辑
基于对视觉内容和风格的理解，BAGEL 仅使用较少的对齐数据，即可实现图片的风格切换，甚至还可转换至不同场景中。
▲BAGEL 实现多种风格迁移
此外，BAGEL 还具备世界模型的基础能力，可实现世界导航、未来帧预测、3D 世界生成等更具挑战性的任务，并进行不同角度的旋转或视角切换。同时，BAGEL 还具备较强的泛化能力，不仅在各类真实场景中，还能在游戏、艺术作品、卡通动画等场景中实现导航。
基于以上能力，BAGEL 还可通过一个统一的多模态接口，实现各项能力的复杂组合，进行多轮对话。
▲图片剪切-智能编辑-场景转换-风格转换组合功能
IT之家附 BAGEL 开源地址：
官网及体验入口：
GitHub 代码：
模型权重：
研究论文：
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
