网易首页 > 网易号 > 正文 申请入驻

谷歌发开源模型,不Open的只剩OpenAI

0
分享至


出品|虎嗅科技组

作者|齐健

编辑|王一鹏

头图|DALL-E 3

全世界都在为Sora惊艳,而谷歌却仍在默默地发语言模型。

当地时间2月21日,谷歌推出了基于Gemini研究和技术开发的新型开源模型系列“Gemma”。与Gemini相比,Gemma展示了更高的效率和轻量化设计,同时依然免费提供全套模型权重,并明确允许商业使用。

本次发布的模型包括Gemma 2B和Gemma 7B,20亿和70亿两种规模版本。每个版本都提供了预训练模型和针对特定指令进行微调的模型。用户可以通过Kaggle、谷歌的Colab Notebook或Google Cloud平台轻松访问这些模型。


谷歌的技术报告中称Gemma已经在一系列关键基准测试上超越主流的开源模型,包括LLaMA-2的7B和13B版本,以及Mistral 7B模型。特别是在指令遵循、创意写作、编码任务和基本安全协议测试中,Gemma都展现了良好的性能。

此外,谷歌还发布了一系列工具和指南,旨在鼓励开发社区协作并负责任地使用这些模型,推动AI技术的健康发展。

谷歌发布开源Gemma之后,OpenAI成了唯一一个在这波AI热潮中没有发布过开源模型的AI公司。在Google Deepmind联创兼CEO Demis Hassabis的发布贴下,就有人@Sam Altman质疑OpenAI何时才能Open。


Gemma有何不同?

Gemma模型提供了预训练模型以及针对对话、指令遵循、有用性和安全性微调的checkpoint。其中,7亿参数的模型优化了GPU和TPU上的高效部署和开发,而2亿参数的模型则更适用于在CPU上运行,满足不同的计算限制、应用程序和开发人员需求。


Gemma对比LLaMA 2-7B、13B,以及Mistral-7B

Gemma模型的架构基于Transformer解码器,针对其核心参数进行了优化,训练时的上下文长度为8192个token。

此外,谷歌在原始Transformer理论的基础上进行了几项重点改进,优化了模型的处理效率、模型大小、性能和训练稳定性方面。

多查询注意力机制:相比传统的多头注意力,多查询注意力机制在2亿参数模型中的应用提高了处理效率和模型性能,特别是在参数规模较小的情况下,能够更有效地捕捉和处理信息。

旋转位置嵌入(RoPE):使用RoPE代替传统的绝对位置嵌入,以及在输入与输出之间共享嵌入的策略,有效减小了模型规模,同时保持或提高了模型的性能,尤其是在处理序列数据时的位置敏感性方面。

GeGLU激活函数:替代传统的ReLU激活函数,GeGLU提供了更强的非线性处理能力,这对于增强模型捕捉复杂模式和关系的能力是非常重要的,特别是在小模型中尽可能地提高性能。

归一化位置的创新应用:通过在每个Transformer子层的输入和输出处都应用归一化处理(使用RMSNorm),Gemma模型提高了训练的稳定性和效果,这种方法的创新在于它提供了一种更加有效的训练深层网络的手段,有助于提高模型的泛化能力和减少过拟合的风险。

Gemma另一个值得一提的特点在于对安全性的重视。

Gemma模型的全面安全评估中,包括对模型行为的深入分析和测试,以确保其在不同的应用场景中能够安全可靠地运行。同时,Gemma的开发过程中融入了负责任的AI实践,包括确保模型的公平性、透明性和可解释性。这有助于减少AI系统可能带来的偏见和不公平现象,提高用户对模型输出的信任度。

随Gemma模型一同发布的还有一套详细的安全使用指南,指导用户如何安全、有效地使用Gemma模型。这包括建议的使用案例、潜在风险的警告以及如何缓解这些风险的策略。

作为开源模型,Gemma项目也鼓励社区合作和反馈,通过开源的方式让研究人员和开发者能够贡献自己的见解和改进意见。这种开放的合作模式有助于及时发现并修复安全漏洞,提高模型的整体安全性。

事实上,在今天快速迭代的LLM开发环境中,一款轻量化开源模型的安全性能,是模型能够开放到更多应用场景的重要前提。

落到手机、电脑、汽车上的AI

谷歌在Gemma的说明页面中提出,要实现先进人工智能模型的“民主化访问”,并特意强调Gemma可以部署在资源有限的环境中,例如笔记本电脑、台式机或用户自己的云基础设施,

如今,轻量化的AI模型在业内的受关注度正在快速升温。

2023年6月,微软就放出了一款17亿参数的轻量化模型Phi,此后的Phi-2版本参数扩充到了27亿。国内则有两家公司推出了7B以下的轻量化LLM,包括面壁智能的MiniCPM-2B,以及阿里Qwen1.5中的0.5B、1.8B和4B三个版本。

面壁智能的MiniCPM-2B模型就直指手机端,且已经在多款常见的手机上测试了模型的真实落地效果。


MiniCPM在手机端的运行情况

虽然同为20亿参数,但相比于可以运行在4G内存手机中的MiniCPM-2B,Gemma-2B的模型存储容量明显有点大,一般的手机可能很难运行,目前Gemma的技术报告也没有提及在个人设备上的输出速度。


Gemma在hugging face的下载页面

运行速度快、成本低、高端设备依赖性不强,这些特点使轻量化模型明显更容易商业化落地,最典型的就是落地到手机、电脑、车机这些端侧设备的AI。

目前,主流、非主流的消费电子、汽车企业都在积极布局AI。

国内OPPO和魅族两家手机厂商刚刚更新了AI战略,其中魅族甚至要放弃传统手机,只做AI手机;联想、戴尔、惠普、华硕等都公布了自己的AI PC战略,英伟达最近推出了一款可以在本地运行的Chat with RTX,显卡要求7G显存,其中主要调用的就是Mistral的7B模型;车机方面,奔驰、宝马、大众等也都推出了融合AI大模型的车机系统,国内的比亚迪,也在近期推出了全新的整车智能化架构“璇玑”及其AI大模型“璇玑AI大模型”。

Gemma、MiniCPM、Qwen1.5等开源轻量化的推出,给这些设备生产公司提供了一个不必自研大模型,也能在设备上部署AI的路径。

事实上,在复杂的算法研究和高昂的训练成本面前,多数企业并不具备从零开始开发大模型的能力。

基于LLaMA等开源大模型的再训练或微调成为了一个更实际和成本效益更高的选择。通过Continue Pretrain、finetune等方法,开发者可以在现有模型的基础上进行改进和定制,以适应特定的应用需求。这种方法不仅减少了开发成本,也加速了模型创新的过程,使得即使是资源有限的团队也能参与到大模型开发的竞争中来。

国内大模型创业的主流形态正是基于LLaMA等开源模型的再训练或微调。尽管从零开始自研大模型在技术上具有一定的吸引力,但如专家所言,这需要极高的成本和专业知识,且过程复杂且容易出错。因此,利用和贡献于开源大模型社区,不仅是实现快速迭代和创新的有效途径,也是促进技术共享和行业进步的重要手段。

一直以来,AI大模型开发和模改的主流生态都被LLaMA占据,直到Mistral出现才略有改观。此番谷歌放出开源Gemma,给开发者提供了更多选择和灵活性,注定会对开源生态起到巨大的刺激作用,促进了开源大模型技术的发展和应用创新。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
简朴?耶伦:40多亿资产,住7000多万房子,一身行头几十万……

简朴?耶伦:40多亿资产,住7000多万房子,一身行头几十万……

杂谈哥闲谈
2024-04-17 23:15:59
男子患癌一跃从5楼跳下!知情人透露原因,评论区炸锅

男子患癌一跃从5楼跳下!知情人透露原因,评论区炸锅

天天热点见闻
2024-04-21 04:02:19
地铁广告上投简历,5天花了1000元,湖南小伙称已有30多家公司联系

地铁广告上投简历,5天花了1000元,湖南小伙称已有30多家公司联系

潇湘晨报
2024-04-19 19:35:20
张韶涵宝鸡演唱会:在宝鸡停留2天,多次赞叹宝鸡,喜欢宝鸡礼物

张韶涵宝鸡演唱会:在宝鸡停留2天,多次赞叹宝鸡,喜欢宝鸡礼物

影像温度
2024-04-22 10:08:40
俄外交部:美国作为俄乌冲突实际参与方将被坚决回击

俄外交部:美国作为俄乌冲突实际参与方将被坚决回击

财联社
2024-04-21 17:55:08
不但与对手斗,还与安帅吵上了,皇马这位未来巨星是被宠坏了吗?

不但与对手斗,还与安帅吵上了,皇马这位未来巨星是被宠坏了吗?

星耀国际足坛
2024-04-22 13:19:31
39岁的库里年薪值得6000万美元以上吗?

39岁的库里年薪值得6000万美元以上吗?

历史第一人梅西
2024-04-22 13:31:45
2换1,任骏飞或成筹码,周琦续约条件曝光,韩德君吐槽郭艾伦

2换1,任骏飞或成筹码,周琦续约条件曝光,韩德君吐槽郭艾伦

东球弟
2024-04-22 09:39:23
有大爱!郭艾伦主动联系患病小女孩家人 毫不犹豫捐了3万善款

有大爱!郭艾伦主动联系患病小女孩家人 毫不犹豫捐了3万善款

直播吧
2024-04-22 10:23:10
大胜!哈登28+8超神创奇迹,乔治赛后谈伦纳德,泰伦卢如梦初醒了

大胜!哈登28+8超神创奇迹,乔治赛后谈伦纳德,泰伦卢如梦初醒了

巴叔GO聊体育
2024-04-22 12:51:52
陈自瑶好漂亮

陈自瑶好漂亮

娱乐圈酸柠檬
2024-04-04 22:19:37
尘埃落定!中国游泳东京奥运金牌取消悬念揭晓,世界泳联正式回应

尘埃落定!中国游泳东京奥运金牌取消悬念揭晓,世界泳联正式回应

大咖唠体育
2024-04-21 17:23:35
黄健翔带儿子看F1:我儿子比我熟,他非常喜欢F1

黄健翔带儿子看F1:我儿子比我熟,他非常喜欢F1

直播吧
2024-04-21 19:27:37
王炸!Netflix又出史诗级巨作,网友:终于来了

王炸!Netflix又出史诗级巨作,网友:终于来了

娱乐圈酸柠檬
2024-04-22 08:20:54
三十年未解之谜,“敌羞吾去脱他衣”的出处

三十年未解之谜,“敌羞吾去脱他衣”的出处

街机时代
2024-04-21 12:08:23
成本仅1500万,首映夺冠,没想到,吴京会以这种方式打出一副王炸

成本仅1500万,首映夺冠,没想到,吴京会以这种方式打出一副王炸

靠谱电影君
2024-04-20 14:41:57
理想的困境李想全责,细谈7点过错:mega设计根据自己需求非市场

理想的困境李想全责,细谈7点过错:mega设计根据自己需求非市场

杂谈哥闲谈
2024-04-19 23:28:00
万万没想到,祸害3年的新冠消失了,但有个奇怪现象你发现了吗?

万万没想到,祸害3年的新冠消失了,但有个奇怪现象你发现了吗?

无涯说法
2023-11-16 17:25:53
莫拉蒂:我们距离第二颗星只有一步之遥,如果张康阳留在国米很好

莫拉蒂:我们距离第二颗星只有一步之遥,如果张康阳留在国米很好

直播吧
2024-04-22 11:06:11
足球史上最伟大的10位亚洲球星!

足球史上最伟大的10位亚洲球星!

绿茵新星
2024-04-21 23:00:00
2024-04-22 14:08:49
虎嗅APP
虎嗅APP
个性化商业资讯与观点交流平台
21499文章数 684306关注度
往期回顾 全部

科技要闻

中国电池江湖:宁德时代与车厂博弈往事

头条要闻

广东省委书记、省长赶赴一线 在堤坝察看闸口泄洪状况

头条要闻

广东省委书记、省长赶赴一线 在堤坝察看闸口泄洪状况

体育要闻

太阳上来就被打崩了?

娱乐要闻

小马丁耍大牌?倒打黄子韬一耙

财经要闻

“网红”周鸿祎的生意经

汽车要闻

全系标配云辇-C!唐EV荣耀版上市

态度原创

本地
游戏
时尚
亲子
教育

本地新闻

春色满城关不住|千阳春日限定美景上线了!

《星刃》可在阿拉伯发售!沙特曾投资开发商

年纪大的女人,别乱买“裙子”!这4款裙子时髦、大气不显老

亲子要闻

小哥哥我来了!11个月的社牛宝宝用笑容征服小哥哥

教育要闻

我看这几天有的说难度下降题太简单了一眼就出答案了!得上难度

无障碍浏览 进入关怀版