网易首页 > 网易号 > 正文 申请入驻

Mac专属大模型框架来了!两行代码部署,能聊本地数据,支持中文

0
分享至

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

Mac用户,终于不用羡慕N卡玩家有专属大模型Chat with RTX了!

大神推出的新框架,让苹果电脑也跑起了本地大模型,而且只要两行代码就能完成部署。



仿照Chat with RTX,框架的名字就叫Chat with MLX(MLX是苹果机器学习框架),由一名OpenAI前员工打造。

黄院士的框架里有的功能,例如本地文档总结、YouTube视频分析,Chat with MLX里也都有。

而且包括中文在内共有11种可用语言,自带支持的开源大模型多达七种。



体验过的用户表示,虽然计算量负担对苹果设备可能大了点,但是新手也很容易上手,Chat with MLX真的是个好东西。



那么,Chat with MLX的实际效果究竟怎么样呢?

用MacBook部署本地大模型

Chat with MLX已经集成到了pip命令中,所以在有pip的条件下,只需要一行代码就能完成安装:

  • pip install chat-with-mlx



安装完成后,在终端中输入chat-with-mlx并按回车,就会自动完成初始化并弹出网页(第一次启动及下载模型时需要连接到Hugging Face服务器)。



△Chat with MLX实测效果

将这个页面向下翻,选择想用的模型和语言后点击Load Model,系统就会自动下载模型信息并加载。

注意如果中途需要更换模型,需要先将前面的模型Unload再选择新模型。

其他模型只要Hugging Face上有并且兼容MLX框架,也可以手工添加,方法可以到GitHub页中了解。



如果要使用自有数据,需要先选择类型(文件或YouTube视频),然后上传文件或填写视频链接,并点击Start Indexing建立索引。

按照开发者的说法,只要不点击Stop,再次上传新文件后数据是累加的。

当然,也可以不传数据,直接当成普通大模型来用。



为了避免推理时间过长,我们选择了规模较小的Quyen-SE来进行测试。

(Quyen-SE基于阿里的通义千问改造而成,Chat with MLX的作者也参与了研发工作。)

首先看看模型不加定制数据的速度,在M1芯片的MacBook上,这个0.5B的模型表现是这样的,可以说比较流畅。



但在宣传中,Chat with MLX的主要卖点,还是本地RAG检索。

为了确保素材文档在模型的训练数据中不存在,小编从箱底翻出了自己不公开上网的本科毕业论文。

我们询问了论文中不同位置的细节,一共根据文章内容给Chat with MLX设计了十个问题。

其中有七个回答是正确(符合文意)的,不过速度和纯生成相比要略慢一些。



测试中我们还发现,模型还有一定的几率会把提示词吐出来,不过触发条件似乎没有什么规律。

但可以看出,为了提高模型的表现,作者已经把给小费这种新兴的提示词技巧都招呼上了。



整体感受下来,可能是受制于算力原因,在苹果设备上部署本地大模型,效果无法和英伟达的Chat with RTX相媲美。

同时,在GitHub上,也有许多用户反馈各种各样的安装失败问题,作者也都进行了回复或跟进,并把程序重新更新了一遍。



但无论如何,选择本地化部署,数据的安全性可能是更为重要的考量因素;而且从中可以看出,本地化、专属化的大模型,已经开始出现向消费级产品普及的趋势。

用网友的话说,升级AI PC的时间到了。



GitHub:
https://github.com/qnguyen3/chat-with-mlx

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
俄财政部长称俄罗斯人自己想提高税收,税收即将大幅上涨

俄财政部长称俄罗斯人自己想提高税收,税收即将大幅上涨

亡海中的彼岸花
2024-05-29 07:48:02
美国将对自中国进口的显卡、主板和台式机机箱恢复征收关税 6月15日生效

美国将对自中国进口的显卡、主板和台式机机箱恢复征收关税 6月15日生效

cnBeta.COM
2024-05-29 05:12:04
安切洛蒂:再赢得一次欧冠冠军后,我将在皇马退休

安切洛蒂:再赢得一次欧冠冠军后,我将在皇马退休

懂球帝
2024-05-29 09:52:16
中国正式回复泽连斯基,若他继续假装听不懂,普京恐不会再手软了

中国正式回复泽连斯基,若他继续假装听不懂,普京恐不会再手软了

千里持剑
2024-05-28 16:58:30
普京质疑泽连斯基继续任职,乌拉达主席回怼,先读读自家的宪法

普京质疑泽连斯基继续任职,乌拉达主席回怼,先读读自家的宪法

刀刀说事
2024-05-29 09:08:09
收视率飙升!森林狼挽救赛点,挑战NBA第一神迹,绿军成赢家

收视率飙升!森林狼挽救赛点,挑战NBA第一神迹,绿军成赢家

天涯沦落人
2024-05-29 11:14:42
20岁宁波女生留学新加坡蹊跷坠亡,家属:离毕业不到10天,部分财物遗失

20岁宁波女生留学新加坡蹊跷坠亡,家属:离毕业不到10天,部分财物遗失

极目新闻
2024-05-28 22:18:53
吃“春药”,是一种怎样的体验?分享2个案例,告诉你真实感受

吃“春药”,是一种怎样的体验?分享2个案例,告诉你真实感受

奇妙的本草
2024-05-23 19:00:03
国家安全部:1人向从事间谍活动嫌犯通风报信被行拘

国家安全部:1人向从事间谍活动嫌犯通风报信被行拘

新京报
2024-05-29 08:37:06
王伟中、许昆林、王浩、周乃翔、王凯、黄强,最新发声!

王伟中、许昆林、王浩、周乃翔、王凯、黄强,最新发声!

政知新媒体
2024-05-28 20:46:18
奥迪新车刚开七个月路边自燃烧毁,4S店:只能按三包赔付

奥迪新车刚开七个月路边自燃烧毁,4S店:只能按三包赔付

澎湃新闻
2024-05-29 07:14:45
对普通人喊打喊杀,对处级干部致人死亡却视而不见

对普通人喊打喊杀,对处级干部致人死亡却视而不见

顾礼先生
2024-05-28 16:08:19
中美最大对赌终于来了!外媒称中国巨头要求2027年芯片去美化,大V坚信:我们一定胜出

中美最大对赌终于来了!外媒称中国巨头要求2027年芯片去美化,大V坚信:我们一定胜出

老郭在学习
2024-05-29 10:59:42
情侣因长得太像,为满足好奇心去做亲缘鉴定,当事人:结果出来了

情侣因长得太像,为满足好奇心去做亲缘鉴定,当事人:结果出来了

风起云间
2024-05-28 21:48:26
iPhone15降价,中国销量激增52%!多数国人愿花费4000+买手机,仅33%人有高端手机,面临华为Mate 70竞争

iPhone15降价,中国销量激增52%!多数国人愿花费4000+买手机,仅33%人有高端手机,面临华为Mate 70竞争

和讯网
2024-05-29 09:47:24
乌克兰得到一笔“前所未有”的援助

乌克兰得到一笔“前所未有”的援助

环球时报国际
2024-05-27 23:57:17
1-3!加拿大女排输给美国队,减了4.16分,中国女排又收好消息

1-3!加拿大女排输给美国队,减了4.16分,中国女排又收好消息

湘楚风云
2024-05-29 11:08:43
英伟达大涨近7%,股价首次突破1100美元,市值一夜增加1.3万亿元!

英伟达大涨近7%,股价首次突破1100美元,市值一夜增加1.3万亿元!

21世纪经济报道
2024-05-29 08:21:39
这事儿|选调生不满嘉峪关,官方确认其已离职

这事儿|选调生不满嘉峪关,官方确认其已离职

澎湃新闻
2024-05-29 07:18:27
抢走小演员角色,金晨被观众骂到“自闭”,庆余年这么大流量,愣是一点也不敢露面宣传

抢走小演员角色,金晨被观众骂到“自闭”,庆余年这么大流量,愣是一点也不敢露面宣传

来电娱乐
2024-05-27 19:39:10
2024-05-29 14:46:44
量子位
量子位
追踪人工智能动态
9453文章数 175295关注度
往期回顾 全部

科技要闻

王传福再放狠话,燃油车要成“非主流”

头条要闻

白天辉4年受贿11亿元获死刑 曾在反腐片里揭露赖小民

头条要闻

白天辉4年受贿11亿元获死刑 曾在反腐片里揭露赖小民

体育要闻

阿根廷一代神锋,击碎了沙特的金元足球梦

娱乐要闻

张若昀怎么剧外比剧内更惨兮兮…

财经要闻

东方通收购藏雷 花6亿买来"业绩变脸"

汽车要闻

新哈弗H6苦练内功 向燃油车绝缘智能SAY NO

态度原创

手机
游戏
数码
教育
军事航空

手机要闻

vivo S19续航体验 功能机般耐用拒绝每天充电

初来乍到的《世界启元》 为何能打破SLG游戏“非肝即氪”的铁律?

数码要闻

24Q1 PC GPU报告:AMD环比降13.6%、英特尔降9.6%、英伟达降 7.7%

教育要闻

再不看来不及了!高考日语阅读题型及解题关键剖析!

军事要闻

美国一架F-35坠毁 飞行员弹射逃生被送医

无障碍浏览 进入关怀版