网易首页 > 网易号 > 正文 申请入驻

llama.cpp 1.0:本地跑大模型,这些命令要改

0
分享至

11 月 13 号,llama.cpp 官宣了 1.0.0。这个在自家电脑上跑大模型的底座,从最初那几百行代码,一路迭代了三年半,终于把版本号推到了 1.0。

这次升级最值得说的,不是跑得更快,而是接口稳了。llama.cpp 和底层张量库 ggml 一起进入 1.0,正式确立语义化版本规则:公共 C API 的破坏性变更,以后走主版本号。下游做封装、做应用的,不用再盯着某个 commit 锁死,从版本号上就能判断升级会不会把现有代码改坏。

Ollama、LM Studio、Jan、LocalAI 这些常用的本地推理工具,底层都是 llama.cpp。1.0 落定,等于给整个本地推理生态打了个地基。



命令层面,这几处要改

对用的人来说,1.0 最实在的变化在命令上,旧配置有几处直接失效:

- `--mlock` 和 `--no-mmap` 没了,统一改成 `--load-mode`。以前靠这两个参数锁内存、关映射的,现在一个 `--load-mode` 控制。

- 默认端口变了,从 8080 改成 9931。旧命令起服务又没显式写端口的,连不上先查这个。

- 安全收紧。用非本机地址 `--host`、又开着工具或 MCP 时,1.0 会拒绝启动,必须加 `--api-key`。别再用 `--allow-unauthenticated-tools` 绕过,直接给个密钥更省事。

- 模型下载目录可用 `LLAMA_CACHE` 指定,不设的话默认落在当前账户的 `~/.cache/llama.cpp`。

功能层面,多了些新东西

1.0 也加了实打实的能力:OCP FP8 的 KV 缓存,能省显存;MoE 模型的专家缓存放到主机内存,还能配 CPU 占比;新增 OpenAI 兼容的 `/v1/audio/speech` 端点,能直接从服务器生成语音;支持 Kimi-K3.1-Pro、Ripple 等新模型架构;网页界面重做,带聊天分组和 Markdown 编辑器。目前支持的模型架构超过 150 种,主流推测解码方法也都覆盖了。

可照做:装好、跑起来

装 1.0 很简单,一行命令。macOS 和 Linux:

```bash

curl -LsSf https://llama.app/install.sh | sh

Windows PowerShell:

```powershell

irm https://llama.app/install.ps1 | iex

不想用脚本,也可以从 GitHub 仓库克隆源码,按官方 build 指南编译。装完起服务:

```bash

llama-server -m model.gguf --load-mode auto -c 8192

把 `model.gguf` 换成你的模型文件,`-c` 是上下文长度。服务要对外暴露的话,记得加 `--api-key`,端口按 9931 或你自己定的来。

注意

- 从旧版本升上来,先检查 `--mlock`、`--no-mmap`、端口这几处,旧命令可能直接起不来。

- `--host` 指向非本机地址时,不加 `--api-key` 服务会拒绝启动,这是 1.0 的安全默认。

- 依赖 C API 做集成的,按 1.0 的破坏性变更清单核对一遍接口。





llama.cpp 1.0 的意义,在于把本地推理的接口契约定下来。对用的人来说,记住三件事:`--load-mode` 替代旧参数,默认端口 9931,对外暴露记得加 `--api-key`。把这几处改对,1.0 就能稳稳当当在自家电脑上跑起来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

瓦砾村夫
2026-11-18 01:01:37
比亚迪王传福:外界有一些误会,中国制造不是抢饭碗

比亚迪王传福:外界有一些误会,中国制造不是抢饭碗

极目新闻
2026-11-17 18:03:37
APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

极目新闻
2026-11-18 10:24:16
联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

醉卧浮生
2026-11-18 15:02:34
六旬男子约按摩女发生关系,十分满意付了2000元,谁知女子扭头就把他告了

六旬男子约按摩女发生关系,十分满意付了2000元,谁知女子扭头就把他告了

江山挥笔
2026-11-18 14:13:58
普京到访深圳北理莫斯科大学

普京到访深圳北理莫斯科大学

极目新闻
2026-11-18 15:53:16
突发!黄仁勋黄乐最新消息曝光,大开眼界!

突发!黄仁勋黄乐最新消息曝光,大开眼界!

财经要参
2026-11-18 12:00:05
谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

不写散文诗
2026-11-18 13:55:13
反华五年终于到头!立陶宛会谈结束后,中方终于点头,同意沟通

反华五年终于到头!立陶宛会谈结束后,中方终于点头,同意沟通

共工之锚
2026-11-18 11:11:27
杨瀚森翻译:别管杨瀚森在哪个队,只要好好提升就好;诺里是敞亮人

杨瀚森翻译:别管杨瀚森在哪个队,只要好好提升就好;诺里是敞亮人

懂球帝
2026-11-18 15:54:10
黄仁勋35岁女儿被曝是“尖叫公主”,已致12名高管辞职,虎父无犬女引发争议

黄仁勋35岁女儿被曝是“尖叫公主”,已致12名高管辞职,虎父无犬女引发争议

译言
2026-11-18 07:30:17
蔚来向公安机关报案

蔚来向公安机关报案

极目新闻
2026-11-17 14:00:24
中俄美元首首次三方"面谈" 深圳迎来历史性会晤

中俄美元首首次三方"面谈" 深圳迎来历史性会晤

看看新闻Knews
2026-11-17 23:12:04
7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

我爱英超
2026-11-18 08:58:01
国家统计局发布2026年10月份分年龄组失业率数据

国家统计局发布2026年10月份分年龄组失业率数据

界面新闻
2026-11-18 14:03:03
“深圳人全妆出街迎APEC”,冲上热搜

“深圳人全妆出街迎APEC”,冲上热搜

极目新闻
2026-11-18 10:22:19
湖人9连胜!新援格莱姆斯轰47分创多项神迹:比肩科比+超东契奇

湖人9连胜!新援格莱姆斯轰47分创多项神迹:比肩科比+超东契奇

Emily说个球
2026-11-18 15:08:35
加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

极目新闻
2026-11-18 14:20:01
“立肛高见”又一次让国产大模型瑟瑟发抖

“立肛高见”又一次让国产大模型瑟瑟发抖

问道求真
2026-11-18 07:08:33
深圳APEC领导人会议今日开幕,你必须知道的10件事

深圳APEC领导人会议今日开幕,你必须知道的10件事

刘润
2026-11-18 08:07:50
2026-11-18 18:07:00
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
747文章数 9866关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
家居
房产
旅游
本地

《八部宽的个人主页》开放愿望单,计划2027年春季发售

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

效果图曝光!三亚超级万象城,长这样!

旅游要闻

明孝陵石象路有小游客攀爬石马,景区:加强巡查,呼吁家长引导孩子遵守文明规范

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版