随时随地的AI助手：轻薄笔记本上的本地大模型应用

这几个月，随着DeepSeek等AI大语言模型的普及，越来越多的人开始认识到这些助手在日常生活和工作中的巨大潜力。尽管云端提供的AI助手能够提供随时随地的服务，但隐私问题始终是用户关注的焦点。因此，能够在本地部署的大语言模型逐渐成为一种需求。

以往我们在谈论本地部署AI大模型的应用的时候基本上都是基于搭载了独显的台式机，但实际上用笔记本的人比用台式机多得多，配备高性能独显的游戏本自然可以轻松运行大模型，但更多人用的还是没有独显的轻薄本。以往的旧款产品其核显AI算力有限，让它们去跑本地模型确实有点为难，但英特尔最新酷睿Ultra 200V和200H系列处理器的核显都具备XMX矩阵引擎，可提供强劲的AI算力，用搭载这些处理器的轻薄本部署本地AI大语言模型是可行的。

今天我们就用华硕新推出的灵耀14 2025款来实战一下，它搭载了刚推出没多久的Arrow Lake-H酷睿Ultra 9 285H处理器，这款新处理器采用Lion Cove架构P核，Skymont架构E核，拥有6P+8E+2LP E核共20线程，并配备锐炫140T核显，升级为Xe-LPG+，和上代产品所用的Xe-LPG相比增加了XMX矩阵引擎，让核显的AI算力增加了4倍达到77 TOPS，还有一个13 TOPS的NPU，让这颗处理器可以胜任一定的AI任务。

华硕灵耀14 2025款简介

测试所用的华硕灵耀14 2025款是专为追求高效率与高品质的办公人群设计的主流轻薄本，它除了使用酷睿Ultra 9 285H处理器之外，还搭载了32GB LPDDR5x-7467内存，1TB的PCIe 4.0 SSD，14英寸2880 x 1800@120Hz高刷屏，搭载75Whr的电池，整机重量只有1.19千克，厚度也只有13.9毫米，相当便于携带。

华硕灵耀14 2025款的HWiNFO信息截图

机器采用全铝合金机身，有夜空蓝和冰川银两种配色可选，通过简洁的线条设计出“A”字母Logo覆盖了A面大部分区域，左下角还有ASUS Zenbook标志，这外观设计继承了前代的简约时尚风格。

灵耀14 2025款使用14英寸OLED屏幕，屏幕长宽比是16:10，分辨率是2880 x 1800，峰值亮度600nits，支持HDR Ture Black 600，10bits色深，提供100% P3色域覆盖，并且拥有120Hz刷新率和0.2ms响应时间，确保了色彩准确性和流畅的视觉体验。屏幕上方搭载了1080p全高清摄像头和红外摄像头，具备红外人脸识别功能，能用人脸识别的Windows Hello，旁边还有个物理黒阀，可以物理遮蔽摄像头防止隐私渗漏。

触控板采用下凹设计，尺寸比较大，整合了虚拟数字小键盘，通过右上角的触控开关可以开启，左上角的触控开关则可调节这个小键盘的亮度。

机器的右侧提供了两个雷电4接口，一个3.5mm二合一音频口以及HDMI视频输出口，电源指示灯和充电提示灯也在这边，左侧只有一个USB 5Gbps Type-A口，它旁边就是散热器的出风口。

在轻薄本上部署Ollama

Ollama是一个比较轻松上手的开源的大型语言模型服务工具，可帮助用户快速在本地运行大语言模型。现在有基于IPEX-LLM的Ollama英特尔优化版，使用Xe架构的英特尔GPU上可以直接免安装直接运行Ollama，有兴趣的朋友可以在魔塔社区下载。

下载下来解压缩，然后双击“start-ollama.bat”文件就可以启动了，但在启动前请确保自己显卡的驱动版本是高于6559的，低于此版本的请去英特尔官网下载最新驱动。

看到这个弹窗就说明Ollama服务已经正确驱动

Ollama的默认模型安装位置是在C盘用户文件夹下的，如果需要改位置的话就得去改环境变量，具体位置在系统属性=》高级=》环境变量，在系统变量那里选择新建一个叫“OLLAMA_MODELS”的条目，变量值填你指定的模组下载文件夹即可，这样Ollama算是设置好了。

接下来打开命令提示符也就是CMD窗口，并进入你挤压后的文件夹路径，然后输入指令ollama run+你需要的模型名字，比如我们上面输入的是ollama run deepseek-r1:7b就是运行DeepSeek R1 7B模型，由于首次运行没有检测到本地模型，Ollama会帮你把模型自动下载并安装，下载完成后你可以直接在这里输入你想问的问题。

当然了用命令行和模型聊天不是长久办法，你还得套一层UI。这里我就选择了使用浏览器插件Page Assist，该插件在Edge和Chrome的应用商店都有，除了本地的Ollama外，它还支持Chrome AI和OpenAI兼容的API。

安装完Page Assist后，在Ollama Library上的模型页面会多个下载标识，这样你就可以通过插件直接在浏览器上下载模型，方便得多。

Page Assist并不需要做什么特殊设置，最多改下软件语言，有语音输入输出需求的还可以自行修改对应设置，它是支持网络搜索的，可以选择搜索引擎，这样就能让AI帮你筛选网上的信息了。插件还带有模型管理功能，可以查看或删除Ollama已经下载好了的模型。

设置好后把Page Assist开打，在左上角选择你下好的模型，然后就可以问机器人各种问题了，Ollama会自动检测并使用可用的GPU资源，无需额外配置。我们在这台轻薄本上试用了DeepSeek-R1-Distill-Qwen-7B和DeepSeek-R1-Distill-Qwen-14B这两个模型，均使用同一道数学题提问，在使用DeepSeek R1 7B模型时的生成速度是14.02 tokens/s，而使用DeepSeek R1 14B模型时的生成速度是7 tokens/s。

如果在cmd窗口用命令行ollama run deepseek-r1:7b(或14b) --verbose 的话，同样可以得到运行速度DeepSeek R1 7B是17token/s，DeepSeek R1 14B能到9.7tokens/s，由此可见，虽然14B模型提供了更高的准确性，但在性能方面略逊一筹。

使用7B的模型时的生成速度是可以的，14B模型速度是有点慢，但实际上最为常见的8GB显存独显因为显存不够的原因跑不了这个模型，而酷睿Ultra 9 285H最大共享内存能到17.9GB，跑这个参数的模型是没问题的。

如果不喜欢用浏览器插件的话，也可以尝试使用Chatbox AI应用程序，它一款AI客户端应用和智能助手，支持众多先进的AI模型和API，首次启动时请选择“使用自己的API Key或本地模型”，然后选择OLLAMA API后一般会自动添加域名，如果没有的话可以将API域名设置为http://127.0.0.1:11431，保存后应该就选择Ollama下载好的模型了。

设置好后会到聊天窗口，输入问题后看任务管理器里面的GPU占用，如果占满的话正面已经成功运行了，与Page Assist相比，Chatbox作为应用程序功能更强大，可接入其他在线AI API，支持多模态，但搜索功能依赖AI模型提供方，而Ollama本身没提供这功能，要添加比较麻烦。

Flowy AI PC助手

如果看完上面的教程还是觉得太复杂的话，可以试下这个Flowy AI PC助手，它同样支持本地部署AI大模型，自带图形界面，无需通过命令行结合其他Web UI。一键安装后即可通过图像UI部署离线模型使用，且内置多种会议助手、翻译助手等特定场景助手，可辅助完成任务。

Flowy AI PC助手下载模型相当便利，进入模型市场就能找到本地模型的下载，提供了llama3.1 8B、DeepSeed R1 7B到32B以及Qwen 2.5 0.5B和7B这些模型的下载。

同时它还提供了DeepSeek V3与R1、GLM-4 Flash和豆包这些云端模型服务

这个软件实际在本地跑的也是Ollama，实际上我们什么模型都没下，就已经在聊天窗口的模型切换中找到了此前在Ollama里装好的模型，此外我们能够在聊天窗口实时切换。

Flowy在使用本地AI模型的时候同样会调用锐炫140T GPU来进行推理，文本生成速度其实还可以，虽然本地模型由于规模较小的关系，生成的东西其实没云端模型那样细腻和准确，但胜在私密性和安全性更好，而且断网状态下也可使用。

本地部署Moonlight MoE模型

Moonlight作为月之暗面Moonshot开源的第一款大模型，拥有16B的完整参数和3B的激活参数。也就是说这是一个MoE（Mixture of Experts）模型，这类模型采用了“专家”系统的设计理念，其中包含多个子模型（称为“专家”）。每个专家负责学习数据的一个特定方面。在预测时，通过一个门控网络决定哪个或哪些专家参与决策过程，从而实现动态分配计算资源。

MoE模型推理阶段可以只激活部分专家，而不是整个模型的所有组件。这意味着即使是在资源有限的设备上，也可以部署较大规模的模型，并以较低的计算成本运行，也就是说MoE模型其实非常适合算力有限，但可共享大量内存的轻薄本。

该模型运行需要用到Miniforge这个程序，由于安装和运行过程都是在命令行中执行的，所以需要一定基础，这里就不写具体教程了，想了解的朋友可以自行到Github学习。

模型的名字是moonlight-16B-A3B-instruct，前面的16B是它的完整参数是160亿，后面的A3B代表激活参数是30亿。运行是基于ipex-LLM库的，它作为Intel专为大语言模型在Intel平台（CPU/GPU/NPU）加速的PyTorch库，对于新模型的适配速度很快，且运行效果优秀，十分契合酷睿Ultra200H平台本地部署大语言模型的需求。

可以看到它运行速度要远比我们上面运行Ollama更快，首token耗时14.52ms，平均生成速度是43token/s，在轻薄本上也能实现如此生成速度确实了得，接下来就看开发者什么时候为它套上图形界面了，现阶段用命令行确实挺难受的。

全文总结

本文的实践充分证明，搭载新一代酷睿Ultra处理器的轻薄本已不再是AI部署的“局外人”。借助Ollama、Flowy AI等工具的优化与简化，用户无需复杂配置或昂贵硬件，即可在无独显的轻薄本上流畅运行7B至16B参数的本地大语言模型。无论是通过浏览器插件快速调用模型，还是借助图形化界面实现一键部署，这些方案都大幅降低了技术门槛，让AI真正触手可及。

更重要的是，这种“轻量化+本地化”的模式，不仅解决了隐私安全的核心痛点，还为用户提供了高性价比的AI普及路径——无需依赖云端算力或专业设备，日常办公本即可成为私有化AI助手的中枢。随着英特尔XMX引擎、NPU算力的持续升级，以及MoE等高效模型的涌现，未来轻薄本的AI能力还将进一步突破。

总之，随着硬件的进步和技术的发展，现在每个人都可以在自己熟悉的设备上享受AI带来的便利。无论是在家中的休闲时光，还是办公室里的忙碌时刻，AI大语言模型都将成为不可或缺的一部分，帮助我们更好地完成任务，提升生活质量。