【高效AI工具】丨第十二讲：ollama-在电脑上部署最强开源AI

高效AI工具

12

ollama

高效AI工具系列主要为大家介绍各类可以有效提升生产力的AI工具，让大家学会用AI制作PPT，以及各类复杂的智能体，比如论文撰写、AI搜索引擎生成复杂报告的工具等，帮助大家进一步自如地将AI的能力发挥到极致。欢迎大家订阅本公众号，持续进行学习。

现在已经有非常多的开源大模型，完全公开了模型的权重，可以免费部署到自己的电脑或者服务器中，比如接近GPT-4能力的通义千问开源大模型Qwen-2，以及智谱AI的GLM-4-9B模型，还有META的llama3模型。

但是如果直接下载这些模型，会发现我们自己的显卡不够用，因为这些大模型即使是9B参数，远小于ChatGPT的1750亿参数，在我们个人电脑上，显卡内存不超过14G都很难流畅运行，会出现一分钟回答只有几个字的慢吞吞的情况：

它就这样一直转圈圈半天不说话

而能运行这类模型的显卡，类似一块 GeForce RTX 4060 Ti 16GB 显卡市场价超过 3000 元，这不是普通人能用得起的。

这时候我们就需要将模型“量化”，也就是将模型权重的有效数字减少，降低一点精度，换来运行的流畅度，而现在有一种不需要编程的方式，就是使用ollama这个大模型管理工具，它能很方便地让你轻松使用开源大模型。

首先我们要去ollama官网https://ollama.com/，下载并安装这个软件，一路确认到安装完毕。

然后我们打开命令行（windows下点击左下角搜索cmd）

然后在打开的界面输入命令即可将大模型下载到电脑中，比如我们想下载通义千问7B参数的模型，输入：ollama run qwen2，模型就会自动下载，下载完毕之后就可以聊天了：

在官网https://ollama.com/library这个地址中，可以查阅所有可下载的模型：

点击进去可以查看下载模型需要的命令以及模型的介绍：

需要注意的是，这些模型都非常大，一般下载下来都需要1G以上的内存，平均在3-4G，而且默认安装在C盘。我们在命令行输入ollama list可以看到我们安装了哪些模型：

如果希望模型安装在其他盘，需要打开系统环境变量设置ollama下载模型的位置。新增一个变量为OLLAMA_MODELS，设置为D:\Ollama，这样ollama下载模型就会放到D盘Ollama文件夹下面，不会占用C盘存储空间。

OK，以上就是如何在电脑上安装开源大模型的介绍，相信未来开源大模型会越来越强，每个人都有一个独一无二的聪明AI助手的时代很快会来临！

关注点宽学园

每周持续更新AI系列课程

小U带你进入人工智能世界

我们下节课见啦

即日起，本公众号将持续更新【高效AI工具】系列文章。最新AIGC系列文章、资讯、及直播课程大家可关注小红书账号【AI丽塔-智能】。

即日起每周持续更新，扫码了解更多

AI直播/资讯更新

小红书账号

AIGC相关课程咨询

点宽小助手

扫码回复“AIGC”咨询课程