大家好,我是 Ai 学习的老章
大家好,通义千问又发布新模型了,依然是老味道(),抢去了。
说实话,我对阿里通义千问十分喜爱,单说私有化部署,成本比 DeepSeek 低很多倍。私有化部署 DeepSeek- V3 或 R1,纯硬件成本保底 150 万(英伟达 H20 141GB 版),如果是国产算力,保底 200 万了。但是 QwQ:32B,只需要 4 张 4090 就行了(成本 10 几个 w),表现非常优异,很多场景可以替代 DeepSeek。
具体参看
Qwen2.5-VL-32B 简介
关键增强功能:
通过视觉理解:Qwen2.5-VL 不仅擅长识别常见的花朵、鸟类、鱼类和昆虫,而且能够高效地分析图像中的文本、图表、图标、图形和布局。
具有自主性:Qwen2.5-VL 直接扮演视觉代理的角色,能够进行推理并动态指导工具使用,具备计算机使用和手机使用的能力。
理解长视频并捕捉事件:Qwen2.5-VL 能够理解时长超过 1 小时的视频,并且这次它新增了捕捉事件的能力,能够定位相关的视频片段。
Qwen2.5-VL 能够在不同格式下进行视觉定位:Qwen2.5-VL 可以通过生成边界框或点来准确地在图像中定位物体,并可以提供稳定的 JSON 输出以供坐标和属性使用。
大家可以在https://chat.qwen.ai/体验,在Qwen Chat上直接选中Qwen2.5-VL-32B即可。![]()
大家可以看前文:
或者可以看阿里官方博客的介绍:https://qwenlm.github.io/zh/blog/qwen2.5-vl-32b/
本文我们主要介绍 Qwen2.5-VL-32B 本地化部署
下载模型
从 modelscope 下载,毕竟 huggingface 网不通。 模型文件:https://modelscope.cn/models/Qwen/Qwen2.5-VL-32B-Instruct/files
安装 modelscope:pip install modelscope
下载完整模型库:modelscope download --model Qwen/Qwen2.5-VL-32B-Instruct --local_dir /home/data-local/qwen25VL
将模型下载到指定的本地目录/home/data-local/qwen25VL中。
一共 65 个 G
vLLM
安装 vllm:pip install vllm
运行大模型:
vllm serve /ModelPath/Qwen2.5-VL-32B-Instruct --port 8000 --host 0.0.0.0 --dtype bfloat16 --tensor-parallel-size 4 --limit-mm-per-prompt image=5,video=5 --max-model-len 16384我只有 4 张 4090,--tensor-parallel-size指定 4
如果安装官方建议的运行脚本,不断报 OOM,不断调低--max-model-len这个参数才跑起来。
使用
直接上openweb-ui
安装:pip install open-webui
运行:open-webui serve
浏览器打开http://locahost:8080
如果是服务器部署,把localhost改为服务器 ip
正常注册登陆
右上角点击头像,点击管理员面板
点击设置 - 外部链接,照着抄一下,api key 随便填写
然后回到前端,左上角添加模型那里就可以找到Qwen2.5-VL-32B-Instruct了
卡不够的同学,可以等等量化版或 7B 版本。88
制作不易,如果这篇文章觉得对你有用,可否点个关注。给我个三连击:点赞、转发和在看。若可以再给我加个,谢谢你看我的文章,我们下篇再见!
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.