IT之家 2 月 5 日消息,据华为官方公众号,2 月 4 日,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro 正式上线昇腾社区,支持一键获取DeepSeek 系列模型,支持昇腾硬件平台上开箱即用,推理快速部署。
IT之家附模型调用方式如下:
权重转换
GPU:
gitclonehttps://github.com/deepseek-ai/DeepSeek-V3.gitcdDeepSeek-V3/inference/pythonfp8_cast_bf16.py--input-fp8-hf-path/path/to/DeepSeek-V3--output-bf16-hf-path/path/to/deepseek-v3-bf16
NPU:
gitclonehttps://modelers.cn/MindIE/deepseekv3.gitcdNPU_inference/pythonfp8_cast_bf16.py--input-fp8-hf-path/path/to/DeepSeek-V3--output-bf16-hf-path/path/to/deepseek-v3-bf16
加载镜像
在昇腾社区 / 开发资源下载适配 DeepSeek-V3 的镜像包:
mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64
完成之后,请使用 docker images 命令确认查找具体镜像名称与标签。
dockerload-imindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64(下载的镜像名称与标签)
容器启动
提供的 MindIE 镜像预置了 DeepSeek-V3 模型推理脚本,从您信任的来源自行获取权重后,放置在从上述下载的模型代码的主目录下,修改模型文件夹属组为 1001,执行权限为 750,启动容器。
chown-R1001:1001/path-to-weights/deepseekv3chowd-R750/path-to-weights/deepseekv3
服务化测试
配置服务化环境变量,expandable_segments-使能内存池扩展段功能,即虚拟内存特性。
exportPYTORCH_NPU_ALLOC_CONF=expandable_segments:True
修改服务化参数
cd/usr/local/Ascend/mindie/latest/mindie-service/vimconf/config.json
拉起服务化
#设置显存比exportNPU_MEMORY_FRACTION=0.95#拉起服务化cd/usr/local/Ascend/mindie/latest/mindie-service/./bin/mindieservice_daemon
出现“Daemon start success!”,则认为服务成功启动。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.