山东
分享至
近日，NVIDIA宣布其NIM（NVIDIA推理微服务）技术现已支持DeepSeek-R1。NIM是一种云原生微服务技术，旨在简化生成式AI模型在云计算、数据中心及GPU加速工作站上的部署流程。
NVIDIA官网发布的文章指出，DeepSeek-R1是目前最先进的推理开放模型。该模型通过对查询进行多次推理处理，采用连锁思维、共识和搜索方法来生成最佳答案。为了帮助开发者安全地试验这些功能，并构建自己的专门代理，DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版上线使用。
在性能测试方面，根据外媒的测试，RTX 5090在DeepSeek R上的推理性能显著优于AMD的RX 7900 XTX，性能至少翻了一倍。测试结果显示，在多个DeepSeek R1型号中，RTX 5090不仅明显领先于RX 7900 XTX，也比RTX 4090快了不少。
在Distill Qwen 7b和Distill Llama 8b模型中，该RTX 5090每秒可执行200个Tokens，几乎是RX 7900 XTX的两倍。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
