IT之家 5 月 20 日消息,英伟达今日宣布推出 NVIDIA TensorRT for RTX,支持 Windows 11 系统,将为 GeForce RTX 全系显卡提供 TensorRT AI 推理加速框架,速度相当于 DirectML 方案两倍。该框架将于 6 月通过开发者官网正式推送。
技术细节显示,TensorRT 原生兼容 Windows ML 框架,ComfyUI 应用在其中相比 DirectML倍性能翻倍,而其他应用也有1.5~1.7 倍的性能表现。
此外,TensorRT支持即时 GPU 专属优化,推理库文件体积缩减至原有 1/8。
IT之家从官方获悉,英伟达目前已经为超 150 个 AI SDK 提供支持,并承诺本月还将推出 5 个全新的 ISV 集成,包括:
- LM Studio(最新 CUDA 性能提升 30%)
- Topaz Video AI(GenAI 视频加速 CUDA)
- 哔哩哔哩(NVIDIA Broadcast Effects)
- AutoDesk VRED (DLSS 4)
- Chaos Enscape (DLSS 4)
英伟达表示:“当前 AI PC 软件生态迫使开发者在广泛硬件支持与高性能优化间抉择。全新 Windows ML 推理框架通过 ONNX Runtime 构建,与各硬件厂商优化的 AI 执行层无缝衔接。针对 RTX 显卡,Windows ML 会自动调用 TensorRT for RTX—— 专为高性能快速部署优化的推理库。相较 DirectML,TensorRT 可为 PC 端 AI 工作负载提供超 50% 的性能提升。”
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.