Ollama 近日发布了 v0.11.11 版本,该版本于 2025 年 9 月 12 日进入预发布阶段,并于 9 月 16 日正式推出。本次更新涵盖了多项重要改进,包括对 CUDA 13 的全面支持、内存使用效率的优化、应用交互体验的提升以及多项错误修复,进一步增强了 Ollama 在本地大模型推理和部署方面的能力。
更新内容
• 支持CUDA 13
• 在 Ollama 应用中使用gpt-oss时改进了内存使用
• 在 Ollama 应用中提交长提示词时改进了滚动体验
• 在 Ollama 应用中,使用Cmd + / Cmd -现在可以放大和缩小文本
• 现在可以在 Ollama 应用中复制助手的消息
• 修复了在尝试导入satefensor文件时出现的错误
• 改进了混合模型和循环模型的内存估算
• 修复了当批量大小大于上下文长度时发生的错误
• 修复了Flash Attention和KV 缓存量化的验证问题
• 为嵌入请求添加了dimensions字段
• 默认启用 Ollama 新引擎中的新内存估算功能
• Ollama 将不再在 Ollama 引擎中加载分离的视觉模型
v0.11.11 版本新增了对 CUDA 13 的支持,使得用户可以在更高版本的 NVIDIA 驱动和计算平台上运行 Ollama,享受更佳的兼容性和性能表现。这一改进尤其适合使用最新 GPU 硬件的用户,为其提供更稳定的运行环境。
二、内存使用优化
本次更新在内存管理方面进行了多项改进:
1.GPT-OSS 模型内存使用优化:在使用 Ollama 应用运行 GPT-OSS 模型时,内存占用显著降低,提升了长时间运行的稳定性。
2.混合模型与循环模型内存估算改进:新版本提供了更准确的内存预估机制,帮助用户更好地规划资源分配。
3.默认启用新内存估算机制:Ollama 新引擎现已默认采用更高效的内存管理策略,进一步提升资源利用率。
v0.11.11 在用户交互方面也带来了多项优化:
•长提示词输入滚动体验改善:在提交较长提示词时,应用的滚动行为更加流畅。
•文本缩放支持:用户现在可以使用
Cmd + +/-
快捷键快速调整文本大小,提升阅读和编辑体验。•助手消息复制功能:用户可以直接复制助手生成的消息内容,方便后续使用或分享。
本次更新修复了多个已知问题,包括:
• 修复了在尝试导入 safetensors 文件时可能出现的错误。
• 修复了当批处理大小超过上下文长度时导致的错误。
• 修复了 Flash Attention 和 KV 缓存量化验证中的问题。
• 修复了 Gemma2 模型在使用 Flash Attention 时的不必要警告。
• 修复了在 Ollama 引擎中加载分割视觉模型时的问题。
•嵌入请求维度字段支持:新增了
dimensions
字段,使得嵌入请求更加灵活。•Windows CUDA 构建修复:修复了 Windows 平台下的 CUDA 构建问题,提升了跨平台兼容性。
•部分测试用例优化:减少了 CPU 压力测试的模型数量,提升了测试效率。
Ollama v0.11.11 是一个功能丰富、优化显著的版本,不仅在性能、内存管理和兼容性方面有所提升,还大幅改善了用户体验。无论是研究者、开发者还是普通用户,都能从中受益。建议所有用户升级至该版本,以获取更稳定、高效的使用体验。
我们相信人工智能为普通人提供了一种“增强工具”,并致力于分享全方位的AI知识。在这里,您可以找到最新的AI科普文章、工具评测、提升效率的秘籍以及行业洞察。 欢迎关注“福大大架构师每日一题”,发消息可获得面试资料,让AI助力您的未来发展。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.