当下人工智能的发展使得AI相关的应用已经不再是企业的专属需求,因为个人对于AI的需求也是同样需要关注的。而也正是基于不少用户对于AI本地部署的需求,专注大模型推理优化的趋境科技发布了灵启Spark,一个可以让你个人专属的的超级AI Lab,可以帮助个人和企业实现低成本落地去轻松使用AI大模型,关键是开机即用还能支持多模型并行推理说到趋境科技,这是一家致力于打通大模型部署“最后一公里”的前沿科技公司,其技术团队来自清华大学计算机系高性能计算所,拥有十余年的高性能计算、分布式存储、AI计算引擎优化等领域经验,目前主营业务是专注大模型推理的优化,助力企业低成本使用AI大模型。这次趋境·灵启Spark的发布,更多的则是面向个人桌面端场景下用户AI需求,妥妥的一个迷你体积的桌面级AI实验室。
![]()
目前市面上各种的云端API 相关的AI产品,每次使用需要较高成本的同时,还得接受数据上云的不确定,本地部署自然成为更为理性的解决方案。趋境·灵启Spark已经不是一个简单定位的AI主机,而是一套工程化答案,用户入手之后直接就能实现一次性的交付,并保证工程级别的稳定性,开箱就用真就十分方便。
![]()
设备内置智谱 GLM-4.5-Air 106B 大模型和趋境科技的自研大模型推理引擎,UI交互方便易用,而且开机无需耗时配置就能直接使用,根本无需调参,开机即可进入高效创作状态。
![]()
真正的实现从“能跑”到“跑得稳”确实意义重大,趋境·灵启Spark工程级运维设计在真实业务场景中表现出色,其内置的智能运维与预警机制,可在运行前与运行中,直接提前识别显存溢出风险并规避推理异常,从而设备可以保障长时间任务的连续运行,这也使它不再是“实验室玩具”,而是可直接进生产系统的 AI 基础设施。
![]()
趋境·灵启Spark这迷你的体积状态下还有着出色的性能,其单并发推理速度:30 tokens/s,预填速度:2100 tokens/s,甚至支持 100K 超长上下文,其运行模型精度为趋境支持的官方量化nvFP4精度,与原精度相比误差不超过 0.1%,性能相当夸张,二者也是趋境在模型压缩、推理调度与异构计算上的长期的核心技术积累。
![]()
内置的完整开发生态,直接涵盖了从模型定制到智能应用的完整的链路,自带的趋境·智问智能办公助手提供本地知识库和AI的对话内容,可以直接管理私密的科研资料,甚至无需编写代码就能实现对32B及以下模型的可视化微调,而我觉得最为刚需的还是其内置的PandaWiki知识库搭建系统,可以实现让咱的知识管理和内容生产全面的速度提升。
![]()
而且值得注意的是,趋境·灵启Spark不是一个单一模型,而是完整 AI 应用底座,在 GLM-4.5-Air 之外,它还支持Embedding/Rerank/VL(视觉语言)模型等等;
![]()
多实例并行推理的能力保证了这款设备可以直接支撑本地知识库/RAG系统以及一个多模态AI助手,后期想象空间巨大,不知道你们觉得这么一款体积小巧、功能出色的个人专属的超级AI Lab的趋境·灵启Spark是否足够让人期待呢?
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.