新京报贝壳财经讯(记者罗亦丹)9月1日,科大讯飞全资子公司词元星火正式推出并开源星火X2.5-4B和星火X2.5-1.7B两款端侧通用大模型。
端侧模型由于可以断网运行,常用于手机、PC、汽车座舱、智能家居和机器人等终端设备。星火X2.5-4B和1.7B原生支持最长100万Token上下文,两款模型采用混合注意力架构,并围绕智能体、代码、数学和指令遵循等核心能力进行优化。
以产品售后为例,用户可将完整的产品售后手册导入星火X2.5-4B,先梳理不同场景下的售后规则并标注对应章节;当进一步询问“购买10天后设备故障,且使用过第三方耗材,是否符合换货要求”时,模型能够关联退换货、故障处理和例外条件等跨章节规定,给出综合判断。
星火X2.5-4B和1.7B基于全国产算力平台完成全流程训练,使用约20万亿Token多样化数据进行预训练,并通过高质量监督微调和强化学习训练,持续提升模型在推理、代码、智能体和指令遵循等任务中的表现。全国产算力训练,为端侧智能构建了自主、可持续演进的技术底座。
在部署层面,两款模型支持英伟达、华为、海光及后摩等硬件平台,兼容vLLM、SGLang、llama.cpp等主流推理框架,可通过Ollama、LM Studio等工具快速部署,并支持使用LLaMA-Factory开展增量训练。多硬件、多框架适配,进一步降低了开发者和行业伙伴在不同环境中部署、微调和应用端侧模型的门槛。
即日起,星火X2.5-4B和1.7B已在Hugging Face、GitHub等平台开放模型权重、代码仓库和部署文档,对应模型API也已上线到讯飞星辰 MaaS平台。
校对 付春愔
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.