国家知识产权局信息显示,江苏未来网络集团有限公司申请一项名为“一种基于数据集分解的大语言模型训练方法”的专利,公开号CN121960597A,申请日期为2026年3月。
专利摘要显示,本发明涉及一种基于数据集分解的大语言模型训练方法,包括对训练数据集中的原始文档进行令牌化处理,得到一维令牌序列并计算原始长度;对原始长度执行二进制分解,将令牌序列拆分为子令牌序列并按长度分桶存储、并添加原始文档溯源标识;计算各有效桶的单次采样数量、配置采样概率;根据采样概率执行随机采样,并进行同源约束拼接以生成训练批次;将训练批次输入待训练大语言模型并根据常规基准性能评估、长上下文能力评估和训练效率评估结果,对采样概率调整规则和训练超参数进行微调。利用本发明设计的一种基于数据集分解的大语言模型训练方法,能够降低跨文档注意力干扰,减少计算浪费,并提高训练效率。
天眼查资料显示,江苏未来网络集团有限公司,成立于2012年,位于南京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本41667万人民币。通过天眼查大数据分析,江苏未来网络集团有限公司共对外投资了32家企业,参与招投标项目389次,财产线索方面有商标信息6条,专利信息65条,此外企业还拥有行政许可12个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.