北京
国家知识产权局信息显示，北京智慧星光信息技术股份有限公司申请一项名为“一种基于句级并行编码的大模型预训练方法、装置及设备”的专利，公开号CN121562591A，申请日期为2025年10月。
专利摘要显示，本发明涉及人工智能技术领域，公开了一种基于句级并行编码的大模型预训练方法、装置及设备，通过获取文本数据，对文本数据进行清洗，去除噪声数据并进行分句和段落标注，生成结构化语料数据集；将输入的长文本切分为多个句级输入单元；针对不同长度的句子，分配具有不同参数量的编码器子模块进行并行语义提取；对编码器子模块的输出结果进行线性压缩降维处理；按照输入的长文本的原文顺序将各句语义向量拼接形成全局语义表示，并输入至下一层编码器进行语义融合；通过生成结构化语料数据集，对修改后的Transformer模型进行预训练。本发明能够在架构层面原生支持长文本输入，提高大模型的长篇语义理解与生成能力。
天眼查资料显示，北京智慧星光信息技术股份有限公司，成立于2012年，位于北京市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本2390.808万人民币。通过天眼查大数据分析，北京智慧星光信息技术股份有限公司共对外投资了5家企业，参与招投标项目1324次，财产线索方面有商标信息22条，专利信息154条，此外企业还拥有行政许可2个。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
