北京
分享至
金融界2024年10月9日消息，国家知识产权局信息显示，苏州科达科技股份有限公司申请一项名为“令牌缓存方法及电子设备”的专利，公开号CN 118747120 A，申请日期为2024年6月。
专利摘要显示，本发明公开了一种令牌缓存方法及电子设备，该方法包括：获取处理器的内存以及当前所部署模型的模型参数，根据内存和模型参数确定键值对存储长度；根据预先设置的令牌保留信息和键值对存储长度确定中间重要令牌保留数量；获取模型推理得到的令牌，根据令牌保留信息、键值对存储长度和中间重要令牌保留数量将令牌的键值对存储至键值对缓存中，直到完成所有令牌的推理，键值对缓存中的令牌的键值对用于推理下一个令牌，解决了令牌缓存不合适导致推理效果较差的问题，实现了根据处理器的缓存能力确定存储长度，根据令牌保留信息和键值对存储长度动态确定中间重要令牌保留数量，实现令牌的合理缓存，可以在保证模型推理正常执行的同时提高推理准确性。
本文源自：金融界
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
