北京
分享至
FreeToken引擎发布
伯克利和得克萨斯大学推出FreeToken，新引擎可在普通设备上运行大型开源模型。8GB游戏本跑35B模型达39.3 tokens/秒，快于生产环境中的Codex。
专家缺失率大幅下降
FreeToken让GPU缓存跟随路由请求，将专家缺失率从llama.cpp的62%降至16%，其余按PCIe和内存速度比例分配。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
