等第一个token要多久,后面的token来得有多快?这两个数字,Rockchip在RKNN-LLM v1.3.1的基准测试里都列了出来,测的是Spark-X2.5 1.7B。
![]()
测试条件是128个输入token,要求生成64个新token,CPU和NPU都跑在各自最高频率上。两行结果对应不同的量化格式。
对打算实际部署的板子来说,先按它列出的格式起步,再用自己的提示词长度去测一遍。首token时间和生成速度要分开记录,别混成一个数看。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.