广东
【太平洋科技快讯】近日，微软亚洲研究院发布了一项名为T-MAC的新技术，旨在优化大型模型在端侧设备上的部署。这项技术凭借其高性价比，使得仅凭CPU就能实现模型的快速运行，同时大幅降低资源消耗。
T-MAC技术亮点：手机运行大模型提速4-5倍
T-MAC技术使手机、PC、树莓派等端侧设备运行大型语言模型成为可能，解决了存储和计算两大难题。
通过基于查找表(LUT)的计算范式，T-MAC技术避免了传统方法中的反量化操作，提高了推理性能，降低了乘法和加法操作的数量。
在最新高通Snapdragon X Elite芯片组的Surface AI PC上，T-MAC技术的表现超越NPU，实现了高效的模型部署。
T-MAC技术核心创新：以比特为核心的计算
T-MAC技术采用查找表(LUT)代替传统的乘累加(MAC)计算，降低了CPU上的功耗，提高了计算效率。
以比特为核心的计算方式，简化了数据结构，实现了不同精度模型的快速部署。
T-MAC技术的计算性能随着比特数的降低而线性提高，这在基于反量化的GPU和NPU中是难以实现的。
T-MAC技术优化算子实现，提升端侧设备性能
研究员们针对T-MAC技术设计了高效的数据结构和计算流程，以提升端侧设备的计算性能。
通过优化矩阵分块、权重布局和寄存器重排等方法，T-MAC技术在多种CPU平台上实现了显著的性能提升。
实验结果表明，T-MAC技术在4比特算子上相较于现有方法获得了显著加速。
微软亚洲研究院已将T-MAC技术开源，相关论文已在arXiv公开。这一创新技术的推出，有望为端侧设备运行大型模型提供更多可能性，推动行业的发展。
打开APP，阅读体验更佳
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
