网易首页 > 网易号 > 正文 申请入驻

Tensor Machines 发布开源基准测试工具衡量AI算力真实成本

0
分享至

Tensor Machines 宣布推出一款开源AI硬件基准测试工具,旨在帮助数据中心运营者回答最紧迫的经济问题:他们已经购买的硬件和电力,实际产出了多少有效的AI工作量?该基准测试将硬件行为与工作负载性能纳入一个可重复的评估框架,衡量产出有效AI输出所需的能耗和成本。


GPU规格和每小时租赁价格无法告诉运营者一个系统能够持续承担多少工作。PUE(电力使用效率)等设施指标描述了能源开销,但无法衡量设备实际产出的AI工作量。Tensor Machines 围绕满足工作负载服务要求的输出来开发这一基准测试,为运营者提供了一种评估其基础设施生产力的方法。

"GPU的经济价值来自它所交付的有效工作量,"Tensor Machines 创始人兼CEO Muneeb Rasool 表示。"运营者需要知道这些输出的成本是什么,以及这个答案如何随工作负载、功率设置和硬件状态而变化。我们正在开放这一基准测试,能够衡量这些状态并更好地利用他们已有的基础设施。"

有效输出为何重要

在NVIDIA GPU上运行其基准测试时,Tensor Machines 观察到了仅靠硬件规格或每小时价格无法揭示的差异:

  • 同一GPU型号可以产出不同量的AI输出: 在某一项推理工作负载中,最快结果每秒交付的token数比最慢结果高出近15%。在同等每小时GPU价格下,这一差异意味着较慢结果的token成本高出近15%。

  • 更多功耗并不能按比例带来更多性能: 在一项计算比较中,一台运行在更高功率上限的GPU多消耗了约36%的电力,而FP16计算吞吐量仅比同类高出21%。

  • 性能差距可能随工作负载而变化: 一组在某项推理工作负载中比同类低约12%的硬件,在另一项工作负载中仅显示约1%的差距。单一排名可能会遗漏硬件最有用的场景。

这些发现特定于所测试的工作负载和运行条件。

一种可重复评估运行选择的方法

Tensor 的基准测试方案施加不同负载,并记录硬件如何消耗电力、升温、维持性能以及恢复。该基准测试旨在将这种物理响应与满足服务要求的请求比例、每个被接受输出token的能耗以及该输出的成本关联起来。


在受控变更后重复相同工作负载,可以让运营者测试不同的功率设置、工作负载放置或冷却条件是否能改善结果。Tensor Machines 专有的基于物理学的模型通过分析电力、热量、性能和硬件退化之间的关系来支持这项工作。这些模型目前正与部分裸金属提供商和neo-cloud设计合作伙伴进行私密测试。更广泛的目标是帮助运营者维持有效输出,并就硬件使用和剩余有效寿命做出知情决策。

"GPU有潜力变革边缘计算,就像它们正在变革数据中心一样,但管理GPU健康仍然是一个关键瓶颈,"德克萨斯农工大学(Texas A&M University)电气与计算机工程学教授 Sandip Roy 博士表示。"德克萨斯农工大学全球网络研究所(GCRI)有幸与 Tensor Machines 合作,评估其出色的GPU健康遥测/分析在边缘应用中的使用。"

Tensor Machines 还宣布获得由 Omni VC 领投的150万美元种子前轮融资。其他投资者包括 Reinforced Ventures、Avesta Fund 和 Draper U Ventures。


关于Tensor Machines

Tensor Machines 开发基于物理学的模型和基准测试工具,帮助AI基础设施运营者了解电力、热量和硬件状态如何影响有效计算输出。其工作聚焦于计算产出率、能源效率以及GPU和服务器的有效使用寿命。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

林杰论事
2026-11-21 18:05:57
山东济阳推进丧俗改革:有村子推行“一日丧”,去世到安葬不超24小时

山东济阳推进丧俗改革:有村子推行“一日丧”,去世到安葬不超24小时

澎湃新闻
2026-11-21 22:20:40
不查不知道! 原来花1.3亿买310台坦克送员工的于东来, 私下竟这么壕

不查不知道! 原来花1.3亿买310台坦克送员工的于东来, 私下竟这么壕

生活新鲜市
2026-11-22 14:43:48
网传零跑A10后备箱被几箱啤酒压穿 官方回应明确了

网传零跑A10后备箱被几箱啤酒压穿 官方回应明确了

快科技
2026-11-21 09:12:08
退休党员干部,这3种行为照样违法,有人连退休待遇都保不住!

退休党员干部,这3种行为照样违法,有人连退休待遇都保不住!

职场资深秘书
2026-11-22 20:57:26
特朗普:下个月在美迈阿密举行G20峰会,普京会参会吗?

特朗普:下个月在美迈阿密举行G20峰会,普京会参会吗?

麓谷隐士
2026-11-22 17:50:56
切尔西内讧炸锅!蓝军两大巨星当场互喷!阿隆索压不住了

切尔西内讧炸锅!蓝军两大巨星当场互喷!阿隆索压不住了

奶盖熊本熊
2026-11-22 09:10:23
西药直达病灶,联邦通信委员会禁止三大运运商获取美国电话号码

西药直达病灶,联邦通信委员会禁止三大运运商获取美国电话号码

凡人学电脑
2026-11-20 23:39:35
俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

军机Nova
2026-11-21 00:55:32
20岁星二代崩溃:照片被放大到全网,我快疯了

20岁星二代崩溃:照片被放大到全网,我快疯了

生活观察员啊
2026-11-20 02:07:26
79岁的霍震霆自曝,每周都要去儿子家蹭饭,不为别的,就是为了看孙子和孙女,享受天伦之乐

79岁的霍震霆自曝,每周都要去儿子家蹭饭,不为别的,就是为了看孙子和孙女,享受天伦之乐

扶苏聊历史
2026-11-21 17:06:37
伏明霞:丈夫已是七旬老人儿子才满 20,嫁给百亿富翁,她后悔了吗

伏明霞:丈夫已是七旬老人儿子才满 20,嫁给百亿富翁,她后悔了吗

秋枫凋零
2026-11-22 20:02:13
内蒙古主持人孟静茹离世年仅42岁,丈夫离世半年后,她确诊患上抑郁症

内蒙古主持人孟静茹离世年仅42岁,丈夫离世半年后,她确诊患上抑郁症

可乐谈情感
2026-11-22 05:34:53
终于有经济学家批评体制内退休金太高、加剧代际矛盾,评论区炸锅

终于有经济学家批评体制内退休金太高、加剧代际矛盾,评论区炸锅

慧翔百科
2026-06-23 08:47:02
突然宣布结婚!今天的瓜,整个娱乐圈都羡慕不来

突然宣布结婚!今天的瓜,整个娱乐圈都羡慕不来

设计最前沿
2026-11-21 01:10:14
2-1!姆巴佩飞点,贝林厄姆破门,奇兵拯救穆帅,皇马绝杀逆转豪取9连胜

2-1!姆巴佩飞点,贝林厄姆破门,奇兵拯救穆帅,皇马绝杀逆转豪取9连胜

我的护球最独特
2026-11-22 06:15:39
毛主席访苏途中车窗突然打开,高岗对陈伯达怒吼:你想干什么?

毛主席访苏途中车窗突然打开,高岗对陈伯达怒吼:你想干什么?

微野谈写作
2026-11-21 14:25:09
阿祖坑惨贝帅!广东第五外援曝光,CBA冠军中锋成首选?

阿祖坑惨贝帅!广东第五外援曝光,CBA冠军中锋成首选?

绯雨儿
2026-11-22 14:06:16
前DeepSeek作者开源Linger:12GB显卡跑125B模型是真的,但“零Token费”省下的钱,从内存条和电费里又花出去了

前DeepSeek作者开源Linger:12GB显卡跑125B模型是真的,但“零Token费”省下的钱,从内存条和电费里又花出去了

阿鑫讲ai
2026-11-22 17:10:39
56岁足球名宿:当队长踢进世界杯,现是省足协副主席 已和妻子离婚

56岁足球名宿:当队长踢进世界杯,现是省足协副主席 已和妻子离婚

一娱三分地
2026-11-21 23:05:03
2026-11-23 00:23:00
Ai时代前沿
Ai时代前沿
人工智能新闻动态及应用案例。
1926文章数 512关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
艺术
房产
公开课
军事航空

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

艺术要闻

世界十大著名宫殿盘点:中国独占两席

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版