网易首页 > 网易号 > 正文 申请入驻

每秒12000 tokens吞吐:Taalas集群跑DeepSeek R1创速度纪录

0
分享至

IT之家 2 月 21 日消息,科技媒体 Wccftech 昨日(2 月 20 日)发布博文,报道称 AI 芯片初创公司 Taalas 为解决大模型的延迟与成本难题,推出“硬连线”(Hard-wiring)技术,直接将 AI 模型固化在硅片中。

在 AI 算力竞争日益激烈的当下,延迟已成为制约智能体(Agentic)应用的核心瓶颈。不同于 Cerebras 或 Groq 试图通过集成 SRAM 来加速的路径,成立仅 2.5 年的初创公司 Taalas 选择了更为激进的 ASIC(专用集成电路)路线。

IT之家援引博文介绍,该公司研发出一种能将任意 AI 模型转化为定制硅片的平台,其核心逻辑在于“融合计算与存储”,直接将特定 LLM 的神经网络映射到硅片电路中,在 DRAM 级密度下完成所有计算。

这种设计彻底摒弃了 HBM(高带宽内存)、复杂封装及昂贵的散热系统,从物理层面消除了数据传输的“内存墙”障碍。

Taalas 已展示其首款产品 HC1,该芯片专为 Meta 的 Llama 3.1 8B 模型设计。从技术规格来看,HC1 采用台积电 6nm 工艺制造,芯片面积高达 815 mm²,这一尺寸几乎与 NVIDIA 的 H100 相当。

Taalas 的在线聊天机器人演示在 EE Times 试用时达到了每秒 15,000+ tokens,但公司表示,在某些条件下内部测试已接近 17000 tokens(Taalas 承认其版本的 Llama3.1-8B 被“激进”量化)。

然而,巨大的芯片面积仅容纳了 80 亿参数的模型,这与当前万亿参数的前沿模型相比显得“容量有限”。这表明,为了实现极致的硬连线速度,Taalas 在单位面积的参数密度上做出了巨大妥协,这也是该技术路线面临的主要物理限制之一。

尽管参数密度不高,但 HC1 的性能表现极具颠覆性。官方数据显示,相比现有的高端算力基础设施,Taalas 方案的每秒 Token 生成数(TPS)提升了 10 倍,同时生产成本降低至 20 分之一。

为了解决单芯片容量不足的问题,Taalas 采用了集群化扩展策略。在针对 DeepSeek R1 模型的测试中,通过 30 芯片的集群配置,实现了高达 12000 TPS / User 的吞吐速度(据公司称,GPU 目前的技术约为每人每秒 200 个 tokens)。这一数据意味着在实时交互和复杂推理任务中,用户将获得近乎零延迟的体验。

TPS 是衡量大语言模型生成速度的关键指标,代表模型每秒能输出多少个文本单位(Token)。相当于打字员的打字速度,TPS 越高,AI 回复得越快,用户等待时间越短。

该媒体指出 Taalas 的技术路线虽然诱人,但商业模式面临独特挑战。由于模型权重被“硬连线”在硅片中,芯片一旦制造完成便无法更改模型参数。

这意味着客户必须为特定的模型版本(如 Llama 3.1 或 DeepSeek R1)购买专用硬件,一旦算法迭代,硬件可能面临淘汰风险。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
重磅!亚国联2030年开始举办 跟世界杯资格挂钩 国足分在哪一级

重磅!亚国联2030年开始举办 跟世界杯资格挂钩 国足分在哪一级

念洲
2026-10-04 20:15:05
拿斧头砍机长的副驾驶身份披露,发了3000条“仇女”消息

拿斧头砍机长的副驾驶身份披露,发了3000条“仇女”消息

中国新闻周刊
2026-10-04 11:40:23
彻底失控!俄乌终极碰撞,生死对决上演!

彻底失控!俄乌终极碰撞,生死对决上演!

大嘴说天下
2026-10-04 21:30:04
央视曝光后,湖南、湖北、云南等地开展核查处置

央视曝光后,湖南、湖北、云南等地开展核查处置

政知新媒体
2026-10-04 19:48:01
余承东发微博忘删内部备注,回应:已改,谢谢大家提醒

余承东发微博忘删内部备注,回应:已改,谢谢大家提醒

南方都市报
2026-10-04 19:42:37
吴艳妮发文总结亚运会:三年前的杭州亚运会我太想赢,所以我输了;三年后的名古屋亚运会我不想输,所以我给拼下来了

吴艳妮发文总结亚运会:三年前的杭州亚运会我太想赢,所以我输了;三年后的名古屋亚运会我不想输,所以我给拼下来了

台州交通广播
2026-10-04 20:47:35
特斯拉新车官宣:10月5日继续开售,821公里续航

特斯拉新车官宣:10月5日继续开售,821公里续航

手机讲坛
2026-10-05 00:05:51
一个令人振奋的消息!中国人国庆假期赴日本旅游人数暴跌!

一个令人振奋的消息!中国人国庆假期赴日本旅游人数暴跌!

破镜难圆
2026-10-03 11:00:07
3分钟对轰世界波!十人葡萄牙2-1逆转世界杯大黑马 欧国联无敌4连胜

3分钟对轰世界波!十人葡萄牙2-1逆转世界杯大黑马 欧国联无敌4连胜

狍子歪解体坛
2026-10-05 04:43:42
125年不停发钱,诺贝尔奖的钱越花越多:资产涨超200倍,奖金高达815万

125年不停发钱,诺贝尔奖的钱越花越多:资产涨超200倍,奖金高达815万

时代周报
2026-10-04 18:30:25
啪啪打脸!上海同学聚会一顿吃掉46888元,众人认定组局人必须请客,结果18人起诉被驳回

啪啪打脸!上海同学聚会一顿吃掉46888元,众人认定组局人必须请客,结果18人起诉被驳回

火山詩话
2026-10-04 11:18:18
远离满嘴“家国大义”的人

远离满嘴“家国大义”的人

难得君
2026-10-04 14:53:26
真的辣眼睛!苦命的鸳鸯,在田野里的私会,却是最美的风景吗

真的辣眼睛!苦命的鸳鸯,在田野里的私会,却是最美的风景吗

史海流年号
2026-10-03 15:16:56
人民币为什么不能自由兑换?答案藏在1997年那场金融战里

人民币为什么不能自由兑换?答案藏在1997年那场金融战里

知识圈
2026-10-04 15:24:38
菲律宾警方突袭查获244名外籍涉诈人员,多为中国籍

菲律宾警方突袭查获244名外籍涉诈人员,多为中国籍

风向观察
2026-10-04 16:03:09
詹姆斯首秀惊艳!76人,赢麻了……

詹姆斯首秀惊艳!76人,赢麻了……

体育新角度
2026-10-04 21:20:48
贺鑫元接受纪律审查和监察调查

贺鑫元接受纪律审查和监察调查

大风新闻
2026-10-04 20:28:03
韦世豪:国庆踢了场难看的球,想对球迷们说声抱歉

韦世豪:国庆踢了场难看的球,想对球迷们说声抱歉

懂球帝
2026-10-04 20:08:15
深圳公开赛奖金分配:吴宜泽10-5夺冠157万!常冰玉8万,丁俊晖4万

深圳公开赛奖金分配:吴宜泽10-5夺冠157万!常冰玉8万,丁俊晖4万

球场没跑道
2026-10-04 22:22:41
王楚钦0金入选!媒体删除亚运争议海报 网友:你让其他拿金牌的咋想

王楚钦0金入选!媒体删除亚运争议海报 网友:你让其他拿金牌的咋想

动物奇奇怪怪
2026-10-04 11:52:01
2026-10-05 06:43:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
370911文章数 607588关注度
往期回顾 全部

科技要闻

苹果确认:iPhone 18 Pro Max有问题

头条要闻

30多岁中国夫妇在澳洲遇惨烈车祸丧生 肇事司机仅17岁

头条要闻

30多岁中国夫妇在澳洲遇惨烈车祸丧生 肇事司机仅17岁

体育要闻

32胜0负!德约2-1逆转头号种子兹维列夫 第7次晋级中网四强

娱乐要闻

高晓松悄悄复出:官媒没给他留体面

财经要闻

OpenAI前安全部门员工:公司文化已崩坏

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

本地
旅游
数码
教育
公开课

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

旅游要闻

用好红色资源 赓续精神血脉(今日谈)

数码要闻

联想推出Lenovo Watch Fit 3智能手表,199元

教育要闻

Do you have the time不是问你有没有空,千万别会错意啦!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版