12000 tokens/s：Taalas集群跑DeepSeek R1创速度纪录

2月21日，IT之家援引科技媒体Wccftech的最新报道称，AI芯片初创公司Taalas推出了一项名为“硬连线”的前沿技术，旨在直接化解大模型应用中的延迟与成本瓶颈——通过将AI模型直接固化在硅芯片内部来实现性能跃升。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

在当前AI算力竞争日趋白热化的背景下，响应延迟已成为制约智能体大规模应用的核心障碍。与Cerebras或Groq等公司尝试通过集成SRAM来加速的路径不同，成立仅两年半的Taalas选择了一条更为激进的ASIC路线。

据IT之家引述的博文介绍，该公司研发出一套能够将任意AI模型转化为定制化硅片的平台。其底层核心逻辑在于“计算与存储的融合”，通过将特定大语言模型的神经网络直接映射至硅片电路之中，从而在DRAM级别的密度下完成所有计算操作。

这种设计方案彻底摒弃了传统的HBM内存、复杂封装以及昂贵的散热系统，从物理层面根除了数据传输中的“内存墙”障碍。

Taalas已展示了其首款产品HC1，该芯片专为Meta的Llama 3.1 8B模型量身打造。从技术规格来看，HC1采用台积电6纳米工艺制造，芯片面积高达815平方毫米，这一尺寸几乎与NVIDIA的H100相当。

Taalas的在线聊天机器人演示在EE Times试用时达到了每秒超过15,000 tokens的输出速度。但公司方面透露，在特定优化条件下，内部测试数据已接近每秒17000 tokens。

然而，巨大的芯片面积仅能容纳80亿参数的模型，这与当前动辄万亿参数的前沿大模型相比，显得“容量有限”。这表明，为了实现极致的硬连线速度，Taalas在单位面积的参数密度上做出了巨大妥协，这也是该技术路线面临的主要物理限制之一。

尽管参数密度不高，但HC1的性能表现极具颠覆性。最新数据显示，相比现有的高端算力基础设施，Taalas方案的每秒Token生成数量提升了10倍之多，同时生产成本降至二十分之一。

为了解决单芯片容量不足的问题，Taalas采用了集群化扩展策略。在针对DeepSeek R1模型的测试中，通过30片芯片的集群配置，实现了高达每秒12000 TPS/User的吞吐速度。这一数据意味着在实时交互和复杂推理任务中，用户将获得近乎零延迟的流畅体验。

TPS是衡量大语言模型生成速度的关键指标，代表了模型每秒能输出多少个文本单位。这好比打字员的打字速度，TPS越高，AI回复得就越快，用户等待的时间就越短。

该媒体指出，Taalas的技术路线虽然前景诱人，但其商业模式面临独特挑战。由于模型权重被“硬连线”固化在硅片之中，芯片一旦制造完成便无法更改模型参数。

这意味着客户必须为特定的模型版本购买专用硬件，一旦算法迭代更新，原有的硬件可能面临迅速淘汰的风险。