Taalas万tokens吞吐创纪录：DeepSeek R1集群实战极速体验

IT之家2月21日消息，科技媒体Wccftech昨日（2月20日）发布文章称，AI芯片初创公司Taalas针对大模型面临的延迟与成本问题，推出了一项名为“硬连线”的技术，能够将AI模型直接固化在硅芯片内部。

在当前日趋激烈的AI算力竞赛中，延迟已成为制约智能体应用发展的核心瓶颈。不同于Cerebras或Groq通过集成SRAM进行加速的方案，成立仅两年半的Taalas选择了一条更为激进的专用集成电路路线。

据IT之家引述报道介绍，该公司研发了一个可将任意AI模型转化为定制硅片的技术平台，其核心理念在于“融合计算与存储”，能够将特定大语言模型的神经网络直接映射到硅片电路中，在DRAM级密度下完成所有计算。

这种设计完全摒弃了高带宽内存、复杂封装以及昂贵的散热系统，从物理层面消除了数据传传输中“内存墙”的障碍。

Taalas已展示了其首款产品HC1，该芯片专为Meta的Llama 3.1 8B模型设计。从技术规格来看，HC1采用台积电6纳米工艺制造，芯片面积高达815平方毫米，这一尺寸与英伟达的H100相当。

Taalas的在线聊天机器人演示在EE Times试用时达到了每秒15000个以上的令牌处理速度，但公司表示，在内部测试的某些条件下，速度已接近每秒17000个令牌。

然而，巨大的芯片面积仅容纳了80亿参数的模型，这与当前前沿的万亿参数模型相比显得“容量有限”。这表明，为了实现极致的硬连线速度，Taalas在单位面积的参数密度上做出了巨大妥协，这也是该技术路线面临的主要物理限制之一。

尽管参数密度不高，但HC1的性能表现极具颠覆性。最新数据显示，相比现有的高端算力基础设施，Taalas方案实现了每秒令牌生成数量提升10倍的飞跃，同时生产成本降至原有方案的二十分之一。

为了解决单芯片容量不足的问题，Taalas采用了集群化扩展策略。在针对DeepSeek R1模型的测试中，通过30片芯片的集群配置，实现了高达每秒每位用户12000个令牌的吞吐速度。这一数据意味着在实时交互和复杂推理任务中，用户将获得近乎零延迟的体验。

每秒令牌生成数是衡量大语言模型生成速度的关键指标，代表模型每秒能输出多少个文本单元。这好比打字员的打字速度，该数值越高，AI回复就越快，用户等待时间就越短。

有媒体指出，Taalas的技术路线虽然诱人，但其商业模式面临独特挑战。由于模型权重被“硬连线”固化在硅片中，芯片一旦制造完成便无法更改模型参数。

这意味着客户必须为特定的模型版本购买专用硬件，一旦算法迭代更新，硬件可能面临淘汰风险。