异构计算如何成为未来AI算力基础设施的关键方向

2026年，AI产业正步入一个全新的高强度算力周期。

随着智能体（Agentic AI）、代码助手、智能办公等应用加速从概念走向落地，AI正越来越多地处理真实世界的复杂任务。随之而来的，是“Token”这一概念，正迅速成为衡量AI资源消耗的核心单位。

于是，一个关键问题浮出水面：现有的算力体系，能否支撑起未来更高频、更复杂的AI应用场景？这直接关系到产业下一阶段的增长动能。正如太初元碁首席产品官、高级副总裁洪源在量子位AIGC2026峰会上所指出的，在Token经济加速到来的背景下，AI算力需要向上更好地兼容框架、模型与应用，为大模型的训练、推理乃至最终的行业落地，提供更稳定、高效且易用的基础支撑。同时，大模型能力的跃迁与AI应用的激增，正在持续释放海量的Token调用需求，这无疑为国产算力带来了全新的发展窗口。

这意味着，未来的算力将不再仅仅是隐藏在模型训练背后的“默默付出者”。它将贯穿从模型研发、应用部署到具体行业场景落地的全链路，成为Token智能时代最关键的新型基础设施。

以下是洪源演讲的核心观点与全文，经整理后呈现，以期带来更多产业层面的思考。

核心观点梳理

随着智能体、行业大模型和各类智能应用深入真实业务场景，AI计算的核心正在从“生成内容”转向“生成任务”。这一转变，对底层算力系统的稳定性、效率及协同能力提出了前所未有的高要求。未来的挑战，在于解决多种计算单元（如CPU、GPU）之间的高效配合、协同调度，并大幅降低其间的等待与通信成本。

对国产AI算力而言，这无疑是新的机遇，但真正的突破点已不止于单点性能的比拼，更在于大规模集群的服务能力、整体计算效率以及生态的易用性。当大模型训练与推理迈向万卡乃至更大规模集群时，算力厂商必须从硬件、互联、软件、调度到运维，进行全链条的能力提升。

特别值得注意的是，在一个智能体任务执行过程中，GPU用于纯计算的时间可能仅占一小部分，大量时间消耗在CPU调度、通信、数据处理等环节。因此，异构计算能力将成为未来AI算力基础设施的重要演进方向。未来的AI算力，将如同Token经济中的“制氧机”，持续为模型、应用和行业场景的运行提供不可或缺的支撑。

Token经济加速到来，国产AI算力迎来新机遇

自2024年底ChatGPT掀起浪潮以来，大模型行业的迭代速度便不断刷新认知。尤其是进入今年，主流模型的更新频率更是有增无减。

对于算力厂商而言，这意味着必须持续围绕主流大模型进行适配与优化。无论是模型的数量、训练数据的规模，还是所需的算力总量与模型自身的参数规模，都呈现出极为显著的增长曲线。

在此背景下，“Token经济”成为今年行业讨论的高频词。随着大语言模型调用量的激增，Token正迅速确立其作为AI时代核心消耗单位的地位。国产模型相关的调用量，也在这一浪潮中持续攀升。

从OpenRouter等机构的预测数据来看，从2025年到2026年，再到2030年，全球Token调用总量预计将出现指数级增长，增幅可能高达212倍。可以预见，无论是面向消费者的应用，还是企业级的行业解决方案，都将带来规模空前的Token消耗。

伴随着Token调用的快速增加，AI应用市场本身也在飞速扩张。越来越多的应用开始走出演示（Demo），进入真实的业务场景。办公、编程、医疗、教育、能源、电力等行业，都在加速引入并整合AI能力。

这一切都指向一个结论：底层的算力基础设施，必须能够支撑未来更高频、更复杂、更大规模的AI调用需求。有趣的是，算力效率的提升并不会减少需求，反而会进一步释放它——生产效率提高后，应用场景会增多，调用频次会增高，最终带来的是对算力需求的持续增长。

根据IDC及国内多家调研机构的预测，到2030年，全球算力规模预计将以每年约60%的速度增长，而其中90%以上都将是智能算力。对于国产AI算力来说，这无疑是一轮至关重要的战略机遇。大模型能力的持续增强、Token需求的快速释放、行业应用的加速落地，三者共同构成了推动国产算力走向更广阔产业天地的核心动力。

大模型进入任务时代，AI算力需要解决三大关键问题

当然，机遇总是与挑战并存。面对新的产业图景，国产AI算力需要攻克几个关键的系统性问题。

首要问题，是大规模集群的服务能力。

当前，大模型的训练与推理对集群规模的要求越来越高，动辄需要万卡乃至更大规模的系统。在这种超大规模集群中，如何保证训练效率、系统稳定性、成本可控性与整体可靠性，是算力企业必须交出答卷的必答题。

第二个核心问题，是计算效率，尤其是异构协同效率。

当智能体（Agent）执行一个用户任务时，流程涉及任务规划、工具调用、多轮执行与结果反馈。在这个过程中，一个经常被忽略的事实是：GPU真正用于数值计算的时间，可能只占整个任务执行周期的10%左右。大量的时间，实际上消耗在了CPU调度、不同组件间的通信、数据准备与搬运等环节。

CPU更擅长串行计算与复杂调度，GPU则专精于并行计算。未来的AI算力系统，必须更好地统筹调度这些不同的计算单元，让整个任务执行链路像精密的齿轮一样高效咬合，减少空转与等待。

第三个问题，是生态壁垒。

对于国产算力企业而言，芯片设计成功只是万&里长征的第一步。真正决定用户能否用起来、开发者是否愿意用、现有模型与应用能否平滑迁移的关键，在于芯片之上的软件栈与生态系统。

国产算力要想真正服务好蓬勃发展的Token经济，就必须为开发者和行业客户提供更好用、更易用的生态工具。无论是底层的框架开发者，还是上层的模型厂商、应用厂商，都需要能够顺畅地完成模型的迁移、训练、微调和最终部署。

总而言之，AI算力的发展早已过了单纯“堆性能、堆算力”的阶段。尤其在智能体快速发展的背景下，AI计算正从“生成内容”走向“生成任务”。这对算力系统提出了全新的要求：未来必须系统性地解决异构协同、高效可用与生态适配等一系列复杂问题。当计算单元需要紧密配合以完成复杂任务时，如何降低其间的等待与通信成本，将成为衡量算力基础设施先进性的重要标尺。

从超算积累到生态适配，打造AI产业「制氧机」

面对上述挑战，行业已在积极进行探索与实践。以太初元碁为例，其路径体现了从底层硬件到上层生态的系统性思考。

首先，在应对大规模集群挑战方面，其团队在高性能计算（HPC）领域拥有长期的技术积累。以往面对动辄十万核乃至数十万核级别的超算任务所积累的大规模并行计算与协同经验，为今天构建高效的AI算力集群提供了宝贵的基础。

其次，在异构计算架构上，需要从芯片设计之初就进行布局。例如，在核心芯片设计中集成面向通用计算、数据处理以及并行计算等不同功能的核心模块，并通过高效的片上网络进行互联。这类架构设计的初衷，正是为了适应未来AI任务日益复杂的趋势——任务不再是一次性的模型推理，而是包含任务拆解、工具调用、数据处理、多轮交互的完整链路。底层算力系统必须具备强大的内部协同能力，才能高效支撑这样的任务流。

此外，生态建设被视为不可或缺的一环。在底层，提供自研的编程框架和语言支持是基础，同时兼容主流开发范式（如Python）以降低开发者门槛也至关重要。更进一步，探索基于自然语言的自动算子生成能力，能帮助用户进一步降低开发成本。围绕模型训练、微调、推理部署的全流程，提供一体化解决方案，并与主流第三方框架、模型库广泛适配，才能帮助模型厂商和应用厂商更顺畅地迁移和使用国产算力。

洪源用了一个形象的比喻：Token经济全面到来后，算力对于整个AI产业，就如同氧气之于人类生命，是不可或缺的基础资源。而业界正在努力构建的新型算力基础设施，目标就是成为产业持续发展的“制氧机”。其核心使命，是与产业伙伴协同，整合上下游资源，共同为中国AI产业提供稳定、高效且自主可控的算力基石。