AI基础设施创业在模型升级放缓时是否仍有前景

时至今日，如果说清华系撑起了中国大模型创业的半壁江山，那么AI Infra（人工智能基础设施）这条赛道，无疑是清华系“上阵师徒兵”的又一场豪赌。

媒体所实验室孵化的清昴智能、高性能计算机研究中心牵头的清程极智、NICS-EFC实验室孕育出的无问芯穹……这条赛道上的明星创业公司，几乎都出自清华各大实验室。硅基流动和潞晨科技的创始人袁进辉、尤洋，同样属于这支“清华代表队”。

他们的目标相当明确：面向模型与应用的上游和下游，将各类大模型与不同芯片进行深度适配。一方面，是为了减少宝贵的算力资源闲置；另一方面，则是为了实现模型应用的“提速降本”。

然而，身处模型、应用与硬件这三层快速演变的夹缝中，AI Infra的突破方向也必须随之动态调整。正因如此，这个方向的创业也伴随着诸多质疑与阵痛。例如：

• 创业公司做模型即服务（MaaS）平台，会不会压力山大？
• 训推一体机，究竟是不是一个伪命题？
• 海内外市场需要的基础设施，究竟有何不同？
• 国产算力的软件生态，突破口在哪里？
• 异构混合训练，是长远方向吗？

这些问题，直接关系到创业能走多远。而不同的团队，显然有着不同的预判。在这条尚处探索期的赛道上，孰对孰错尚未可知。那么，各家能否在纷繁复杂的挑战中，找到真正的商业机会呢？

推理究竟如何布局？

自去年年底开始，大模型的发展重心已悄然从训练转向推理。尤其是OpenAI发布o1模型后，大模型的“扩展定律”从训练侧转向推理侧的趋势，变得更加明显。

不过，业内普遍认为，即便是o1这样的闭源模型，其能力在半年后也大概率会被开源模型陆续赶上。随着模型能力逐渐达到一个相对令人满意的水平，纯粹的模型训练厂商减少和萎缩将是必然趋势。接下来，应用落地才是箭在弦上，而其中的核心关键，便是推理成本。

推理需求的爆发是必然的。有预测指出，未来三年，推理成本每年实现十倍下降，既是可行的，也极有可能发生。当前，推理优化部署已成为让大模型真正“好用”的关键一环，随之而来的，还有巨大的算力缺口。

尽管海内外的AI Infra创业者都看到了推理侧的机遇，但在具体布局上却出现了分歧。打造MaaS平台，就是一个典型的例子。

这条路径的逻辑很清晰：模型每天的调用量是海量的，若不进行优化，年花费将是个天文数字。因此，应用方要实际用起来，必然需要寻找可靠性高、弹性好的服务。通过在底层进行更高效的部署，来合理运用算力、节省成本，这正是创业的价值所在。简单说，MaaS平台不训练模型，而是将模型部署到云端，封装成API，专注于工程化实现与计算调度，核心是提高成本效益、稳定性和可用性。

然而，潞晨科技创始人尤洋曾对此表达过顾虑。在他看来，通过MaaS平台售卖大模型API，实质上是在与通用大模型公司直接竞争，创业公司很难从中分得蛋糕。

因此，潞晨科技选择了另一条路：入局视频大模型。除了年初发布全面开源的Open-Sora，今年10月，其还发布了Video Ocean视频大模型，正式走向商业化。尤洋坚持认为，如果没有自己的优质大模型，推理平台上将缺乏核心资源。

这一步，与海外的Together.AI有异曲同工之妙。后者在去年5月也曾发布过类ChatGPT的开源模型RedPajama-INCITE。

从海外厂商的动向看，他们对MaaS的压力也有所感知。Lepton.AI、Fireworks等都在向Together.AI、CoreWea ve的方向靠拢，而后者的核心收入基本来自基础设施即服务（IaaS）。有知情人士透露，Fireworks此前曾考虑做MaaS，但现在可能觉得这种方式会直接与ChatGPT、Anthropic竞争，对于基础设施公司而言压力过大。

而Lepton.AI最初聚焦平台即服务（PaaS）和MaaS，直到今年5月新上线FastGPU，其IaaS业务才逐步入场。

“推理平台要和ChatGPT竞争很难，因为这类平台的核心资源是模型本身。而训练微调平台只需要与CoreWea ve、Lambda Labs竞争，并且作为核心资源的GPU总是能买到的。”业内人士分析道。值得一提的是，Together.AI与Lepton.AI和Fireworks不同，它完全使用自己的GPU。这种方式相较于租用他人的硬件和云，再在上层叠加模型服务，利润空间显然更大。

此外，也有AI Infra创业者指出，在这一层创业，硬件恐怕也得自己做，光做软件长期可能站不住脚，技术再好也不能没有底层基础设施的支撑。

从布局上看，无问芯穹有着相似的感知。今年以来，无问芯穹开始布局端侧大模型推理处理器（LPU），计划以IP的形式与合作伙伴联合发布芯片，并在明年尝试落地。在其思考中，大模型作为人机交互接口，体量巨大，端侧场景的需求量非常可观，固化到硬件层面的需求同样强烈。“如果能把自己的推理卡做好，就能通过芯片层实现价值，这似乎是他们在思考的方向。”业内人士评论道。

不过，与前述的顾虑相比，部分创业者的想法更为乐观。他们认为，自身业务并不局限于MaaS一种形式。即便做MaaS，与通用大模型公司存在竞争也属正常。当前，即便OpenAI年收入达数十亿美元，大模型应用的需求仍处于非常初期的阶段。未来，大模型应用必然起量，大模型将变得无处不在，成为一种非常基础的能力，成本也会降至很低。到那时，运行大模型或AIGC推理所需的将是百万甚至千万张卡，就像每人一部手机的时代，需求量将变得极其巨大。在这样一个足够庞大的市场中，同一个细分领域也完全容得下多家厂商。

除了云平台，私有化部署在国内的呼声也日益高涨。在这一趋势下，硅基流动、潞晨科技和清昴智能纷纷选择了训推一体机的交付路径，这与当前市场多数头部玩家的走向一致。

从尤洋的判断看，潞晨科技布局训推一体机，主要针对的是“后训练”环节，面向的多数传统行业客户目前并未采用大规模集群，最多用到千卡规模。

但并非所有玩家都做此选择。也有观点认为，训推一体机为了兼顾训练和推理，可能出现顾此失彼的情况，这不会是长期方向。清程极智创始人汤雄超就认为，训推一体机实际上并不契合训练的算力需求。“训练和推理两种业务区别较大，很难想象一个较小的一体机能承载大规模训练业务。现在大模型预训练动辄需要万卡以上规模，只能在大规模智算集群上完成。”

需要关注的是，面向推理，端侧对于中间层而言也有着巨大的想象空间。除了前文提到的无问芯穹，清昴智能也已有所布局。与许多同行从云切入不同，其最初便从端侧切入，曾与手机上的高通、骁龙芯片，以及寒武纪、比特大陆等进行过适配。当前，手机、电脑、车载场景逐步开始落地，但常因模型太大而无法部署到端侧，这就需要将大模型压缩成1B、7B等小模型。中国比美国拥有更多的应用场景，而将端侧的性能、成本、功耗做到极致则非常关键。未来，端侧软件的作用将愈发凸显。

夹缝中能否觅得商机？

在海外，软件层创业似乎相对容易一些：市场有一套成熟的软件订阅付费模式，同时，由于英伟达统一了市场，基于其生态进行开发更为简单。

中美市场存在差异。在应用多样性上，双方是类似的，都需要支持不同的应用。较大的区别在于对底层芯片的支持：海外主要由英伟达和AMD瓜分天下，需要适配的芯片种类较少，创业可能相对好做。但从另一个角度看，海外市场正因为有巨头存在，创业公司的必要性反而可能不强。而国内芯片厂商长期来看可能仍处于分散状态，这种情况下，对不同国产芯片的支持就显得尤为重要。

有业内人士分析，在海外，像Corewea ve、Lambda Labs这样的小型云服务商是有机会的。不过，现阶段其附加值有限，即便是Corewea ve，也多少有些像是英伟达的“白手套”。此外，海外一切以GPU为核心，产业链的定价权由能否拿到足够多的卡来决定，本质是以规模为核心。很多创业公司甚至无法获得“白手套”的身份，所做的也仅仅是资产租赁生意，虽有短期红利，却难成长期事业。

目前来看，海内外走向两个极端：海外被巨头垄断，而国内则过于分散。国内的芯片格局有些类似于“战国时代”，各家都在争夺技术高地。一方面，芯片设计中不同的处理器架构和指令集直接影响性能和效率，尽管设计理念相近，但在具体实现和制造细节上存在差异，导致了性能和兼容性等方面的区别。另一方面，虽然在芯片设计环节已取得进展，但生产制造及配套软件生态的建设相对较弱，尤其是软件开发投入不足，导致了芯片碎片化问题较为严重。

据了解，目前英伟达在软硬件上的投入占比约为2:1，而国内甚至不到1:2。因为国内厂商主要精力还在跑产能、保交付，软件生态相对薄弱。同时，国内算力并非总量不够，问题关键在于“富裕但不匹配”——真正能用于大模型训练的集群不够集中和规模化。国内约有十多万张A100和H100，但拥有万卡集群的只有头部三四个玩家。这些卡中超半数属于头部大厂，却因分属不同业务部门而无法集中使用；剩余部分则分散在数百家中小型企业、园区及金融机构中。算力分散不仅造成了资源闲置，也限制了国产算力能力的发挥。

当前业内多有提及的“GPU泡沫”或“算力通缩”现象正在发生。在这种情况下，国内大量自建算力中心、持有重资产的做法，显得不一定理智。有业者分析，由于GPU性能提升和迭代速度远高于CPU，其贬值或摊销周期必须更短。但国内许多智算中心动辄按5年、8年摊销，这显然不合理（CPU最多也就5年摊销）。

这些问题，恰好为AI Infra创业带来了空间。无问芯穹是国内少数选择异构混合训练路径的创企，主要通过混合多种不同型号的GPU卡来共同训练一个大模型，地方政府、大模型厂商和研究型单位都有这方面需求。

在无问芯穹创始人夏立雪看来，“异构混训的难点主要在于，不同能力、背景的硬件如何协同完成一个大任务。这涉及到GPU性能如何预测、任务如何拆分分配、通信如何协调与打通通信库等多个问题。”据了解，目前无问芯穹已实现英伟达卡与国产卡的1+1混合训练，支持六种芯片任意两种组合，在百卡和千卡级别均已完成混训，整体效率达到97.6%。

然而，GPU异构真的是长久之计吗？长期来看这类解决方案能走多远？业内多有观点认为，异构是芯片产能不足现状下的一种妥协。更有尖锐的声音指出，“在不同品牌的芯片上做一个统一的训练平台是个伪命题，是不存在且没必要去做的方向。”在实际训练场景中，如果采用不同芯片架构做异构训练，性能损耗较大，整体效率和性价比很难与单一型号GPU的同构集群匹敌，难以发挥硬件的底层算力性能。即便都是英伟达的芯片，将A100、H100混用，也会因每层训练参数和能力差异巨大，最终导致瓶颈影响训练效果。因为训练是一个集中式的过程，类似于超级计算机，每一层的中间过程都会影响整体性能，因此在单一集群内混用多种芯片做训练，必要性不大。从超算的发展趋势看，也不存在同一超算中心放置不同型号加速卡的情况。随着国产芯片产能提升，智算中心最终可能会回归到更高效的同构基础架构。

此外，推理更没必要异构。因为推理通常将模型部署在单台机器或一个小集群上（即使是商业闭源模型也多部署在16卡、32卡的小集群上），因此只需保证集群内卡型一致即可。而如果能够兼容多种芯片，让不同集群使用不同芯片运行，就可以将推理变成一个分布式任务。这也是PPIO派欧云看好分布式推理的原因之一。“在这个过程中，调度变得更重要。因为可能A集群性能强，任务很快处理完，B集群还在处理中，那么下一个任务该优先调给A还是B？这其实是任务调度和资源池化管理的问题。”PPIO派欧云联合创始人、CEO姚欣解释道。

超越云厂

过去，关于AI Infra创业是否会与云厂商产生正面冲突，也是被提及最多的问题之一。二者看似存在诸多相似之处，那么客户为何不选择体系更为成熟的云厂呢？

对此，许多业者表达了见解。综合来看，大部分观点都指向与云厂商存在的差异，而这正是创业公司能与云厂友好协作的空间所在：

其一，云厂商过去解决的问题与当前AI Infra要解决的问题并不完全相同，甚至是两个方向。云厂商多从资源池化和共享的角度切入，而当前要解决的难题在于如何将分布式的资源高效合并利用。

其二，云厂商的人才多集中于后端、前端、网络管理与调度，相对缺乏顶尖的AI人才，事实上很难对纷繁复杂的国产芯片做深度适配。

但也有不同的声音认为，“不管是美国的大模型公司，还是中国的‘六小龙’，其实都要建立自己的基础设施，否则就只能被云厂商服务。创业公司很难切到这部分蛋糕。”

总体来看，AI Infra的重要性已不言而喻。在这波大模型浪潮中，许多创业公司正在摸索更合适的业务方向，正因如此，业内观点的碰撞与摩擦也尤为明显。火星四溅之下，无论是与通用大模型公司或云大厂的竞争关系，还是一体机和异构是否为长久之计，要解决的底层关键都是国产算力问题。对于当前阶段而言，不管从哪个方向切入，或许都是优化之路上的有益尝试。