Majestic Labs推出Prometheus服务器突破大语言模型内存瓶颈
AI硬件创业公司MajesticLabs推出Prometheus服务器，采用专有微型铜缆内存接口与自研内存聚合芯片，最高可配置128TB内存，突破大语言模型“内存墙”。搭载12颗自研Ignite芯片，集成ARM与RISC-V核心，支持PyTorch等主流框架，无需修改代码。预计2027年发货。
先说几个核心判断：大语言模型的Token生成本质上是一场“内存博弈”——模型输出文本的速度，直接受限于从内存读取数据的速度。随着模型参数规模持续膨胀，这一瓶颈愈发明显，行业称之为“内存墙”或“内存瓶颈”。
AI硬件创业公司Majestic Labs正用一种相当直接的方式试图突破这堵墙。他们正在打造一款名为Prometheus的全新AI服务器，最高可配置128TB内存——这是什么概念？这个数字是英伟达DGX B300服务器的60多倍，而后者已经是当前顶尖的AI计算机架了。
Majestic Labs联合创始人兼总裁Sha Rabii的思路非常清晰：用极致的内存容量来建立竞争壁垒。他坦言英伟达在构建可扩展系统上确实表现出色，但话锋一转指出，随着模型规模不断增长，英伟达方案的经济性越来越不理想，“最终结果是计算资源过剩，内存资源却严重不足”。
架构层面的差异化路线
Majestic Labs打算走一条与现有方案本质不同的技术路径来跨越“内存墙”。
英伟达当前的服务器使用高带宽内存（HBM）来读取模型权重，额外配备一块容量更大但速度稍慢的DRAM来处理模型运行和服务器相关开销。Majestic的做法是采用统一架构，全面押注DRAM（具体是LPDDR6）。
Rabii透露，大多数内存接口设计出来只能在极短距离内使用——有时仅几毫米，这严重限制了可安装的内存容量。“计算芯片上的‘岸线’就这么长，能放置HBM的位置有限，想多放，根本塞不进去。”他解释道。
他们的解决方案是使用一种由微型铜缆构成的专有内存接口，有效传输距离可达一米。与此同时，自研的内存聚合芯片紧贴内存模块放置，负责协调整台服务器的内存运作。
“这个接口就像高速传输的端点，向外扩展连接大量通用DRAM芯片。”Rabii说。按官方说法，这套设计不仅能支持超大容量的内存寻址，还能提供高达25.6TB/s的内存带宽。
Ignite：定制AI处理单元
光有大内存还不够，还得有强大的AI加速能力，这就像英伟达GPU所扮演的角色。Majestic的答案是Ignite——一颗自研的定制AI处理单元，作为服务器的计算核心。一台Prometheus服务器内嵌12颗Ignite芯片。
Ignite在一颗芯片上集成了数据中心级的ARM应用核心和RISC-V向量及张量核心，它们共享同一块内存空间。ARM核心充当片上的主处理器，负责编排AI模型的工作流；RISC-V核心则负责实际的大语言模型计算任务。这种设计的好处是，单颗芯片就能处理大语言模型推理过程中的多个环节，无需在不同处理器之间来回交接任务。至于具体的计算性能指标，Majestic Labs目前尚未公布。
软件生态与兼容性
Rabii对软件层面也相当重视，毕竟目前很多AI框架已经深度融入现有工作流中。他的态度很明确：“客户采用过程中遇到的每一个摩擦点，不管是硬件还是软件，我们都要尽量消除。”Prometheus支持PyTorch、vLLM和OpenAI的Triton推理框架，而且无需修改任何代码。换句话说，只要模型是基于这些框架开发的，拿来就能直接运行。
服务器规格与价格展望
聊聊整机规格。Prometheus遵循开放计算项目标准，单个机架最多可容纳四台服务器，预计每机架总功耗约120千瓦，采用冷板液冷散热。服务器的内存采用模块化设计，意味着初始配置未达到128TB上限的机器，日后可根据需求升级扩容。
定价方面，尽管内存容量相当惊人，Majestic还是希望给出一个具有竞争力的价格。他们的底气在于用DRAM取代了HBM，成本上更有优势。具体价格尚未公布，服务器预计2027年正式发货。
Rabii最后放了个狠话：“根据不同工作负载，客户的资本支出会下降10到50倍，能耗也能跟着降低同样的幅度。”
Q&A
Q1：Prometheus服务器为什么能配置这么大的内存？
A：它采用了专有的微型铜缆内存接口，有效传输距离可达一米，突破了传统内存接口只能在几毫米内工作的物理限制。同时配合自研内存聚合芯片，统一调度服务器内所有DRAM资源，从而实现最高128TB的超大内存配置，远超采用HBM方案的传统服务器。
Q2：Ignite芯片和英伟达GPU有什么区别？
A：Ignite将数据中心级ARM应用核心与RISC-V向量及张量核心集成在单颗芯片上，并共享统一内存空间。ARM核心负责模型调度，RISC-V核心负责实际的大语言模型推理计算，无需跨处理器传递数据。而英伟达GPU主要依赖HBM与独立主机CPU协同工作，架构逻辑有所不同。
Q3：Prometheus服务器支持哪些主流AI框架？
A：Prometheus支持PyTorch、vLLM以及OpenAI的Triton推理框架，且无需对现有代码进行任何修改。这意味着已基于上述框架开发的大语言模型可以直接在Prometheus上运行，大幅降低了用户的迁移成本和技术门槛。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Majestic Labs推出Prometheus服务器突破大语言模型内存瓶颈要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点DiffusionLogoStudio是一款面向个人创业者、小型企业主和创业公司的AI工具，无需设计知识即可生成独特、可商用的品牌标识。它支持Logo定制、无限可伸缩、添加文字及模拟场景预览，低成本解决传统设计成本高、易撞脸的问题。
Stratup ai是一款基于人工智能的创业点子生成与探索工具，面向创业者、企业家和投资者。它能发现商业创意、分析市场需求与竞争格局，生成包括市场规模、风险评估在内的详细报告，辅助商业决策，将创意转化为系统流程。
猫眼是一套基于人工智能的校园反欺凌系统，通过分析音频与视频信号实时检测言语威胁和肢体冲突，秒级向教职工发送警报，将被动监控升级为主动防御，助力学校及时干预欺凌事件。
SAP推出商业智能AI助手Joule，将生成式AI嵌入企业工作流，覆盖HR、财务、供应链等领域。能撰写招聘广告、分析销售业绩、提供供应链改善方案并自动联系系统，核心特色是理解业务语境，提供情景化建议并协助完成日常工作。
- 日榜
- 周榜
- 月榜
热点快看