Tensormesh获英伟达AMD等投资，攻克AI内存瓶颈
创企Tensormesh获英伟达、超威半导体和CoreWeave等2000万美元投资，总融资达2450万美元。其旗舰产品TensormeshInference利用键值缓存技术存储大语言模型中间数据，大幅减少GPU重复计算，可将延迟与成本降低为原来的十分之一，缓存命中率已超70%。
AI推理过程中的计算成本，尤其是GPU资源的消耗，一直是困扰开发者和企业的核心难题。每一次向大语言模型发出请求，其背后都意味着实实在在的算力开销。如今，一家名为Tensormesh的初创企业提出了一种直击问题本质的解决方案——通过消除冗余计算来提升推理效率。这一思路已经获得了业界的真金白银支持：Nvidia、AMD和CoreWea ve等AI基础设施巨头联合投资了2000万美元。
除了上述三家产业资本外，本轮融资还包括Valley Capital Partners和Laude Ventures两家风险投资机构。这笔资金使得Tensormesh的总融资额攀升至2450万美元。与融资消息一同发布的，是公司的旗舰产品——Tensormesh Inference，一套软件即服务（SaaS）解决方案。
那么，这款产品究竟解决了什么痛点？关键在于GPU显存容量的局限性。由于缓存空间有限，GPU在执行任务时常常被迫反复计算相同的数据，这成为了效率提升的主要瓶颈。这一问题的根源在于大语言模型的工作机制：它们通常会将用户发送的每一个新提示或请求都视为一个全新的任务。这意味着，即使AI聊天机器人正与你进行连贯对话，或者分析一份它之前“见过”的文档，GPU也需要从零开始，重新处理整个冗长的上下文内容。其中的重复计算量，可想而知。
Tensormesh提供的解决方案是一项名为“键值缓存”（KV缓存）的技术。简而言之，它就像一个“中转驿站”，专门存储大语言模型在处理提示词时产生的中间推理数据。
有了这个“记忆库”，当模型再次遇到相似或相关的提示时，可以直接调用已存储的结果，跳过大量重复计算步骤，从而显著提升响应速度。对于需要构建多步骤推理AI智能体的开发者而言，这项技术带来的好处是立竿见影的——据称能将延迟和GPU支出降低多达10倍。
Tensormesh Inference产品建立在开源的LMCache项目之上。其亮点之一在于提供了一个直观的成本节约仪表盘，开发者不仅可以追踪“缓存命中率”，还能将这一技术指标换算为具体的成本节约金额，让优化效果一目了然。此外，开发者可以自主控制分配给缓存的存储空间大小，从而根据模型部署的规模和使用模式，精细调整基础设施，实现效率最大化。根据公司披露的数据，部分早期客户已实现超过70%的缓存命中率，这意味着超过三分之二的用户请求无需GPU重新计算，直接从缓存中获取了答案。
在部署模式上，Tensormesh提供了高度的灵活性，主要分为三种方式：第一种是与OpenAI API标准完全兼容的无服务器接口，开发者可以几乎无缝地将其集成到现有工作流中；第二种是按需部署，为运行高负荷工作负载的客户提供专用GPU资源；第三种则是预留部署方案，主要面向有定制化服务级别协议需求的企业级客户。
对于能获得Nvidia、AMD和CoreWea ve的青睐，公司创始人兼首席执行官Junchen Jiang并不感到意外。他表示：“Tensormesh为大语言模型处理提示时生成的中间数据提供了一种全新的视角。‘KV缓存’这个术语的背后，实际上是AI对用户问题的完整理解，这是一个全新的数据类别。”
这正是Tensormesh技术引人遐想之处。它正在将“AI中间数据”塑造成一个全新的、可能极具价值的资产类别。随着AI智能体变得越来越复杂，它们所需的上下文窗口也越来越大。通过有效扩展和管理这些上下文，Tensormesh很可能成为未来智能体AI技术栈中不可或缺的关键环节。
据悉，本轮融资所得将主要用于深化Tensormesh与AMD、Nvidia和CoreWea ve基础设施的硬件集成，并加速后续产品研发。公司同时承诺，将继续投入对底层开源项目LMCache的建设，未来的许多技术创新都将回馈这一社区项目。
Q&A
Q1：Tensormesh是如何提升AI推理效率的？
其核心在于“键值缓存”（KV缓存）技术。该技术会存储大语言模型在处理用户提示过程中产生的中间推理数据。当类似的提示再次出现时，系统可以直接从缓存中调用这些结果，从而跳过大量的重复计算步骤。这不仅大幅提升了响应速度，据称还能将相关场景下的延迟和GPU支出降低10倍。
Q2：Tensormesh Inference产品有哪些部署模式？
产品提供了三种灵活的部署选项：一是与OpenAI API标准完全兼容的无服务器接口，便于快速集成；二是基于专用GPU资源的按需部署，适合计算密集型工作负载；三是为企业级客户定制的预留部署方案，可满足特定的服务级别协议要求。
Q3：使用Tensormesh能节省多少成本？
实际节省成本因使用场景而异，但公司提供了一个关键参考指标：缓存命中率。已有客户实现了超过70%的命中率，这意味着超过三分之二的请求无需重新计算。产品内置的成本节约仪表盘可以将命中率直接转换为预估的成本节省金额，帮助用户清晰量化收益。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Tensormesh获英伟达AMD等投资，攻克AI内存瓶颈要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点A股市场今日早盘三大指数集体下跌，沪指、深成指、创业板指跌幅均超1%。盘面呈现显著分化，油气开采及服务、工程机械等周期板块逆势走强，而半导体、CPO、贵金属等板块则大幅回调。市场整体成交额较前一日缩量，个股跌多涨少。减速器板块在盘中有所表现。当前市场调整压力显现，资金在板块间进行切换，投资者需关注结
零跑D99作为一款中大型MPV，因配置对标高端车型且被冠以“半价理想MEGA”之称，其定价策略引发市场关注。该车配备21 4英寸3K屏、车载冰箱及50万内首款双124°零重力座椅等豪华配置。竞品分析显示，其核心对手60%为同级MPV，首要竞品竟是同门D19。若定价25万起，将直面小鹏X9、腾势D9等
三星即将发布的GalaxyZFlip8小折叠手机计划在韩国和欧洲市场版本中采用自研的Exynos2600芯片。此举标志着三星在该系列产品上持续从依赖高通转向自家芯片方案。决策背后主要受到内存芯片价格上涨带来的成本压力驱动，使用自研芯片有助于控制制造成本。行业分析指出，由于小折叠手机用户更注重设
零跑C10、C11、C16新款盲订已开启，支付1000元订金可获10000积分，6月16日上市。三车外观内饰及配置升级：C10车长增加10毫米，C16提供6座 5座布局，C11配备20英寸轮圈与绿色四活塞卡钳。
- 日榜
- 周榜
- 月榜
热点快看