AMD开源AI工具首度支持NVIDIA CUDA,跨平台本地推理体验升级
开源本地AI服务器解决方案Lemonade发布10 7版本,实现了对NVIDIACUDA的首次官方支持,填补了此前对NVIDIA硬件优化缺失的空白。新版本在Windows和Linux平台同步集成CUDA后端,并引入性能对比工具,方便开发者在不同后端间评估LLM推理性能。此次更新由社区贡献驱动,标志
备受关注的开源本地AI服务器方案迎来了重要版本升级。近日,其主导开发的Lemonade项目正式发布10.7版本,首次原生集成NVIDIA CUDA后端,实现了对NVIDIA GPU的完整本地AI推理适配。这一更新意味着,无论开发者使用的是AMD还是NVIDIA硬件,现在都能在该框架下获得更统一、更流畅的本地AI开发与部署体验。

在此之前,该方案已广泛支持AMD自家的Ryzen AI NPU、Radeon/Instinct GPU、x86_64 CPU以及Apple Metal GPU,唯独对NVIDIA产品的专门优化存在空白。此次更新精准填补了这一关键缺口,为更广泛的开发者群体和多样化硬件环境扫清了障碍,显著降低了跨平台AI部署的门槛。
跨平台CUDA支持与性能对比工具上线
具体来看,10.7版本在Windows和Linux双平台上同步集成了Llama.cpp的CUDA后端,并配备NVIDIA GPU自动检测功能。这使得用户能够直接在NVIDIA显卡上高效进行本地大语言模型推理。同时,项目首次在Linux平台加入stable-diffusion.cpp的CUDA后端,并带来跨厂商的Vulkan扩展支持,进一步拓宽了GPU适配范围,大幅提升了框架的灵活性与通用性。
本次更新的另一亮点是引入了名为lemonade bench的性能对比工具。该工具专为开发者和研究人员设计,支持在Llama.cpp、FastFlowLM、vLLM、Ryzen AI等多种后端之间开展端到端的大语言模型推理性能基准测试,显著降低了在不同硬件和软件栈上进行评估与对比的技术门槛。
生态开放与功能增强
值得注意的是,此次CUDA后端的合并并非由项目方直接开发,而是由外部开发者提交贡献,最终由官方审核并合并进主线代码库。这一过程标志着该项目在构建开放、跨厂商的AI开发生态方面迈出了实质性的一步,体现了社区驱动的协作力量。
除了核心的CUDA支持,10.7版本还同步带来了LMX-Omni模型支持、原生Prometheus实时监控端点等多项增强功能。这些更新共同推动该解决方案朝着全场景本地AI引擎的目标稳步演进。目前,10.7版本已在其开源项目主页正式发布,开发者可根据自身硬件配置与业务需求,灵活选择后端组合,实现从云端API依赖到高效本地部署的平滑过渡。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:AMD开源AI工具首度支持NVIDIA CUDA,跨平台本地推理体验升级要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点工信部最新申报信息揭示了问界M6纯电四驱高功率版的详细参数。新车最大亮点在于动力系统的全面升级,其前后双电机综合功率高达454千瓦,远超现款车型。此外,新车最高时速可达200公里 小时,并搭载宁德时代磷酸铁锂电池。车身尺寸方面则与现款保持一致,长宽高分别为4960 1985 1736毫米,轴距295
近期高校毕业典礼上,演讲者提及人工智能时常引发台下嘘声,凸显公众对AI技术发展的担忧。微软总裁布拉德·史密斯呼吁行业必须严肃回应公众关切,并分享其母校普林斯顿毕业生因怀疑设计借助AI而否决毕业典礼夹克方案的事例。史密斯主张AI应增强而非取代人类能力,认为技术渗透经济的速度可能慢于预期。微软计划今年投
vivo即将发布的XFold6折叠屏手机聚焦于提升移动办公体验,定位为“AI轻办公神器”。其核心亮点在于强大的跨设备协同能力,支持通过vivo办公套件与Windows或Mac电脑联动,部署功能丰富的PC版“小VClaw”智能助手,内置超30个开源Skills并支持自定义。同时,新机还将搭载全新升
苹果VisionPro旅行舱已在英国、日本等多国下架,仅在美国等少数市场销售。该产品线投入缩减、团队解散,VisionAir项目取消,未来重心转向智能眼镜等可穿戴设备。
- 日榜
- 周榜
- 月榜
热点快看
