面包屑图标 当前位置: 首页
AI资讯
热点详情

广和通成功完成Qwen3.5系列模型在高通NPU端侧适配

AI热点日报
AI热点日报时间:2026-07-14
热点解读

广和通AI研究院在端侧AI领域取得重大突破,成功将Qwen3 5系列模型适配至高通NPU,为智能设备本地运行大模型扫清了关键障碍。 一、 端侧NPU上运行Qwen 3 5,面临哪些挑战? 将前沿大模型部署到手机、物联网设备等端侧设备上,远比在云端运行复杂。Qwen3 5系列模型采用了名为“混合注意力

广和通AI研究院在端侧AI领域取得重大突破,成功将Qwen3.5系列模型适配至高通NPU,为智能设备本地运行大模型扫清了关键障碍。

一、 端侧NPU上运行Qwen 3.5,面临哪些挑战?

将前沿大模型部署到手机、物联网设备等端侧设备上,远比在云端运行复杂。Qwen3.5系列模型采用了名为“混合注意力架构”的创新设计。

  • 架构复杂性:该架构引入了Linear Attention(线性注意力)机制,这不仅提升了模型处理长文本的效率,同时也使得模型结构更加复杂,对硬件适配提出了更高要求。
  • 资源限制:端侧设备通常算力和内存均有限,与资源充足的云端环境截然不同。
  • 适配挑战:将模型从云端迁移到端侧NPU运行,必须经过模型转换、量化、编译和推理验证等多个环节,以确保模型与终端计算方式完美融合。若适配不当,可能导致编译失败、运行不稳定、无法充分利用NPU算力等问题,直接影响设备的响应速度、功耗和用户体验。

核心难点在于,如何在资源受限的条件下,让Qwen3.5模型既稳定运行,又能充分调用NPU的专用AI算力资源。

二、 广和通如何实现全链路适配,释放NPU算力?

广和通AI研究院基于其自研的Fibocom AI Stack使能平台,围绕高通QCS8550处理器开展了专项适配。

Fibocom AI Stack使能平台是一个覆盖AI模组、AI工具链、AI引擎、AI模型仓以及支持与服务的一站式解决方案,为模型适配、推理部署和应用开发提供完整支撑。

本次适配主要攻克了三大核心难题:

  • 模型转换与编译可行性:确保模型能被NPU正确识别并编译。
  • 量化后运行稳定性:对模型进行混合精度量化,在减小模型体积、降低功耗的同时,确保推理结果的准确性和稳定性。
  • 推理过程中的缓存与状态维护:优化缓存机制,确保模型在连续对话等场景中能完整、高效地处理信息。

通过解决这些难题,广和通成功打通了从模型转换、混合精度量化、NPU后端编译到端侧推理验证的完整技术链路。这一突破意味着Qwen3.5系列小尺寸模型已具备在QCS8550处理器NPU上本地运行的可行性,为构建高性能、低功耗的AI模组和边缘智能设备奠定了坚实基础。

三、 成功适配后,能带来哪些具体应用?

此次适配成果,使广和通能够将Qwen3.5等前沿大模型的强大能力,转化为终端设备本地即可调用的智能能力,赋能多种场景:

1. 端侧Agent与AI会议机场景

  • 可将模型能力与语音识别、知识库检索和工具调用相结合。
  • 在设备本地实现自然语言交互、内容理解、信息提炼和任务分解等复杂功能,无需依赖云端。

2. 智能座舱与边缘智能设备场景

  • 为车载系统等设备提供本地多轮对话与任务辅助能力。
  • 在弱网、无网或对隐私要求极高的环境下,也能保证交互的连续性和响应速度,同时确保数据在本地处理,避免泄露。

小提示: 这种本地化AI能力对于需要实时响应的场景(如工业控制)或涉及敏感数据(如医疗、金融)的应用至关重要。

总结:广和通端侧AI战略持续推进

Qwen3.5在QCS8550处理器上的成功适配,是广和通在端侧AI关键技术上的重要里程碑。它不仅验证了Fibocom AI Stack使能平台强大的技术能力和工程化水平,也为广和通未来在前沿模型适配、长上下文处理、端侧Agent与具身智能推理等方向上持续创新和落地提供了强大驱动力。广和通将以此为基础,加速推动大模型能力向更多终端设备和业务场景渗透,助力各行各业迈向万物智联的AI新时代。

热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:广和通成功完成Qwen3.5系列模型在高通NPU端侧适配要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://m.elecfans.com/article/8101971.html
处理器 高通 广和通

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-14 19:48
面壁智能CTO谈端侧AI:从打字机到大模型的进化突围

面壁智能聚焦端侧AI,不拼参数大小,而是通过知识密度提升与模型风洞技术,将大模型压缩至手机、汽车等设备。其MiniCPM以2B参数超越同期8B对手。CTO曾国洋22岁主导训练中国首个大语言模型CPM-1。端侧AI追求“默契系统”,在用户开口前预判需求,已在吉利、上汽大众等车型落地应用。

AI热点2026-07-14 19:48
印度IT巨头HCL Tech投350亿卢比建50MW AI数据中心

印度IT巨头HCLTech投资最高350亿卢比建设AI数据中心,容量可扩展至50MW,提供从设计到运营的端到端服务,旨在满足政府及企业日益增长的算力需求,抢占印度快速增长的数据中心市场,并推动AI基础设施布局。

AI热点2026-07-14 19:48
小米具身智能机器人新工站双侧螺母上件成功率达98%

小米具身机器人在汽车工厂自攻螺母上件工站实现双侧作业成功率98%,接近人工水平。同时在新工站分别达到90%成功率,从单一操作拓展至多工站协同,验证了具身智能在复杂工业环境的落地能力。

AI热点2026-07-14 19:48
DeepSeek梁文锋身价360亿美元成AI新首富

全球AI行业正迎来新的财富格局,DeepSeek创始人梁文锋凭借其公司的迅猛发展,个人财富急剧膨胀,一举超越多位硅谷知名人物,成为全球AI公司领域的新首富。以下将详细解析其身价飙升背后的关键因素及公司发展历程。 一、身价飙升至360亿美元,超越多位AI大佬 根据最新彭博亿万富豪指数,DeepSeek

延伸阅读