端侧AI
端侧AI指在智能手机、IoT设备、边缘服务器等终端设备上直接运行AI模型，无需依赖云端计算。它降低了延迟、保护隐私、减少带宽消耗，是AI落地的重要方向。
一句话解释
端侧AI就是把人工智能模型的推理过程放在用户手中的手机、智能音箱、摄像头等终端设备上运行，而不是上传到云端服务器处理。
为什么会被关注
传统AI依赖云端，会带来网络延迟、隐私泄露风险和高昂带宽成本。端侧AI让语音助手、实时翻译等功能做到毫秒级响应，且数据不出设备，从根本上保护用户隐私。
随着芯片算力提升和模型压缩技术进步，手机和IoT设备已能运行上亿参数的模型，使AI真正融入日常生活，成为各大厂商争相布局的核心能力。
核心逻辑
端侧AI的核心是“模型轻量化”与“硬件适配”。通过模型剪枝、量化、蒸馏等技术，将大模型压缩到手机芯片可承载的大小，同时利用NPU、GPU等专用硬件加速推理。
它通常采用端云协同策略：简单任务在端侧实时完成，复杂请求再调用云端大模型。这种分层架构既保证体验，又降低了整体成本。
常见场景
手机上的离线语音助手、相册智能分类、实时美颜滤镜都是端侧AI的典型应用。智能摄像头在本地识别人脸或异常行为，无需上传视频流即可报警。
工业场景中，边缘计算盒子在产线实时检测缺陷；自动驾驶汽车的感知系统也依赖端侧AI，因为毫秒级决策不能依赖不稳定的网络连接。
容易混淆的点
端侧AI不等于边缘计算。边缘计算更强调网络架构中的中间层，而端侧AI特指在最终用户设备上运行推理。二者有交集但概念不同。
它也不是单纯的“离线AI”。端侧AI可以连接云端更新模型或处理复杂任务，离线只是其一个子特性。同样，联邦学习侧重训练而非推理，与端侧AI关注点不同。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词模型压缩是一系列旨在减少深度学习模型大小和计算需求的技术总称，目的是让强大的AI模型能在手机、汽车、物联网设备等资源受限的环境中高效运行。
联邦学习是一种新兴的分布式机器学习框架，其核心思想是在不交换原始数据的情况下，通过交换加密的模型参数或梯度更新，实现多个参与方协同训练一个共享的机器学习模型。它旨在解决数据孤岛与隐私保护之间的矛盾，是隐私计算领域的关键技术之一。