树莓派AI摄像头新品上市可直接购买
从Raspberry Pi诞生的第一天起,人们就热衷于用它来做各种各样的人工智能项目。随着硬件一代代升级,原生支持的应用场景越来越多,但总有一些负载需要借助外部翻跟斗——比如今年六月推出的Raspberry Pi AI套件,每秒能执行13万亿次操作。不过它只兼容Raspberry Pi 5,还得额外
从Raspberry Pi诞生的第一天起,人们就热衷于用它来做各种各样的人工智能项目。随着硬件一代代升级,原生支持的应用场景越来越多,但总有一些负载需要借助外部翻跟斗——比如今年六月推出的Raspberry Pi AI套件,每秒能执行13万亿次操作。不过它只兼容Raspberry Pi 5,还得额外配一个摄像头模块来捕获视觉数据。所以,Raspberry Pi摄像头产品线今天迎来了新成员:Raspberry Pi AI摄像头。
这款AI摄像头以索尼IMX500图像传感器为核心,集成了AI翻跟斗。它能在低功耗、低延迟下运行各种流行的神经网络模型,把Raspberry Pi的主处理器解放出来干别的活儿。
Raspberry Pi AI摄像头的关键特性包括:
- 1200万像素索尼IMX500智能视觉传感器
- 传感器模式:4056×3040分辨率下10fps;2028×1520分辨率下30fps
- 1.55微米×1.55微米像素单元
- 78度视场角,可手动调焦
- 集成RP2040用于神经网络和固件管理
AI摄像头通过标准的摄像头带状电缆,可以连接到所有Raspberry Pi型号,包括Raspberry Pi Zero。
借助索尼的AI工具链,用TensorFlow或PyTorch等框架训练的神经网络模型可以转换成在AI摄像头上高效运行的格式。当然,也可以专门设计新模型来发挥AI翻跟斗的特长。
内部构造
要利用这颗集成的AI翻跟斗,首先得把模型上传进去。在较老的Raspberry Pi设备上,这一步走I2C协议;而在Raspberry Pi 5上,可以用更快的定制双线协议。链路中摄像头一侧由板载RP2040微控制器管理,额外的16MB闪存会缓存最近用过的模型,很多情况下直接跳过上传步骤。
传感器开始流式传输后,IMX500就跟Raspberry Pi Camera Module 3上的传感器一样,作为标准Bayer图像传感器工作。集成的图像信号处理器(ISP)对传感器帧做基本的图像处理(主要是Bayer转RGB以及裁剪/缩放),然后直接把处理后的帧喂给AI翻跟斗。神经网络模型处理完帧后,其输出和Bayer帧一起通过CSI-2摄像头总线传回主机Raspberry Pi。
与Raspberry Pi libcamera集成
AI摄像头的一大亮点是它与Raspberry Pi相机软件栈的无缝集成。内部,libcamera用自己的ISP处理Bayer帧——就跟处理任何传感器一样。同时我们还解析神经网络结果,生成输出张量,并与处理过的Bayer帧同步。这两者都在libcamera的请求完成步骤中返回给应用程序。
Raspberry Pi相机框架——Picamera2和rpicam-apps,以及任何基于libcamera的应用程序——都能检索到与传感器帧同步的输出张量。下面是一个在rpicam-apps下运行对象检测神经网络模型(MobileNet SSD)的例子,在1080p视频上以30fps做推理。演示利用rpicam-apps的后处理框架,从输出张量生成物体边界框并绘制在图像上。整个实现不到300行代码。用Python和Picamera2写等效应用,代码行数更少。
再来看一个姿态估计神经网络模型(PoseNet)在1080p视频上以30fps推理的例子。虽然这些演示是用Raspberry Pi 4录制的,但在Raspberry Pi Zero上推理性能完全一样!
Raspberry Pi与索尼合作,在模型库里发布了一批为AI摄像头优化的流行视觉神经网络模型,以及使用Picamera2的视觉示例脚本。
我应该购买哪个产品?
到底该买Raspberry Pi AI套件还是Raspberry Pi AI摄像头?AI套件的理论性能更高,支持的模型范围更广,但只兼容Raspberry Pi 5。AI摄像头更小巧、总成本更低,而且兼容所有型号的Raspberry Pi。说实话,两种产品对常见模型的加速效果都很出色,而且都针对Raspberry Pi相机软件栈做了深度优化。
开始使用和进一步探索
可以查阅入门指南,里面有安装AI摄像头硬件、设置软件环境以及运行模型库中示例和神经网络模型的详细说明。模型库里还有更多现成的模型可直接使用。如果想在AI摄像头上跑自己训练的网络,索尼的AITRIOS开发者网站上提供IMX500转换器和封装文档,技术资源很全。
入门指南:https://www.raspberrypi.com/documentation/accessories/ai-camera.html
模型库:https://github.com/raspberrypi/imx500-models
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:树莓派AI摄像头新品上市可直接购买要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点面壁智能聚焦端侧AI,不拼参数大小,而是通过知识密度提升与模型风洞技术,将大模型压缩至手机、汽车等设备。其MiniCPM以2B参数超越同期8B对手。CTO曾国洋22岁主导训练中国首个大语言模型CPM-1。端侧AI追求“默契系统”,在用户开口前预判需求,已在吉利、上汽大众等车型落地应用。
印度IT巨头HCLTech投资最高350亿卢比建设AI数据中心,容量可扩展至50MW,提供从设计到运营的端到端服务,旨在满足政府及企业日益增长的算力需求,抢占印度快速增长的数据中心市场,并推动AI基础设施布局。
小米具身机器人在汽车工厂自攻螺母上件工站实现双侧作业成功率98%,接近人工水平。同时在新工站分别达到90%成功率,从单一操作拓展至多工站协同,验证了具身智能在复杂工业环境的落地能力。
全球AI行业正迎来新的财富格局,DeepSeek创始人梁文锋凭借其公司的迅猛发展,个人财富急剧膨胀,一举超越多位硅谷知名人物,成为全球AI公司领域的新首富。以下将详细解析其身价飙升背后的关键因素及公司发展历程。 一、身价飙升至360亿美元,超越多位AI大佬 根据最新彭博亿万富豪指数,DeepSeek
- 日榜
- 周榜
- 月榜
热点快看
