苹果开源FastVLM与MobileCLIP2浏览器实时视频字幕提速85倍
(该模型能够精准描述 iPhone 屏幕上的内容)
除基础图像描述外,这组模型还支持高分辨率图像处理,覆盖 OCR 文字识别、视觉问答、场景理解等多种复杂任务。例如下面这张公园场景图:
(模型准确识别出圆形公园中央的拱形建筑结构)
更具实用价值的是实时 OCR 功能——不仅可提取图像中的文字,还能理解文字在上下文中的位置关系:
最令人惊讶的是其情感识别能力,就连人物着装与配饰细节都能一一解析:
苹果以往在开源领域较为保守,但此次确实拿出了诚意十足的开源成果。不过需要注意,当前版本对苹果 VoiceOver 的无障碍支持仍有待完善。
模型下载地址:
FastVLM:https://huggingface.co/collections/apple/fastvlm-68ac97b9cd5cacefdd04872e
MobileCLIP2:https://huggingface.co/collections/apple/mobileclip2-68ac947dcb035c54bcd20c47
在线体验链接:https://huggingface.co/spaces/apple/fastvlm-webgpu
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
同类文章
科研人员必读:多肽、蛋白质、重组蛋白区别及定制指南
Section 01 多肽 VS 蛋白质 VS 重组蛋白 多肽、蛋白质和重组蛋白,本质上是同宗同源的东西——都是氨基酸串起来的生物大分子。三者的核心区别,说到底无非是三个维度:分子大小、折叠形态,以及生产方式。 接下来是一张清晰的对比图,帮你快速建立直觉: 
