苹果发布全新多模态视觉模型4M-21可处理21种模态

苹果公司与瑞士洛桑联邦理工学院（EPFL）的研究团队近日联合发布了一项重大成果——全新4M-21模型。这款模型堪称“全能选手”，不再局限于仅处理图像、文本或声音的单模态方案，而是能够在21种不同模态之间灵活切换与任意组合。简而言之，无论输入何种数据（如图像、深度图、人体姿态、语义分割等），模型都能输出用户所需的任意一种或多种模态结果。此外，与现有同类模型相比，它至少能完成三倍以上的任务，且性能丝毫不打折扣。

此次采用的4M预训练方案，思路非常清晰：扩大模型与数据集规模，增加训练过程中涉及的模态种类与数量，并在多个数据集上进行联合训练。为了将来自不同模态、特征各异的信号统一处理，研究人员运用了多样化的tokenization方法，将全局图像嵌入、人体姿态、语义实例等数据离散化。架构方面，则基于Transformer的4M编码器-解码器结构，额外引入模态嵌入以适配新加入的模态。

该模型一经推出，不仅“可用”，更实现了“开箱即用”。常见的视觉任务，如DIODE的表面法线与深度估计、COCO的语义与实例分割、3DPW的3D人体姿态估计，它都能直接胜任。更令人瞩目的是，它还能生成任意训练模态，支持多种细粒度、多模态生成任务，甚至可以通过其他模态作为查询条件，检索对应的RGB图像或其他模态数据。此外，研究团队在NYUv2、Hypersim语义分割、ARKitScenes等数据集上进行了多模态迁移实验，效果同样出色。

该模型的核心功能特性，大致可归纳为以下几个方面：

• 任意到任意模态：从现有最佳任意到任意模型的7种模态，直接扩展至21种。跨模态检索、可控生成、开箱即用性能一应俱全。
• 多样性支持：此前模型对结构化数据（如人体姿态、SAM实例、元数据等）支持不足，此次已全面补齐。
• Tokenization：针对不同模态特点，设计了专属离散化方法，例如全局图像嵌入、人体姿态、语义实例均采用各自独特的“翻译”方式。
• 扩展：模型参数一举提升至3B，训练数据集扩充至0.5B样本。规模扩大后，效果自然显著提升。
• 协同训练：视觉与语言同时训练，两者相互促进、协同优化，而非各自为政。

论文地址：https://arxiv.org/pdf/2406.09406

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：苹果发布全新多模态视觉模型4M-21可处理21种模态要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题