DiT（Diffusion Transformer）
DiT（Diffusion Transformer）是一种基于Transformer架构的扩散模型，它用Transformer替代了传统的U-Net，在图像生成、视频生成等任务中展现出强大的扩展性和高质量输出能力，成为Sora等前沿模型的基础架构。
一句话解释
DiT（Diffusion Transformer）是一种用Transformer替换传统U-Net的扩散模型，通过将图像切分成小块并利用自注意力机制处理噪声预测，从而实现更高质量和更强扩展性的生成效果。
为什么会被关注
DiT的出现打破了扩散模型长期依赖U-Net的格局，让生成质量随着模型参数量和计算量的增加持续提升，展现出类似大语言模型的“规模法则”。
它被OpenAI的Sora视频生成模型采用，直接推动了AI视频生成从实验走向实用，引发了行业对Transformer架构在生成领域潜力的重新评估。
核心逻辑
DiT将输入图像切分为固定大小的Patch（类似ViT），然后通过Transformer编码器逐步去噪。每个步骤中，模型会预测当前噪声的增量，最终还原出清晰图像。
相比于U-Net的卷积结构，Transformer的自注意力机制能更好地捕捉全局依赖关系，且更适于大规模并行训练，使得DiT在相同计算量下生成细节更丰富、一致性更强的结果。
常见场景
AI图像生成：DiT可替代Stable Diffusion中的U-Net，生成高分辨率且风格一致的图片，尤其擅长复杂构图和纹理细节。
AI视频生成：Sora等模型基于DiT架构处理时间序列，能够生成流畅的短视频，保持物体在帧间的连续性和一致性。
3D内容生成：将DiT与NeRF结合，可从文本或图片直接生成高品质3D场景，应用于虚拟现实和游戏开发。
容易混淆的点
DiT不是“DIT”或“Dit”，而是“Diffusion Transformer”的缩写，注意与Google的“DiT”（Dense Image Transformer）等其他同名技术区分。
DiT和Stable Diffusion都基于扩散过程，但DiT用Transformer替代U-Net，不表示所有扩散模型都需改用Transformer；U-Net在中小规模任务中仍有成本和速度优势。
不要把DiT与纯Transformer生成模型（如GPT-4的图像生成能力）混为一谈，DiT专为噪声预测而设计，遵循去噪扩散步骤，而非自回归生成。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词Sora是OpenAI开发的文生视频扩散模型，能够根据用户的文本指令生成长达一分钟的高质量、连贯视频，标志着AI在理解和模拟物理世界方面取得重大突破。
Stable Diffusion是一种开源的潜在扩散模型，能够根据文本描述生成高质量的图像。它通过将图像生成过程分解为逐步去除噪声的步骤，实现了从随机噪声到目标图像的转换。
Transformer是一种革命性的神经网络架构，它通过“自注意力”机制并行处理序列数据，彻底改变了自然语言处理领域，并成为GPT、BERT等大模型以及扩散模型的核心基础。
扩散模型是一种通过逐步去除噪声来生成数据（如图像、音频）的生成式AI模型。它模仿了物理中的扩散过程，先将数据“打散”成噪声，再学习如何逆向“重建”出清晰、高质量的内容。
视频生成是指利用人工智能技术，根据文本、图像或其他指令自动创建或编辑视频内容的过程。它正从简单的特效工具演变为能够理解复杂指令并生成连贯动态画面的创造性引擎。