基于神经网络的AI如何为图像创建数据

让AI画出「金鱼喝可乐」——DALL·E 2与扩散模型技术教程

想象一下，你让一个程序绘制一幅「金鱼在海滩上啜饮可口可乐」的图画——它不仅听懂了，还吐出了一张超现实的图像。这个程序从未见过金鱼、海滩和可乐同时出现的照片，但它却能将这些概念无缝组合，创作出连达利都可能惊叹的作品。这就是OpenAI的DALL·E 2——一种被称为扩散模型的生成式AI系统。本教程将带你从零开始，理解这种神奇技术的背后原理、发展历程和实际应用。

一、生成模型的核心：学会概率分布

1.1 什么是生成模型？

生成模型的本质是：学习训练数据的概率分布，然后从中采样，创造出与训练数据相似但全新的内容。比如，给模型看成千上万张猫的照片，它就能自己画出从未存在过的猫。这是机器学习中最困难的问题之一——模型不仅要记住特征，还要能灵活组合。

1.2 从二维点理解概率分布

为了直观理解，我们从最简单的图像开始：一张只有两个相邻灰度像素的图片。每个像素的灰度值（0~255）可以看作两个坐标，这样每张图就对应二维空间中的一个点。如果你把大量这样的图像（比如1000张黑白渐变图）都画成点，就会看到某些区域聚集了更多的点——这些区域就是“高概率区域”。

想象在这些点之上有个曲面，曲面的高度代表该处点的密度。这个曲面就是概率分布。要生成新图像，你只需按“高处多采样、低处少采样”的规则随机取点，这个过程叫采样。每个新点就是一张新图像。

1.3 扩展到百万像素

真实的照片动辄百万像素，每个像素一个轴，概率分布就变成了百万维空间中的复杂曲面。如果模型能准确学习这个曲面，采样出的百万个像素值就能构成一张逼真的照片。更厉害的是，研究人员可以把文本和图像的概率分布结合起来——比如将“金鱼”的分布和“海滩”的分布混合，就能生成从未在训练集中间出现的组合场景。

小提示：生成模型的核心困难在于——真实数据的概率分布极其复杂，无法用数学公式直接描述，必须靠神经网络去“近似学习”。

二、早期的王者：GAN及其局限

2014年，生成对抗网络(GAN)横空出世，成为第一个能生成逼真图像的模型。它让两个神经网络互相博弈（一个生成假图，一个辨别真假），最终生成器能创造出以假乱真的作品。

但GAN有一个致命弱点：难以训练。它可能无法学习完整的概率分布，比如在训练了猫、狗、兔子等动物后，它只会生成狗，忽略了其他物种。或者训练过程不稳定，图像质量忽高忽低。行业迫切需要一种更可靠的方法。

三、物理学带来的灵感：扩散模型诞生

3.1 一滴墨水的启示

2015年，斯坦福大学博士后Jascha Sohl-Dickstein对非平衡热力学着迷。想象一滴蓝色墨水滴入水杯：开始时墨水聚集成一团黑斑，位置分布极为复杂；但随着时间的推移，墨水扩散到整杯水，最终变成均匀的淡蓝色——此时墨水分子的分布可以用简单的数学公式描述。

关键发现：扩散的每一步都是可逆的。也就是说，如果你能控制步长足够小，就能从一个“简单均匀的分布”一步步回到“复杂聚集的分布”。这正是扩散模型的核心思想。

3.2 扩散模型的算法框架

Sohl-Dickstein将上述过程转化为生成建模算法：

• 正向过程（扩散）：对训练集中的每张图片，逐步添加随机噪声，直到图片完全变成纯粹的噪声（类似墨水完全扩散）。这个噪声的分布是简单且已知的（通常为高斯分布）。
• 逆向过程（去噪）：训练一个神经网络，让它学会“反向走”每一步——从噪声图像预测出前一步更清晰的图像。经过无数次反向迭代，最终能直接从纯噪声恢复出逼真的图片。

当时Sohl-Dickstein的模型输出非常粗糙，需要眯着眼睛才能勉强看出卡车轮廓，但这已经证明了原理的可行性。

常见问题：为什么扩散过程要添加噪声，而不是直接学习图像分布？

答案：直接学习百万维空间的复杂分布几乎不可能。但是通过“逐步加噪”，我们能得到一个简单、易于描述的噪声分布（比如以原点为中心的球状高斯分布）。然后训练网络“反向去噪”，就把难题转化成了“从简单分布一步步构造复杂结构”——这在数学上更可控、更稳定。

四、两次关键突破：从理论到实用

4.1 第一个突破：估计梯度而非分布

2019年，斯坦福博士生Yang Song提出了一种新方法：不直接学习概率分布的高度，而是学习分布的梯度（斜率）。他发现，用多级噪声扰动图像，再让神经网络根据梯度去噪，效果更好——但采样速度太慢。有趣的是，他当时并不知道Sohl-Dickstein的工作，直到论文发表后才收到对方的邮件，发现两者原理高度相似。

4.2 第二个突破：DDPM——让扩散模型“能打”

2020年，加州大学伯克利分校的Jonathan Ho融合了Song的梯度估算技术和神经网络领域的最新进展，全面升级了Sohl-Dickstein的扩散模型，命名为去噪扩散概率模型(DDPM)。他的一条核心策略是：要引起社区注意，必须生成漂亮样本。

结果令人惊叹：DDPM在图像质量基准测试中匹配甚至超越了所有竞争模型，包括GAN。而且它克服了GAN“只学一部分”的缺陷，能完整采样整个分布。很快，DALL·E 2、Stable Diffusion、Imagen等商业模型都采用了DDPM的变体。

小提示：2020年的DDPM论文是里程碑式文献，建议阅读原论文（DOI:10.48550/arXiv.2006.11239）理解细节。

五、文本到图像：大语言模型与扩散模型的联姻

5.1 关键组件：大型语言模型(LLM)

要让扩散模型听懂“金鱼在海滩上啜饮可口可乐”这样的文字指令，还需要一个大型语言模型（如GPT-3）。这类模型在亿万文本上学习，能理解单词之间的关联和概率。2021年，Ho和Google Research的同事展示了如何将LLM的文本理解与扩散模型的图像生成结合——称为引导扩散。

5.2 引导扩散的工作原理

• LLM将文本提示转化成一组“语义向量”（比如“金鱼”对应某种特征方向）。
• 扩散模型在逆向去噪的每一步中，都根据这个语义向量“拉”一下生成结果，使它更符合文本描述。
• 最终，噪声变成一张与文本匹配的图像。

正是这种技术，让DALL·E 2能够创造出“金鱼喝可乐”这种从未出现过的场景。

常见问题：引导扩散会不会导致生成结果过于死板，失去多样性？

答案：不会。引导强度（guidance scale）是一个可调参数。弱引导时模型更自由多样，但可能与文本偏差；强引导时更忠于文本，但多样性略降。实际应用中通常取中间值（如7.5）平衡两者。

六、现实挑战：偏见与公平性

尽管效果惊艳，扩散模型并非完美。LLM从互联网文本中学习，往往继承了 种族主义、性别歧视等社会偏见。扩散模型本身也在未清理的互联网图片上训练，同样包含偏见。当两者结合，生成的图像可能反映甚至放大这些偏见。

一位英伟达高管Anima Anandkumar亲身经历：她用扩散模型应用生成自己的头像时，发现大量女性头像被“性感化”，而男性头像则没有。她强调：通过仔细的数据筛查和输入输出审查可以减少偏见，但没有任何方法能替代“广泛的安全测试”。

七、未来展望：生成式AI的无限可能

尽管有挑战，扩散模型的潜力远不止图像生成。Anandkumar引用物理学家费曼的名言：“我不能创造的东西，我不理解。”生成模型让研究人员能“创造”有偏见的合成训练数据（比如生成更多深肤色人脸），从而提高其他AI模型的公平性。此外，它还能模拟大脑如何处理模糊输入、如何唤起心理意象——构建更复杂的模型，或许能让AI真正拥有想象力。

正如Anandkumar所说：“我们才刚刚开始探索生成式人工智能的可能性。”

论文地址：https://doi.org/10.48550/arXiv.1503.03585

本教程系统梳理了从GAN到DALL·E 2的技术脉络，重点讲解了扩散模型的核心原理、物理灵感、关键突破以及当前挑战。希望帮你建立起对生成式AI的清晰认知。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：基于神经网络的AI如何为图像创建数据要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题