Stable Diffusion是一个文本到图像的潜在扩散模型，由CompVis、Stability AI和LAION的研究人员和工程师创建。它使用来自LAION-5B数据库子集的512x512图像进行训练。使用这个模型，可以生成包括人脸在内的任何图像，因为有开源的预训练模型，所以我们也可以在自己的机器上运行它，如下图所示。
如果你足够聪明和有创造力，你可以创造一系列的图像，然后形成一个视频。例如，Xander Steenbrugge使用它和上图所示的输入提示创建了令人惊叹的《穿越时间》。
以下是他用来创作这幅创造性艺术作品的灵感和文本:
本文首先介绍什么是Stable Diffusion，并讨论它的主要组成部分。然后我们将使用模型以三种不同的方式创建图像，这三种方式从更简单到复杂。
Stable Diffusion
Stable Diffusion是一种机器学习模型，它经过训练可以逐步对随机高斯噪声进行去噪以获得感兴趣的样本，例如生成图像。
扩散模型有一个主要的缺点就是去噪过程的时间和内存消耗都非常昂贵。这会使进程变慢，并消耗大量内存。主要原因是它们在像素空间中运行，特别是在生成高分辨率图像时。
Latent diffusion通过在较低维度的潜空间上应用扩散过程而不是使用实际的像素空间来减少内存和计算成本。所以Stable Diffusion引入了Latent diffusion的方式来解决这一问题计算代价昂贵的问题。
1、Latent diffusion的主要组成部分
Latent diffusion有三个主要组成部分:
自动编码器(VAE)
自动编码器(VAE)由两个主要部分组成:编码器和解码器。编码器将把图像转换成低维的潜在表示形式，该表示形式将作为下一个组件U_Net的输入。解码器将做相反的事情，它将把潜在的表示转换回图像。
在Latent diffusion训练过程中，利用编码器获得正向扩散过程中输入图像的潜表示(latent)。而在推理过程中，VAE解码器将把潜信号转换回图像。
U-Net
U-Net也包括编码器和解码器两部分，两者都由ResNet块组成。编码器将图像表示压缩为低分辨率图像，解码器将低分辨率解码回高分辨率图像。
为了防止U-Net在下采样时丢失重要信息，通常在编码器的下采样的ResNet和解码器的上采样ResNet之间添加了捷径的连接。
在Stable Diffusion的U-Net中添加了交叉注意层对文本嵌入的输出进行调节。交叉注意层被添加到U-Net的编码器和解码器ResNet块之间。
Text-Encoder
文本编码器将把输入文字提示转换为U-Net可以理解的嵌入空间，这是一个简单的基于transformer的编码器，它将标记序列映射到潜在文本嵌入序列。从这里可以看到使用良好的文字提示以获得更好的预期输出。
为什么Latent Diffusion快速有效
Latent Diffusion之所以快速有效，是因为它的U-Net是在低维空间上工作的。与像素空间扩散相比，这降低了内存和计算复杂度。例如，一个(3,512,512)的图像在潜在空间中会变成(4,64,64)，内存将会减少64倍。
Stable Diffusion的推理过程
首先，模型将潜在空间的随机种子和文本提示同时作为输入。然后使用潜在空间的种子生成大小为64×64的随机潜在图像表示，通过CLIP的文本编码器将输入的文本提示转换为大小为77×768的文本嵌入。
然后，使用U-Net 在以文本嵌入为条件的同时迭代地对随机潜在图像表示进行去噪。U-Net 的输出是噪声的残差，用于通过scheduler 程序算法计算去噪的潜在图像表示。scheduler 算法根据先前的噪声表示和预测的噪声残差计算预测的去噪图像表示。
许多不同的scheduler 算法可以用于这个计算，每一个都有它的优点和缺点。对于Stable Diffusion，建议使用以下其中之一:
PNDM scheduler (默认)
DDIM scheduler
K-LMS scheduler
去噪过程重复约50次，这样可以逐步检索更好的潜在图像表示。一旦完成，潜在图像表示就会由变分自编码器的解码器部分进行解码。
使用 Hugging Face的API
Hugging Face提供了一个非常简单的API来使用我们的模型生成图像。在下图中可以看到我使用了“astronaut riding a horse”作为输入得到输出图像:
他提供的模型还包含了一些可用的高级选项来改变生成的图像的质量，如下图所示:
这里的四个选项说明如下:
images:该选项控制的生成图像数量最多为4个。
Steps:此选项选择想要的扩散过程的步骤数。步骤越多，生成的图像质量越好。如果想要高质量，可以选择可用的最大步骤数，即50。如果你想要更快的结果，那么考虑减少步骤的数量。
Guidance Scale:Guidance Scale是生成的图像与输入提示的紧密程度与输入的多样性之间的权衡。它的典型值在7.5左右。增加的比例越多，图像的质量就会越高，但是你得到的输出就会越少。
Seed:随机种子够控制生成的样本的多样性。
使用Diffuser 包
第二种使用的方法是使用Hugging Face的Diffusers库，它包含了目前可用的大部分稳定扩散模型，我们可以直接在谷歌的Colab上运行它。
第一步是打开谷歌collab，检查是否连接到GPU，可以在资源按钮中查看，如下图所示:
另一个选择是从运行时菜单中选择更改运行时类型，然后检查硬件***被选择为GPU:
我们确保使用GPU运行时后，使用下面的代码，查看我们得到的GPU：
-
!nvidia-smi
非常不幸我们只分配到了一个T4，如果你能分配到一块P100，那么你的推理速度会变得更快
下面我们安装一些需要的包：diffusers ,scipy, ftfy和transformer:
-
!pip install diffusers==0.4.0 !pip install transformers scipy ftfy !pip install "ipywidgets>=7,
-
-
