ControlNet 专题 —— 工作原理

一、内部结构

Stable Diffusion (UNet) 中的所有参数都被锁定并克隆到 ControlNet 端的可训练副本中。然后使用外部条件向量训练该副本。

创建原始权重的副本而不是直接训练原始权重是为了防止数据集较小时出现过拟合，并保持已经训练好的大模型的高质量，这些大模型在数十亿图像上训练得到，并可以直接部署到生产环境使用bobyai。

1. 前馈

解释一下上图公式和符号：

第一步训练

在第一步训练中，由于零卷积层的权重和偏差被初始化为零，因此前馈过程与没有 ControlNet 的过程相同。

经过反向传播后，ControlNetbobyai 中的零卷积层变为非零并影响输出。

换句话说，当 ControlNetbobyai 应用于某些神经网络块时，在进行任何优化之前，不会对深度神经特征造成任何影响。

2. 反向传播

反向传播更新 ControlNet 中的可训练副本和零卷积层，使零卷积权重通过学习过程逐渐过渡到优化值。

为什么梯度不会为零？

我们可以假设如果卷积层的权重为零，则梯度为零。 然而，事实并非如此。

二、与 Stable Diffusion 结合

1. 编码器

（1）

（2）

2. 整体结构

（1）

（2）

三、训练

四、输入条件

总结

参考

• [ 1 ] Stable Diffusion — ControlNet 超详细讲解_stable diffusion controlnet-CSDN博客