智能

ControlNet 专题 —— v1.1 参数

波比AI · 5月2日 · 2025年本文共2669个字 · 预计阅读9分钟2次已读

[!quote] 背景
ControlNet 版本升级,各项参数增删变化很快

一、输入控制,Input controls

ControlNet 专题 —— v1.1 参数

图像画布:你可以将输入图像拖放到这里。你也可以点击画布并使用文件浏览器选择一个文件。输入图像将由 Preprocessor(预处理器) 下拉菜单中选择的预处理器处理。一个控制图将被创建。
书写图标:创建一个带有白色图像的新画布,而不是上传参考图像。用于直接创建涂鸦。
相机图标:使用设备的相机拍照并将其用作输入图像。你需要授予浏览器访问相机的权限。

二、模型选择,Model selection

ControlNet 专题 —— v1.1 参数

启用(Enable):控制是否启用 ControlNet。
低 VRAM(Low VRAM): 用于显存少于 8GB 的 GPU。这是一个实验性功能。如果你的 GPU 内存不bobyai足,或者想增加处理的图像数量,请选中此选项。
允许预览(Allow Preview):选中此选项可在参考图像旁边启用预览窗口。我建议您选择此选项。使用预处理器下拉菜单旁边的爆炸图标,预览预处理器的效果。
预处理器(Preprocessor):用于预处理输入图像的预处理器(在研究文章中称为 annotator),例如检测边缘、深度和法线图。None使用输入图像作为控制图。
模型(Model):要使用的 ControlNet 模型。如果选择了预处理器,通常会选择相应的模型。ControlNet 模型与 AUTOMATIC1111 GUI 顶部选择的 Stable Diffusion 模型一起使用。

三、权重控制,Control Weight

在预处理器和模型下拉菜单下方,您会看到三个滑动条,让您调整控制效果:控制权重(Control Weight)、起始结束控制步骤(Starting and bobyaiending Control Steps)。
ControlNet 专题 —— v1.1 参数

我将使用以下图片来说明控制权重的效果。这是一个坐着的女孩的图片。
ControlNet 专题 —— v1.1 参数

但在提示词(prompt)中,我将要求生成站立的女人

full body, a young female, highlights in hair, standing outside restaurant, blue eyes, wearing a dress, side light

整个身体,一个年轻女性,头发上的亮点,站在餐厅外,蓝眼睛,穿着连衣裙,侧光

Weight: 相比于提示词(prompt),给控制图一个重点强调程度程度权重。这类似于提示中的关键词权重,但适用于控制图。

以下图片是使用 ControlNet OpenPose 预处理器和 OpenPose 模型生成的。

ControlNet 专题 —— v1.1 参数
Weight 1

ControlNet 专题 —— v1.1 参数
Weight 0.5

ControlNet 专题 —— v1.1 参数
Weight 0.3

ControlNet 专题 —— v1.1 参数
Weight 0.1

我们可以看到,ControlNet 权重控制了控制图相对于提示的影响程度。权重越低,ControlNet 要求图像遵循控制图的程度就越低。
开始 ControlNet 步骤:ControlNet 首次应用的步骤。0 表示第一个步骤。
结束 ControlNet 步骤:ControlNet 结束的步骤。1 表示最后一个步骤。

让我们将开始步骤固定为 0,并改变结束 ControlNet 步骤,看看会发生什么。
ControlNet 专题 —— v1.1 参数
Ending ControlNet step: 1

ControlNet 专题 —— v1.1 参数
ControlNet 专题 —— v1.1 参数
Ending ControlNet step: 0.3

ControlNet 专题 —— v1.1 参数
Ending ControlNet step: 0.2

ControlNet 专题 —— v1.1 参数
Ending ControlNet step: 0.1

由于初始步骤设置了全局构图(采样器在每个步骤中去除最大数量的噪声,并且它从潜在空间中的随机张量开始),即使你仅将 ControlNet 应用于前 20% 的采样步骤,人的姿势也已经被确定了。
相比之下,改变结束 ControlNet 步骤的影响较小,因为全局构图是在初始步骤中设置的。

四、控制模式,Control Mode

ControlNet 专题 —— v1.1 参数
平衡(Balanced):ControlNet 在一个采样步骤中同时应用于条件化非条件化。这是标准操作模式。
提示词更重要(My prompt is more important):ControlNet 的效果会在 U-Net 注入的实例中逐渐减弱(在一个采样步骤中有 13 个实例)。总体效果是你的提示比 ControlNet 的影响更大。
ControlNet 更重要:在非条件化中关闭 ControlNet。实际上,CFG 缩放也会作为 ControlNet 效果的乘数。

如果你不完全理解它们的实际运作原理也没关系。选项标签准确地说明了效果。

五、尺寸调整模式,Resize mode

ControlNet 专题 —— v1.1 参数
Resize mode(调整尺寸模式) 控制输入图像或控制图(control map)的尺寸与要生成的图像的尺寸不同时应采取的操作。如果它们具有相同的长宽比,则无需担心这些选项。
我将通过将文本转图像设置为生成横向图像,而输入图像/控制图(control map)为纵向图像,来演示调整模式的效果。
Just Resize(仅调整尺寸):独立地缩放控制图的宽度和高度,以适应图像画布。这将改变控制图的长宽比

现在,女孩需要向前倾斜,以便仍然在画布内。您可以利用这种模式创建一些有趣的效果。

ControlNet 专题 —— v1.1 参数
Control Map

ControlNet 专题 —— v1.1 参数
Generated Image

Just Resize(只调整尺寸)将控制图(control map)缩放以适应图像画布。
Crop and Resize(裁剪并调整):使图像画布适应控制图(control map)。裁剪控制图(control map),使其与画布大小相同。

由于控制图(control map)在顶部和底部被裁剪,所以我们的女孩也被裁剪了。

ControlNet 专题 —— v1.1 参数
控制图

ControlNet 专题 —— v1.1 参数
生成图

Crop and resize(裁剪并调整)将图像画布适应并裁剪控制图(control map)。
Resize and fill(调整并填充):将整个控制图(control map)适应图像画布。使用空值扩展控制图(control map),使其与图像画布大小相同。

与原始输入图像相比,侧面有更多空间。

ControlNet 专题 —— v1.1 参数
控制图

ControlNet 专题 —— v1.1 参数
生成图

Resize and fill(调整并填充)将整个控制图(control map)适应图像画布并扩展控制图(control map)。

总结

参考

[Total: 0 Average: 0]
0 条回应

必须 注册 为本站用户, 登录 后才可以发表评论!