【AI绘画神器】探索Stable Diffusion、Midjourney与DALL-E 3：让创意无限飞扬！ - 知乎(https://zhuanlan.zhihu.com/p/669649442)

文生图

在使用Stable Diffusion（SD）进行AI绘画时，关键词的编写对于生成满意图像至关重要。以下是一些建议和技巧，以及一个关键词编写模板：

1）编写技巧：

描述清晰：确保关键词描述清晰、具体，以便SD更好地理解您的需求。
使用简洁的词语：尽量使用简单、直接的词语，避免复杂的句子结构。
考虑风格和氛围：在关键词中包含与所需图像风格和氛围相关的词汇，如“梦幻”、“黑暗”、“温暖”等。
添加细节：提供关于图像中物体、角色、场景等方面的详细信息，如颜色、形状、材质等。
使用负面关键词：为了排除不希望出现在图像中的元素，可以使用负面关键词。例如，如果您不希望图像中出现人物，可以使用“无人物”作为负面关键词。

2）关键词模板：

画质：最高质量、高清、详细
主体：一个美丽的风景、一位年轻女子、一只可爱的猫咪
主体细节：鲜艳的颜色、柔和的光线、毛发光泽
背景：宁静的海滩、繁星点点的夜空、绿色的森林
氛围：浪漫、神秘、宁静
视角和构图：俯视、三分法则、引导线

3）权重设置：

SD中的权重用于控制关键词在生成图像过程中的重要程度。权重值范围为0-1，数值越大，关键词在生成过程中的影响越大。默认情况下，所有关键词的权重均为1。您可以通过以下方式调整权重：

在关键词后添加括号，如：(关键词)。这将使关键词的权重增加到1.1。
在关键词后添加冒号和数值，如：(关键词:0.8)。这将使关键词的权重设置为0.8。
若要降低关键词的权重，可以使用负数值，如：(关键词:-0.5)。

图生图

图生图（Image-to-Image）是Stable Diffusion（SD）中的一种功能，它允许用户根据已有的图像生成新的图像。这种功能在许多实际应用场景中都非常有用，例如局部修改、人物换装等。以下是关于图生图的概念、应用场景以及如何使用它进行局部修改和人物换装等操作的介绍：

1）图生图概念：
图生图是通过将已有图像作为输入，让Stable Diffusion根据图像内容和用户需求生成新的图像。这种功能利用了SD的图像生成能力，可以在保留原始图像的基础上进行修改和创新。

2）应用场景：

局部修改：在保留原始图像的大部分特征的基础上，对某个局部区域进行修改，如更改物体的颜色、形状等。
人物换装：根据已有的人物图像，为其更换服装、发型等外观特征。
风格迁移：将一种风格应用到另一张图像上，例如将一幅照片转换为油画风格。
图像修复：修复破损或失真的图像，恢复其原始细节和质量。

3）如何使用图生图进行局部修改和人物换装：

上传参考图像：在SD界面中，上传您想要修改的图像作为参考图像。
使用ControlNet：ControlNet是一个功能强大的插件，可以帮助您实现对生成图像的精细控制。安装并启用ControlNet后，您可以在图像上绘制遮罩，以指定需要修改的区域。
局部重绘：在ControlNet中，选择“局部重绘”功能。这将允许您在指定区域内重新生成图像内容。您可以使用画笔工具在参考图像上绘制需要修改的区域，并设置重绘幅度以控制修改的程度。
人物换装：在进行人物换装时，您需要准备一张包含所需服装、发型等元素的参考图像。将这两张图像一起上传到SD，并使用ControlNet的遮罩功能分别选中人物和换装元素。然后，调整参数以实现自然、真实的换装效果。
调整参数：根据需要，调整生成图像的其他参数，如迭代步数、采样方法等，以获得满意的结果。
生成图像：点击“生成”按钮，SD将根据您的设置和参考图像生成新的图像。

以上主要就相关功能和实现路径做了简单介绍，更为详细的操作教程可以私我，免费送。

lora模型和ControlNet功能

1）Lora模型

Lora模型（也称为LoRA，即“低秩适配”）在Stable Diffusion（SD）中起到了固定图像特征的作用，使得生成的图像能够更好地符合用户的期望。Lora模型可以帮助用户在生成图像时保留某些特定的风格、元素或者特征，从而提高生成图像的质量和满意度。以下是关于Lora模型的作用和用途的详细介绍：

保留特定风格：Lora模型可以捕捉到某种特定风格的特征，例如某种绘画技巧、色彩搭配等。当您在生成图像时使用Lora模型，SD将尝试在新生成的图像中保留这种特定风格。

固定图像元素：Lora模型可以用于固定图像中的某些元素，例如特定的物体、角色或者场景。在生成新图像时，这些固定元素将保持不变，而其他部分则根据输入的关键词和参数进行调整。

角色形象统一：在生成一系列具有相似角色的图像时，Lora模型可以帮助您保持角色形象的一致性。例如，在制作漫画或动画时，您可以使用Lora模型确保角色的外观特征在不同场景中保持一致。

权重调整：Lora模型允许用户通过调整权重来控制生成图像中Lora特征的影响程度。权重值越高，生成的图像越接近Lora模型的特征；权重值越低，生成的图像越依赖于输入的关键词和其他参数。

叠加使用：您可以同时使用多个Lora模型来生成图像，实现多种特征和风格的叠加。通过调整不同Lora模型的权重，您可以在生成图像时实现对各种特征和风格的精细控制。

2）ControlNet

ControlNet是一个为Stable Diffusion（SD）设计的插件，旨在提供对生成图像过程中更精细的控制。通过使用ControlNet，用户可以在生成图像时保留某些特定的特征、约束图像的某些方面，或者实现特定风格的迁移。以下是关于ControlNet的概念、作用以及各个模型及其应用的介绍：

ControlNet概念和作用：ControlNet通过分析输入图像的各种特征（如姿势、线稿、颜色等），并将这些特征作为参考，指导Stable Diffusion在生成新图像时保留这些特征。这样，用户可以更精确地控制生成图像的内容、风格和细节。ControlNet的主要作用包括：

提供对生成图像过程中的精细控制。
保留输入图像的特定特征。
实现特定风格的迁移。
提高生成图像的质量和满意度。

ControlNet的各个模型及其应用：ControlNet包含多个模型，每个模型针对不同的图像特征进行分析和处理。以下是一些主要的模型及其应用：

OpenPose：用于捕捉和保留图像中人物的姿势信息。应用场景包括控制人物动作、生成特定姿势的角色等。
Lineart：用于提取图像的线稿信息，可以实现线稿到彩色图像的转换，或保留特定线稿风格的生成。
Depth：用于分析图像中的深度信息，可以实现对空间关系的保留和控制。
Seg：用于进行语义分割，将图像中的不同物体或区域用不同的颜色表示。可以实现对特定物体或区域的保留和控制。
Shuffle：用于实现图像的风格迁移，将参考图像的风格应用到生成图像中。
Recolor：用于重新着色，可以实现对图像颜色的调整和控制。
Inpaint：用于图像的局部修改，可以实现对图像局部区域的删除或替换。
Recurrent：用于处理图像序列，可以实现对连续帧之间的过渡和动画效果的控制。

要使用ControlNet，您需要首先安装ControlNet插件，然后在Stable Diffusion界面中启用它。通过熟练掌握ControlNet的各种模型，您可以在生成图像时实现更高程度的控制和定制。