七、Stable Diffusion – 小模型:Embedding、LoRa、Hypernetwork

除了根据需求切换ckpt模型外,也可以额外叠几层网络(Extra networks)小模型来改善画风,并改善生成特定对象、角色的准确度。跟ckpt大模型比起来,这类模型文件都很小,主要用来微调现有的模型。小模型有嵌入(Embedding)、超网络(HyperNetwork)、LoRA三种,扩展名以.pt.safetensors结尾,目前最热门的为"LoRA"。

一、Embedding(文本嵌入)


1、什么是 Embedding

Embeddings 可以指定特定形象,适合让AI学习一个新的概念/物体。

常用来解决AI常见的问题,如不会画手(多手指),C站排名最高的 Embeddings 就是解决相关的问题而诞生。是一种基于负面样本的提炼。记录了一系列AI画错的方式,添加到负向提示词中,避免类似错误发生。

2、Embedding 下载与安装

在 C站 可以筛选 Embedding 文件,文件通常在 几十kb到几百kb

下载完成以后,放在 stable-diffusion-webui/embeddings 文件夹

3、使用 Embedding 辅助画图

Stable Diffusion WebUI 中,只需要在提示词输入框输入对应的提示词(模型的介绍页会有说明),就可以使用

下面这张图为原图,未使用 Embedding。

下面这张图,与上图相同的随机种子,使用了 Empire Style Embedding(帝国风格?)

Empire Style – Empire | Stable Diffusion Embedding | Civitai

按照模型使用说明,在提示词输入框增加对应提示词后,人像的风格发生了一些变化。

二、LoRa(低秩模型)


1、什么是 LoRa

Low-Rank Adaptation Models

向AI传递、描述某一个特征准确、主题清晰的形象,针对游戏、动漫角色形象进行二次创作。

2、LoRa 下载与安装

下载完成以后,放在 stable-diffusion-webui/models/Lora 文件夹

3、使用 LoRa 辅助画图

三、Hypernetwork(超网络)


1、什么是Hypernetwork

类似于LoRa,一般用来改善生成图像的整体风格

2、Hypernetwork 下载与安装

这里筛选 Hypernetwork,下载一个像素风格的超网络

下载完成以后,放在 stable-diffusion-webui/models/hypernetworks 文件夹

3、使用 Hypernetwork 辅助画图

在 Settings 选项卡,选择 Extra Networks,勾选下载的 Hypernetwork

回到文生图选项卡,输入提示词,生成图片,就会生成像素效果的图片

2