七、Stable Diffusion – 小模型:Embedding、LoRa、Hypernetwork
本文隶属于:Stable Diffusion实践系列
- 一、Stable Diffusion – Windows系统本地按安装部署
- 二、Stable Diffusion – 不同画风模型下载与安装
- 三、Stable Diffusion WebUI – 扩展插件的安装与应用
- 四、Stable Diffusion 文生图/图生图-如何写提示词(prompt)
- 五、Stable Diffusion – 如何图生图(使用图片生成图片)
- 六、Stable Diffusion – 提高AI绘画分辨率,生成高清图
- 七、Stable Diffusion – 小模型:Embedding、LoRa、Hypernetwork
- 八、Stable Diffusion – Inpaint 局部重绘
- 九、Stable Diffusion – ControlNet 控制模型安装与使用
除了根据需求切换ckpt模型外,也可以额外叠几层网络(Extra networks)小模型来改善画风,并改善生成特定对象、角色的准确度。跟ckpt大模型比起来,这类模型文件都很小,主要用来微调现有的模型。小模型有嵌入(Embedding)、超网络(HyperNetwork)、LoRA三种,扩展名以.pt
或.safetensors
结尾,目前最热门的为"LoRA"。
一、Embedding(文本嵌入)
1、什么是 Embedding
Embeddings 可以指定特定形象,适合让AI学习一个新的概念/物体。
常用来解决AI常见的问题,如不会画手(多手指),C站排名最高的 Embeddings 就是解决相关的问题而诞生。是一种基于负面样本的提炼。记录了一系列AI画错的方式,添加到负向提示词中,避免类似错误发生。
2、Embedding 下载与安装
在 C站 可以筛选 Embedding 文件,文件通常在 几十kb到几百kb
下载完成以后,放在 stable-diffusion-webui/embeddings 文件夹
3、使用 Embedding 辅助画图
Stable Diffusion WebUI 中,只需要在提示词输入框输入对应的提示词(模型的介绍页会有说明),就可以使用
下面这张图为原图,未使用 Embedding。
下面这张图,与上图相同的随机种子,使用了 Empire Style Embedding(帝国风格?)
Empire Style – Empire | Stable Diffusion Embedding | Civitai
按照模型使用说明,在提示词输入框增加对应提示词后,人像的风格发生了一些变化。
二、LoRa(低秩模型)
1、什么是 LoRa
Low-Rank Adaptation Models
向AI传递、描述某一个特征准确、主题清晰的形象,针对游戏、动漫角色形象进行二次创作。
2、LoRa 下载与安装
下载完成以后,放在 stable-diffusion-webui/models/Lora 文件夹
3、使用 LoRa 辅助画图
三、Hypernetwork(超网络)
1、什么是Hypernetwork
类似于LoRa,一般用来改善生成图像的整体风格
2、Hypernetwork 下载与安装
这里筛选 Hypernetwork,下载一个像素风格的超网络
下载完成以后,放在 stable-diffusion-webui/models/hypernetworks 文件夹
3、使用 Hypernetwork 辅助画图
在 Settings 选项卡,选择 Extra Networks,勾选下载的 Hypernetwork
回到文生图选项卡,输入提示词,生成图片,就会生成像素效果的图片