首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

stable diffusion 入门教程

编程知识
2024年07月30日 10:47

sd基础

工作原理&入门


输入提示词后 有文本编码器将提示词编译成特征向量vae编码器将特征向量传入潜空间内,特征向量在潜空间内不断降噪,最后通过vae解码器将降噪之后的特征向量 解码成一个个像素组成的图片

一般选中默认vae模型

解码编码的模型


CLIP值越大,提前停止的越快,我们提示词被数字化的层数越少,提示词的相关性越小。反之越小越能丰富提示词
CLIP终止层数一般为2

其他功能

1.Hires.fix 高清修复
2.Refiner 当渲染到80% 切换另一个模型渲染
3.CFG 一般为5-10 越小ai越自由,越高越靠近提示词
4.随机种子 提示词一样,随机种子一样则可以在不同电脑生成相同图片
5.迭代步数越高 20-30 图片质量越高,步数过高则失真,且消耗更多时间,有时候还没有效果

ADetailer 修复人物的脸
采样方法 DPM++2M

网站,模型推荐

liblib NovelAI hugingface promlib civitai github
majicmix dreamshaper primemix architectrealmix

提示词 语法

英文和英文的标题符号
权重
数字越高权重越高,画面着重描述什么

[cat]=(cat:0.9)
(cat)=(cat:1.1)
{cat}=(cat:1.05)
[[cat]]=(cat:0.9x0.9)=(cat:0.81)
((cat))=(cat:1.1x1.1)=(cat:1.21)
ctrl + 上箭头 可以快捷调节  权重多低都行,过高则不行,会失真

短句与长句

一个一个词的拼写,而不是一句话呢
一个个词组会更准确,而且好调整权重
提示词控制在75个以内,正反向一样,不超过75

起手式

正向 4k masterpiece 会让图片更加精美
反向则用 text blur之类
有修饰词 

提示词顺序,越靠前权重越高

no.1 画质词/画风词
no.2 主题 one girl
no.3 环境/场景/构图
no.4 lora

提示词污染
1girl,blue dress,pink hair,green umbrella,
1girl,blue dress,red hair,puple umbrella,

防止提示词尤其是颜色相互渗透 使用break隔开

提示词融合

1girl,cat  猫在女孩身上
1girl And cat 猫娘 (1girl_cat 有同样效果)
[cat|dog] 也有融合效果
{forest:1girl:0.3} 在30%的时候结束画forest
{forest:1girl:0.7} 在70%的时候结束画forest

图生图&高清修复

通过图片加提示词生成结果


使用预设起手式,并添加进提示词


通过插件来快速选择自己想要的提示词

masterpiece,best quality,1girl,police,glamor,in summer,street,

将参考图拖入图生图并增加提示词
masterpiece,best quality,1girl,police,glamor,in summer,street,coat,
增加提示词coat,通过原图再次生图

图生图重绘幅度,不过高也不过低 0.3-0.5结果图与参考图之间差距不会太大
                            0.5-0.7赋予ai更多想象空间
                            低于0.3 或大于 0.7则扭曲变形

局部重绘,增加sunglasses提示词


upscale 二次元

GAN 4X Anime6B 适合动漫放大 (Gan生成式对抗网络简称)
重绘幅度 0.3-0.5安全区间 0.5-0.7ai自由领域
放大倍数x2 512 变为1024

文生图界面


文生图界面的放大需要锁定种子


再次点击小图标来到图生图,再次放大


无需锁定种子

再次放大 模型放大


从512缩放到1024

controlnet

风格转换 softedge

最开始能通过线条处理还原参考图的只有canny
canny 硬边缘 canny将参考图通过细线勾勒出来 架构基于相邻像素计算差值,死板,图片会出现莫名奇妙的元素

softedge 全能模型 将主体勾勒

开启插件controlnet

pidinet 与 hed
hed 保留图片更多细节,完整性好 建筑,场景
pidinet 能够更好保留主体,忽视细节 人物


使用真实系的模型,将二次元图片好好描述

线稿上色 Lineart

lineart多用于线稿上色动漫类图像处理
mj 生成线稿


点击爆炸按钮后,会有去下载插件,如控制台显示git网络失败,手动去下载到相应目录解压


最好宽高比 和原来图片一样 也就是宽度和高度

controlnet-2

openpose 姿态管理


姿态成功控制


dw_openpose_full效果最好
根据参考图图片高宽一致

depth [空间关系]

场景 比如教堂
softedge + depth
控制线条分布 + 深度

depth

预处理用了hedsafe
softedge
负面提示词这里因为是建筑,所以去除finger有关

可以通过提示词来改变教堂颜色

人物
softedge openpose depth ipadapter
线条分布 绑定骨骼 空间关系 面部特征迁移/风格一致性

tile

参考图模糊,再分区块重采样 结果图细节更丰富

可以将图片拖入controlnet的单张图片,再次tile。可以看到叶子的纹路

controlnet Ipadapter

ipadapter 可以去hugingface里下载,根据后缀放在指定目录
换脸
材质迁移
风格迁移

换脸


生成一张图片,为参考图


将参考图拖进ipadapter

写实换脸,上传了自己的图片

材质迁移

ipdapter

softedge

depth

midas也不错

材质很重要,如果用下图材质则使用crystal materials

Ipadapter-1

风格迁移

选择综合性强的大模型 dreamshaper

生成参考图


风格转换 style transfer


点击生成,


生成成功后,高清放大


直接更换风格
甚至可以根据动漫角色的画风,直接变换

ipadapter与openpose综合运用

controlnet unit1 ipadapter

生成骨骼图

controlnet unit2 openpose

写提示词增加lora

要和骨骼图一样比例


有lora则更靠近赫敏的图片

综合案例使用

室内设计
大模型选择 Architecturerealmix

unit 1 mlsd处理完只包含直线

unit 2

生成毛坯房
Unfinished, nothing, no furniture, rough, house interior

精装修
ModernRoomDesign,Interior design,modern simplicity,green,(masterpiece),(high quality),best quality,real,(realistic),super detailed,(full detail),(4k),modern,fashion,grand,vista,(high floor:1.2),


去到图生图


改变关键词然后图生图

如果成品出来还想改变,继续图生图
如果想要壁纸变成自己图片的风格,通过勾选上传独立的控制图像
使用ipadapter,进行渲染
如果没有空间深度则继续使用depth

stable diffusion基础[liblib]

正向提示词

人物特征
1girl,solo,
suspender dress,headdress,delicate eyes,beautiful face,shallow smile,snow-white skin,elegant standing,
场景特点
outdoor,blue sky,white clouds,flowers,grass,
场景设定 [天气与光线与白天和黑夜]
day,night sunset,rain shrong rim light
movie light,light tracking,
场景形容词
beautifful ,happy
生图标准 [画质与风格]
8k,highest quality,high resolution
Comic Watercolor Realistic Abstract

1girl,solo,
suspender dress,headdress,delicate eyes,beautiful face,shallow smile,snow-white skin,elegant standing,
outdoor,blue sky,white clouds,flowers,grass,
movie light,light tracking,
beautiful,happy,
8k,highest quality,high resolution,
realistic,extreme detail

负向

low quality,blurry,bad proportions,cropped,watermark
ugly,bad body,missing fingers,extra feet
NSFW text logo

参数

eular a画笔选择,根据推荐来,其实都差不多
步数15-25,过高也不会有用

comfyui尝试

sd 挂lora+汉化工作流
图片有元数据
可以通过拉取图片来获得工作流

comfyui 大部分问题可以通过离线安装的方式解决 google可以解决。每当报错
通过日志去查看,工作流报红,缺模型就安装模型,缺插件安装插件,缺什么装什么

From:https://www.cnblogs.com/supermao12/p/18332053
本文地址: http://www.shuzixingkong.net/article/588
0评论
提交 加载更多评论
其他文章 我出一道面试题,看看你能拿 3k 还是 30k!
我会出一道经典的后端面试题,你只需要进行 4 个简单的选择,就能判断出来你的水平是新手(3k)、初级(10k)、中级(15k)还是高级(30k)!
我出一道面试题,看看你能拿 3k 还是 30k! 我出一道面试题,看看你能拿 3k 还是 30k!
在Centos7中使用一键脚本安装Oracle11g
在Centos7中使用一键脚本安装Oracle11g 1. 环境准备 1.1 系统版本:Centos7.9(2009) 1.2 Oracle版本:Oracle 11g 11.2.0.4 1.3 网络需求:可以连接互联网 1.4 一键安装: curl -o oracle_install.sh http
我用Awesome-Graphs看论文:解读PowerGraph
这次向大家分享发表在OSDI 2012上的一篇经典图计算框架论文PowerGraph,旨在通过点切分解决图数据幂律分布导致的计算倾斜问题,并提出了区别于Pregel's VC(以点为中心)的GAS(以边为中心)计算框架。
我用Awesome-Graphs看论文:解读PowerGraph 我用Awesome-Graphs看论文:解读PowerGraph 我用Awesome-Graphs看论文:解读PowerGraph
LVM综合实验
实验目标 创建并管理一个 LVM 卷组 (VG)。 在卷组中创建、扩展和缩小逻辑卷 (LV)。 创建和使用快照。 实验环境 Linux 服务器 三个可用的磁盘分区: /dev/sdb1, /dev/sdb2, 和 /dev/sdb3 实验步骤 步骤 1: 安装 LVM 工具 确保 LVM 工具已安装
LVM综合实验 LVM综合实验 LVM综合实验
Zabbix 5.0 LTS 配置企业微信(Webhook)自动发送告警信息
依据前面文章《Zabbix 5.0 LTS URL 健康监测》环境,实现企业微信(Webhook)自动发送告警信息。 一、创建企业微信机器人 先在自己的企业微信群里创建一个机器人,并获取其 WebHook 地址。右击群聊天卡片,添加群机器人。 获得一个类似下图的 WebHook 地址。注意,这个 W
Zabbix 5.0 LTS 配置企业微信(Webhook)自动发送告警信息 Zabbix 5.0 LTS 配置企业微信(Webhook)自动发送告警信息 Zabbix 5.0 LTS 配置企业微信(Webhook)自动发送告警信息
《最新出炉》系列初窥篇-Python+Playwright自动化测试-58 - 文件下载
1.简介 前边几篇文章讲解完如何上传文件,既然有上传,那么就可能会有下载文件。因此宏哥就接着讲解和分享一下:自动化测试下载文件。可能有的小伙伴或者童鞋们会觉得这不是很简单吗,还用你介绍和讲解啊,不说就是访问到下载页面,然后定位到要下载的文件的下载按钮后,点击按钮就可以了。其实不是这样的,且听宏哥徐徐
《最新出炉》系列初窥篇-Python+Playwright自动化测试-58 - 文件下载 《最新出炉》系列初窥篇-Python+Playwright自动化测试-58 - 文件下载 《最新出炉》系列初窥篇-Python+Playwright自动化测试-58 - 文件下载
[HTTP] HTTP 协议 Response Header 之 Content-Length、Transfer-Encoding与Content-Encoding
0 引言 在近期项目一场景中,一 Web API (响应内容:7MB - 40MB、数据项:5W-20W条)的网络传输耗时较大,短则 5s,长则高达25s,前端渲染又需要耗时 9s-60s。 在这个场景中,前端的问题暂且不表。那么针对后端的问题,个人认为还是有较大的优化空间: 1)启用HTTP 内容
[HTTP] HTTP 协议 Response Header 之 Content-Length、Transfer-Encoding与Content-Encoding [HTTP] HTTP 协议 Response Header 之 Content-Length、Transfer-Encoding与Content-Encoding [HTTP] HTTP 协议 Response Header 之 Content-Length、Transfer-Encoding与Content-Encoding
RAG+AI工作流+Agent:LLM框架该如何选择,全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
RAG+AI工作流+Agent:LLM框架该如何选择,全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
RAG+AI工作流+Agent:LLM框架该如何选择,全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐 RAG+AI工作流+Agent:LLM框架该如何选择,全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐 RAG+AI工作流+Agent:LLM框架该如何选择,全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐