首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

ComfyUI插件:ComfyUI_Noise节点

编程知识
2024年08月09日 11:07

前言:

学习ComfyUI是一场持久战,ComfyUI_Noise是对ComfyUI中的噪声进行控制的一个插件库,该库可以完成图像噪声的反推,并通过采样再以几乎无损的方式返回原图,通过该库的使用可以更好的帮助图像恢复原始的相貌,非常适合在生成视频领域用作人物转绘使用。祝大家学习顺利,早日成为ComfyUI的高手!

 

目录

一、安装方法

二、BNK_NoisyLatentImage节点

三、BNK_SlerpLatent节点

四、BNK_GetSigma节点

五、Inject Noise节点

六、BNK Unsampler节点

 

一、安装方法

在ComfyUI主目录里面输入CMD回车。

1

在弹出的CMD命令行输入git clone xxx,即可开始下载。

2

在终端输入下面这行代码开始下载

git clone https://github.com/BlenderNeko/ComfyUI_Noise.git

 

二、BNK_NoisyLatentImage节点

这个节点专注于在潜空间中生成带有噪声的潜在图像。这对于图像生成任务中特别有用,例如在生成对抗网络(GANs)或其他基于潜空间的生成模型中,引入噪声可以增加图像的多样性或增强模型的鲁棒性。

3

重要参数:

source → 噪声产生的位置--可选择CPU或者GPU

示例:通过Image Compare (mtb)节点对比不同图片之间的差异,分别对比CPU产生的噪声图和GPU产生的噪声图,并在该图之上进行去噪生图,最终对比两个生图之间的差异。

4

从结果可以看出CPU和GPU产生的噪声存在差异,但是差异很小不足以完全影响最终出图的质量或者构图,所以在选择方面可以进行平替。

使用场景:

· 图像生成增强:在图像生成过程中,通过引入噪声增加图像的多样性,避免生成的图像过于相似。

· 模型鲁棒性测试:在测试生成模型时,通过添加噪声来评估模型的鲁棒性和稳定性。

· 数据增强:在潜空间中生成多样化的训练数据,增强模型的泛化能力。

通过使用BNK_NoisyLatentImage节点,可以在图像生成和处理工作流中实现高效的噪声添加,增强生成图像的多样性和模型的鲁棒性。

 

三、BNK_SlerpLatent节点

这个节点专注于在潜空间中执行球面线性插值(Slerp),生成介于两个潜在向量之间的中间向量,从而实现图像生成中的平滑过渡。

5

重要参数:

factor → 潜空间图像混合比例,可以理解为透明度

示例:

6

使用场景:

· 图像生成过渡:在图像生成任务中,通过在两个潜在向量之间插值,生成从一个图像到另一个图像的平滑过渡序列。

· 潜在空间探索:通过插值在潜空间中探索不同向量之间的过渡,理解生成模型的潜在空间结构。

· 动画生成:通过生成多个插值点,可以创建从一个图像到另一个图像的平滑动画效果。

通过使用BNK_SlerpLatent节点,可以在图像生成工作流中实现潜在空间中的平滑插值和过渡,探索潜在空间结构,创造出平滑且连贯的图像生成效果。

 

四、BNK_GetSigma节点

这个节点用于提取或计算潜在空间中潜在变量的标准差(Sigma)。标准差(Sigma)在图像生成和处理任务中非常重要,特别是在处理噪声或潜在变量时,了解和调整Sigma值可以影响生成图像的质量和特性。

7

重要参数:

model → 选择要预测的模型

示例:下图为该节点的初步用法,理解还不够深刻,未能想到更好的使用方式,可能需要更加深刻的研究才能够发现这个节点的真正含义。

8

使用场景:

· 潜在空间分析:通过计算潜在变量的Sigma值,分析潜在空间的分布特性,理解模型的行为。

· 噪声调整:在生成对抗网络(GANs)或其他潜在变量模型中,根据Sigma值调整噪声,控制生成图像的特性。

· 图像处理优化:利用Sigma值来优化图像处理算法的参数设置,提高图像生成的质量。

通过使用BNK_GetSigma节点,可以在图像生成和处理工作流程中有效地计算和利用潜在空间中的Sigma值,从而提升模型的控制力和图像生成的质量。

 

五、Inject Noise节点

这个节点专注于在图像或潜在向量中引入随机噪声。通过配置噪声的强度和类型,可以灵活地控制噪声的注入,从而影响生成或处理图像的特性。

9

重要参数:

latents → 空的潜空间图像

mask → 注入的噪声蒙版区域

此节点呢可以与上一节点结合使用,具体图例可参考上一节点的示图。

使用场景:

· 生成图像多样性:通过注入噪声增加生成图像的多样性,使得生成的图像更加丰富。

· 模型鲁棒性测试:向图像或潜在向量中注入噪声,测试模型在处理噪声数据时的性能。

· 模拟真实世界场景:在训练或测试模型时,通过噪声注入模拟现实中的不确定性,提高模型的泛化能力。

通过使用Inject Noise节点,可以在图像处理和生成任务中有效地控制和利用噪声,增加数据的多样性,测试模型的鲁棒性,并提升生成图像的真实感和丰富性。

 

六、BNK Unsampler节点

这个节点专注于在生成图像的过程中进行反采样操作。它可以将经过采样或处理的潜在空间表示转换回图像或其他形式的输出,这对于深度学习模型尤其是生成对抗网络(GANs)等的训练和推理过程非常有用。

10

重要参数:

model → 需要选择对应的模型进行噪声预测

cfg → 推荐使用1进行噪声反推,生图也推荐1

示例:如图所示,我们首先上传一张原图,然后加载一个文生图工作流,通过该节点进行噪声预测,然后使用预测的潜空间图像,使用相同的配置,比如VAE,采样器,条件信息等进行噪声的去除,最终生成和原图一样的图像,通过image对比节点,可以看出没有出现差异。

11

使用场景:

· 潜在空间转换:将潜在空间中的表示(如经过采样处理的潜在向量)转换回图像或其他形式的输出,进行进一步分析或展示。

· 图像生成过程中的逆操作:在生成对抗网络(GANs)或变分自动编码器(VAE)等模型中,使用反采样技术来恢复或生成图像。

· 复杂图像处理工作流:作为图像生成或处理工作流的一部分,反采样是从潜在表示到实际图像生成的关键步骤。

通过使用BNK Unsampler节点,可以在图像生成和处理任务中实现从潜在空间表示到实际输出的转换,完成复杂的图像生成工作流,并满足各种深度学习应用的需求。

                               **孜孜以求,方能超越自我。坚持不懈,乃是成功关键。**

From:https://www.cnblogs.com/LIU-QiuXue/p/18350539
本文地址: http://www.shuzixingkong.net/article/938
0评论
提交 加载更多评论
其他文章 男人暗恋你时的身体语言:17个迹象,如何从肢体语言解读一个男人是否偷偷爱着你
约过几次会的对象,或是在公司跟你调情的万人迷同事是真的喜欢你吗?你需要化身侦探,从蛛丝马迹中挖掘出对方的感受,确认他是否也喜欢你。好在只要观察对方的肢体语言,以及他跟你的互动方式,就能做出有理有据的推测。一起来看看要留意哪些肢体语言,确认对方对你的感觉超出了朋友范围。
男人暗恋你时的身体语言:17个迹象,如何从肢体语言解读一个男人是否偷偷爱着你 男人暗恋你时的身体语言:17个迹象,如何从肢体语言解读一个男人是否偷偷爱着你 男人暗恋你时的身体语言:17个迹象,如何从肢体语言解读一个男人是否偷偷爱着你
代码随想录Day9
KMP算法 主要用来进行字符串匹配 KMP的主要思想是当出现字符串不匹配时,可以知道一部分之前已经匹配的文本内容,可以利用这些信息避免从头再去做匹配了。 所以如何记录已经匹配的文本内容,是KMP的重点,也是next数组肩负的重任。 next数组就是一个前缀表(prefix table)。 前缀表有什
代码随想录Day9
iOS开发基础149-由UUIDString引发的思考
问题1:[[UIDevice currentDevice] identifierForVendor].UUIDString什么情况下值会变化? [[UIDevice currentDevice] identifierForVendor].UUIDString 是一个用于标识设备的唯一标识符(UUID
IntelliJ IDEA 2024.2 发布:Spring Data JPA即时查询、自动补全cron表达式
今早看到,IntelliJ IDEA 2024.2 发布的邮件提示,看了一眼这个版本更新的新特性真的太适合我了!也许这些能力对关注DD的小伙伴也有帮助,所以搞篇博客介绍和推荐一下。下面就来一起看看这个版本中推出的几个强大新特性。 Spring Data JPA 的即时查询 在2024.2 Ultim
IntelliJ IDEA 2024.2 发布:Spring Data JPA即时查询、自动补全cron表达式 IntelliJ IDEA 2024.2 发布:Spring Data JPA即时查询、自动补全cron表达式 IntelliJ IDEA 2024.2 发布:Spring Data JPA即时查询、自动补全cron表达式
Python 提取出SQL语句中Where的值的方法
本文简要介绍了Python中提取出SQL语句中Where的值的两种方法,分别是使用sqlparse库和使用正则表达式的方法,并给出了详细的代码示例,一目了然。
Python按条件删除Excel表格数据的方法
本文介绍基于Python语言,读取Excel表格文件,基于我们给定的规则,对其中的数据加以筛选,将不在指定数据范围内的数据剔除,保留符合我们需要的数据的方法~
Python按条件删除Excel表格数据的方法
Kotlin 面向对象编程 (OOP) 基础:类、对象与继承详解
面向对象编程(OOP)是一种编程范式,它通过创建包含数据和方法的对象来组织代码。相较于过程式编程,OOP 提供了更快更清晰的结构,有助于遵守 DRY(Don't Repeat Yourself)原则,使代码更易于维护和扩展。在 Kotlin 中,类和对象是 OOP 的核心。类作为对象的模板,
零基础学习人工智能—Python—Pytorch学习(三)
前言 这篇文章主要两个内容。 一,把上一篇关于requires_grad的内容补充一下。 二,介绍一下线性回归。 关闭张量计算 关闭张量计算。这个相对简单,阅读下面代码即可。 print(" 关闭require_grad ") x = torch.randn(3, require
零基础学习人工智能—Python—Pytorch学习(三) 零基础学习人工智能—Python—Pytorch学习(三) 零基础学习人工智能—Python—Pytorch学习(三)