超越comfyUI,实现SDXL双模型联用的WebUI插件
文章标签:
AI新闻资讯

细心的AI绘画爱好者可能发现,SDXL的默认模型不仅体积大,而且有两个。

一个是base,一个是refiner。

根据官方文档,这两个模型的用途不完全一样。

sdxml -base-1.0:生成1024 x 1024图像的基本文本到图像模型。基本模型使用OpenCLIP-ViT/G和CLIP-ViT/L进行文本编码。

sdxml -refiner-1.0:一个图像到图像的模型,用于细化基本模型的潜在输出,可以生成更高保真度的图像。细化模型只使用OpenCLIP-ViT/G模型。

SDXL 1.0的refiner是基于OpenCLIP-ViT/G的具有6.6B参数模是目前可用的最强大的开放访问图像模型之一。

base模型在第一阶段创建(有噪声的)结果,然后由专门为最后去噪步骤设计的refiner模型进一步处理(基本模型也可以作为一个模块单独使用)。

超越comfyUI,实现SDXL双模型联用的WebUI插件

简单总结,base是一个“底座”大模型,而refiner可以对base生成的图片进行优化(去噪声)。

当然了,经过我的实测,有时候这个优化是负优化… …

根据官方文档,SDXL需要base和refiner两个模型联用,才能起到最佳效果。而支持多模型联用的最佳工具,是comfyUI。

超越comfyUI,实现SDXL双模型联用的WebUI插件

使用最为广泛的WebUI(秋叶一键包基于WebUI)只能一次加载一个模型,为了实现同等效果,需要先使用base模型文生图,再使用refiner模型图生图。

操作繁琐。

后来,comfyUI除了WebUI用的插件,实现了在WebUI以插件的形式可以轻松的切换到comfyUI界面。我也做了介绍,但依然存在一个问题:comfyUI的操作习惯和WebUI完全不同,非常不便。

于是,有人做了一个插件,让WebUI可以同时加载两个模型,使用base模型跑图后接着用refiner模型优化,实现和comfyUI几乎一样的效果,操作方式却是完全WebUI化的。

当然了,和comfyUI相比,还是逊色一点,这个插件只能支持多挂载一个模型,不能像comfyUI那样任意挂载N多模型。

从实用的角度来说,SDXL一个模型出图,一个refiner模型优化就足够了。

这个插件的名字,就叫Refiner。

超越comfyUI,实现SDXL双模型联用的WebUI插件

https://github.com/wcde/sd-webui-refiner

(国内访问GitHub不太稳定,多试几次,一般十分钟内肯定可以)

安装完毕后,首页左下角会有Refiner选项。

超越comfyUI,实现SDXL双模型联用的WebUI插件

使用的时候,点击启用,选中模型和迭代步数就可以了。推荐迭代步数10-20之间。

让我们试一下。

提示词:

portrait of a beautiful anime girl wearing a gothic dress, in a dark and moody atmosphere filled with white mist, indoor dimlight, (black and red ink splash:1.2) embedding:SimplePositiveXLv1

模型使用base,不使用Refiner的情况下。

超越comfyUI,实现SDXL双模型联用的WebUI插件

使用Refiner,迭代步数10。

超越comfyUI,实现SDXL双模型联用的WebUI插件

PS,最近C站放出了修复原生bug的base模型和Refiner模型,从模型名可以看出,我用的是修复后的模型。

超越comfyUI,实现SDXL双模型联用的WebUI插件

和comfyUI相比,缺乏直观的生成过程对比,略有一丝丝缺憾。

但是操作简便,不用修改使用习惯,足以弥补缺憾。

分享到:
0
0

发表回复

猜你喜欢
近期文章
生成式AI看起来很美,ROI怎么算
利用生成式AI推动创新 美国本田这样做
东方Project-个人AI绘画合集-8(更新至2024-2-14)
AI绘画(动物科普)—兔狲
12.28乾坤AI日报 — 2023年度十大科技名词发布
近期评论
ai-world发表在
AI赛博机车—借助SD技术赚取第一桶金
mulei77发表在
AI赛博机车—借助SD技术赚取第一桶金
An Vũ( CEO AGBIG GROUP)发表在
12.25乾坤AI日报 — 苹果正购买新闻采集权用于训练生成式 AI