Segment Anything插件,忘了PS吧,AI一键换背景
文章标签:
AI工具评测
Segment Anything插件,忘了PS吧,AI一键换背景

常用Photoshop的小伙伴都要面对一个头痛的现实:更换画面中的某个要素,太费事了。

要么小心翼翼的选中,一点点擦掉,再放入新的素材;要么使用所谓的魔术绳索插件,来进行替换。

无论是哪种方式,都无法非常完美的实现,最终还是要靠细致的手工活来处理。

随着大模型的快速迭代,如今这个工作可以交给AI来解决。

Meta(原Facebook)公司发布了一组开源大模型,可以识别、分割画面里的任何物体(Anything),有创作者基于这个大模型做了一个stable diffsion的插件,叫“万物皆可分”(Segment Anything)。

主要功能就是利用AI大模型,鼠标轻轻一点,就可以分割出画面里的某些元素,然后再结合stable diffsion的绘画功能,实现部分元素的替代。

先看一个最简单的效果对比。

在花海里奔跑的女孩:

Segment Anything插件,忘了PS吧,AI一键换背景

这是一张用AI生成的图片,

模型:sdxl_counterfeitxl_v10

提示词:

A girl is waving her hands vigorously in the air. She is wearing sandals and a white dress, her skirt swaying in the wind. Colorful petals are dancing in the air. There are many flowers around. The sky is clear blue with summer clouds., masterpiece, best quality

使用Segment Anything,可以简单几个鼠标操作,把原来的花海变成了玫瑰花:

Segment Anything插件,忘了PS吧,AI一键换背景

妙不可言。

一、Segment Anything的安装

这个插件的安装包括两个步骤。

1、安装地址

扩展–从网址安装,输入以下地址:

https://gitcode.net/ranting8323/sd-webui-segment-anything.git
Segment Anything插件,忘了PS吧,AI一键换背景

注意!!!!安装完成后不要急着重启启动器,先把模型下载并安装好后再启动,否则启动器会报错。

2、安装模型

(1)Meta大模型(SAM模型)

https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth
https://dl.fbaipublicfiles.com/segment_anything/sam_vit_l_0b3195.pth
https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth

三个模型只需要下载一个即可,区别是体积越大,识别越精准。推荐下载最大的第一个,2.56G。

模型安装地址:

extensions\sd-webui-segment-anything\models\sam

(2)GroundingDINO 模型

https://huggingface.co/ShilongLiu/GroundingDINO/resolve/main/groundingdino_swinb_cogcoor.pth
https://huggingface.co/ShilongLiu/GroundingDINO/resolve/main/groundingdino_swint_ogc.pth

两个模型均需要下载,

模型安装地址:

extensions\sd-webui-segment-anything\models\grounding-dino

三、Segment Anything的使用

上述模型安装完毕后,重启启动器。

可以在WebUI界面看到Segment Anything,模型安装正确的话,可以看到SAM模型的名称。

Segment Anything插件,忘了PS吧,AI一键换背景

Segment Anything使用很简单,通常在图生图(强调!)界面使用。

(1)上传需要替换元素的图片

Segment Anything插件,忘了PS吧,AI一键换背景

(2)左键点击需要替换的元素,会显示出一个黑点

Segment Anything插件,忘了PS吧,AI一键换背景

如图,我想要替换两边的花海,就分别在两边各点一个黑点。

右键点击会出现红点,意思是反向选择,大多数情况下,使用左键即可。

(3)点击预览(Preview Segmentation)

Segment Anything插件,忘了PS吧,AI一键换背景

插件会自动生成三张识别好的图片,一般是从轻到重的顺序,本次识别,我觉得第三张比较好。如果仍然不够完美,可以增加黑点、红点的方式,来进行更加精准的选择。

Segment Anything插件,忘了PS吧,AI一键换背景

(4)选择要使用的自动识别的画面

三张画面的排序分别是0、1、2,第三张也就是2

同时选中:Copy to Inpaint Upload & img2img ControlNet Inpainting

Segment Anything插件,忘了PS吧,AI一键换背景

(5)在局部重绘上传原图,并输入要替换的内容的提示词:flower sea,red_rose

Segment Anything插件,忘了PS吧,AI一键换背景

重绘区域选择蒙版,修改步数和重绘幅度(0.5左右为佳)。

Segment Anything插件,忘了PS吧,AI一键换背景

点击生成:

Segment Anything插件,忘了PS吧,AI一键换背景

可以看到,画面其他要素没有发生变化的情况下,重绘后背景变成了美丽的玫瑰花海。

继续修改了一下提示词,变成了海滩。

Segment Anything插件,忘了PS吧,AI一键换背景
分享到:
0
0

发表回复

猜你喜欢
近期文章
利用生成式AI推动创新 美国本田这样做
东方Project-个人AI绘画合集-8(更新至2024-2-14)
AI绘画(动物科普)—兔狲
12.28乾坤AI日报 — 2023年度十大科技名词发布
12.26乾坤AI日报 — OpenAI公布2024年计划
近期评论
ai-world发表在
AI赛博机车—借助SD技术赚取第一桶金
mulei77发表在
AI赛博机车—借助SD技术赚取第一桶金
An Vũ( CEO AGBIG GROUP)发表在
12.25乾坤AI日报 — 苹果正购买新闻采集权用于训练生成式 AI