迎接实时生成AI图像(视频)的新时代!
文章标签:
AI工具评测
迎接实时生成AI图像(视频)的新时代!

最近我经常被类似的问题气笑了:

ChatGPT的出现标志着中国在AI领域彻底落后,西方发达国家进入新的工业革命时代,远超中国。

这个问题乍一看很有道理,其实GP不T,原因很简单,中国的AI技术,和西方(其实只有美国)相比,并没有代差。

如果说美国的AI技术全球领先,天下十斗占八斗的话,中国也有一斗,其余200多个国家共享另一斗。

更让西方发达国家头疼的是,中国在应用领域,很容易做到世界第一。

举个例子:LED灯的核心技术是蓝光LED,日本人发明的,并凭此拿到了诺贝尔奖,然而,日本人并没有在LED领域赚到多少钱。让西方发达国家恐惧的是,现在LED产品差不多一半以上是中国生产的,遥遥领先。

AI技术也是类似,引领性的原理概念,可能最早不是从中国出现的(其实中国现在也出现了很多优秀的AI论文,即便是美国的AI论文,绝大多数也有中国人参与),但将来AI技术深化应用,一定是在中国发扬光大。

在AI绘画领域,中国人的参与热忱越来越高,尤其是在开源的stable diffsion领域,涌现出了一大批优秀的应用插件。

比如号称改变了stable diffsion玩法,引起变革的ControlNet插件,就是中国人开发的,当然他现在斯坦福就读,而腾讯团队的ControlNet系列模型,都是正宗中国团队。

如今,中国IT圈的一哥,清华团队出手了,他们拿出来一个叫做LCM的插件,可以在中低端显卡上,秒级生成AI图像。

这意味着,人们可以以极低的算力成本,实现高效的训练。

类似的逻辑如果应用在其他AI领域,对中国高端显卡的禁令,就有可能变成一坨废纸。

1、什么是LCM

LCM 的全称是 Latent Consistency Models(潜在一致性模型),由清华大学交叉信息研究院团队开发。

团队发布了论文和模型,在AI绘图圈引起了轰动。

在这个模型发布之前,Stable Diffusion 的传统模型由于迭代采样过程计算量大,生成速度非常缓慢。

LCM 只用少数的几步推理(一般5步)就能生成高分辨率图像。据统计,LCM 能将主流文生图模型的效率提高 5-10 倍,所以能呈现出几乎实时的效果。

研究团队进一步提出 LCM-LoRA,可以将 LCM 的快速采样能力在未经任何额外训练的情况下迁移到其他 LoRA 模型上。

这彻底改变了AI绘画的玩法。

高端显卡不再是必需品。

2、神奇的LCM

由于生成图像特别快,有些脑洞大开的选手在此基础上,开发了实时绘图工具,然后生成视频效果。

一边是简易的绘画输入,另一边是经过文本限定后的图生图输出,形成一段动画。

迎接实时生成AI图像(视频)的新时代!

重新播放

迎接实时生成AI图像(视频)的新时代!
迎接实时生成AI图像(视频)的新时代!
迎接实时生成AI图像(视频)的新时代!

这很可能会在未来成为一种全新的交互方式:用简陋粗糙的框架设想,同步展示出华丽渲染后的逼真效果。

太神奇了。

3、LCM的程序安装和模型下载

stable diffsion已经有了LCM插件,下载地址:

https://github.com/0xbitches/sd-webui-lcm

可以在WebUI的扩展界面,选择“从网址安装”。

LCM现在支持SDXL和SD1.5,并分别放出了两个这两个版本适用的模型(未来会出现越来越多的LCM大模型),

SDXL版模型(基于SDXL原生大模型):https://huggingface.co/latent-consistency/lcm-sdxl/resolve/main/diffusion_pytorch_model.safetensors?download=true

SDXL版加速LoRA:https://huggingface.co/latent-consistency/lcm-lora-sdxl/resolve/main/pytorch_lora_weights.safetensors?download=true

因为本周一直出差,不太方便进行代码安装和调试,更详细的评测报告请耐心等到周末。

分享到:
0
0

发表回复

猜你喜欢
近期文章
生成式AI看起来很美,ROI怎么算
利用生成式AI推动创新 美国本田这样做
东方Project-个人AI绘画合集-8(更新至2024-2-14)
AI绘画(动物科普)—兔狲
12.28乾坤AI日报 — 2023年度十大科技名词发布
近期评论
ai-world发表在
AI赛博机车—借助SD技术赚取第一桶金
mulei77发表在
AI赛博机车—借助SD技术赚取第一桶金
An Vũ( CEO AGBIG GROUP)发表在
12.25乾坤AI日报 — 苹果正购买新闻采集权用于训练生成式 AI