当前位置：频道 > 正文

GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型 全球快看点

2023-04-12 11:43:11  来源：程序员客栈
内容有价值？分享出去：


(资料图)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

自从 DALL·E 2 之后，在图像生成方面扩散模型替代GAN成了主流方向，比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日， Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿（1B）的GAN模型：GigaGAN，其在文生图效果上接近扩散模型效果，而且推理速度更快，生成512x512大小图像只需要0.13s，生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能，比如latent插值，风格混合，以及向量运算等。

GigaGAN改进了StyleGAN架构，采用两阶段训练策略：一个是64x64的图像生成器和一个512x512的图像超分2器，其图像生成器架构如下所示（这里也是采用CLIP text encoder来引入text condition）：GigaGAN在 LAION2B-en和 COYO-700M数据集上训练，其在COCO数据集上的FID达到9.09，超过stable diffusion 1.5，推理速度比stable diffusion快20倍多（2.9s vs 0.13s）：GigaGAN除了文生图能力，还可以实现可控的合成，比如风格混合，如下图所示：更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

关键词：

推荐阅读

福特野马怎么样?多少钱可以养一辆野马?

福特野马怎么样?第一代野马于1964年正式上市，长车头、短车尾、双门四座的设计布局也成为未来野马的标志性元素，嵌入马徽标的独特进气格栅 【详细】

美国将科学家送往国际空间站 ​NASA开放空间站的商业化怎么回事？

美国将科学家送往国际空间站美国宇航局正在考虑将超专业科学家派往国际空间站，与职业宇航员一起工作。这个想法绝不是新的，因为 NASA 曾 【详细】

中国天眼4月1日正式对全球开放 中国天眼是干什么的在哪里?

中国天眼于2020年1月11日正式开放运行。在中科院国家天文台主导建设之初，即确立了中国天眼将按国际惯例逐步开放的原则，以更好地发挥其科 【详细】

雾霾对经济的影响 雾霾的危害有多大?

雾霾对经济的影响1、雾霾天气迫使工业产业进行结构调整在雾霾天气的现实影响下，只有合理调整工业产业结构，关停重污染企业，加强环境管理 【详细】

​非洲大蜗牛介绍 ​非洲大蜗牛为什么是入侵物种？

在我们的印象中，蜗牛都很小，没有争议。但有一种蜗牛，不仅有手掌大小，而且在很多国家和地区已经成功成为入侵物种，那么这种像手掌一样大 【详细】

相关新闻

新闻

热点

资讯

关于我们  |  联系方式  |  免责条款  |  招聘信息  |  广告服务  |  帮助中心

联系我们:85 572 98@qq.com备案号：粤ICP备18023326号-40

科技资讯网 版权所有