AIGC 席卷 AI 顶会:ICLR 2023 论文得分出炉,扩散模型研究暴增-aigc导航|ai导航
11 月 5 日,人工智能顶级会议 ICLR 2023 的评审结果正式发布。
除了讨论提交论文的分数、录用可能性、如何 rebuttal 之外,Diffusion Model(扩散模型)成了今年 ICLR 的热门关键词之一,以扩散模型为研究主题的投稿论文数量出现暴涨,所涵盖的具体方向也十分广泛。
ICLR 2023 的论文提交截止日期是今年的 9 月 28 日,距离文本生成图像模型 DALL·E 2 的问世不过 5 个月,Stable Diffusion 的发布也只是在 8 月份。扩散模型这一波研究热潮,实在是“扩散”得飞快,AIGC 的兴起正当时。
ICLR 全称是 International Conference on Learning Representations(国际学习表征会议),由深度学习三巨头其中的两位 Yoshua Bengio 和 Yann LeCun 牵头创办于2013年,在人工智能领域地位举足轻重。ICLR 2023 将于 2023 年 5 月 1 日至 5 月 5 日在卢旺达基加利举行。
本届会议共计有 6300 份初始摘要投稿和 4922 份经过评审的投稿,其中经过评审的投稿比去年增加了 32.2%。在 4922 份投稿中,有 99%(4883)得到了至少 3 份评审,一共有超过 18500 份评审。
ICLR 的审稿分数和意见全部在 OpenReview 平台上公开,一些网友已经爬取了平台上本轮审稿的论文得分数据,做了相关排名统计。
论文评分方面,今年的论文平均得分为 4.95。最终的论文录用结果尚未公布,参照上一年 32.3% 的录用率,今年共有 1556 篇左右的论文有希望被录用,最低均分线在 5.50 分。
图注:ICLR 2023 论文评分分布
毫无疑问,扩散模型在今年是一个大热门,从 ICLR 2023 的论文投稿情况就能看出,这波研究热潮已经掀起。
从提交论文的主题来看,最热门的方向与往年相差不大,强化学习、深度学习、表征学习、图神经网络等仍旧是热点。而其中尤其引人注目的,是排在第 14 名的 Diffusion model。
从下图显示的频率排名变化幅度最大的前 10 个论文关键词可以看到,去年的 Diffusion model 还排在第 173 名。
论文题目中的关键词频率也印证了扩散模型的研究热度有多高:
上图是论文标题关键词频率排名变化幅度最大的前 10 个关键词,diffusion 位列第 2,从去年的第 132 名大幅暴增到第 25 名。
甚至有网友开玩笑,不如就把 ICLR 2023 的名字改为“Diffusion Conference 2023”吧……
据粗略统计,ICLR 2023 的论文投稿中,有 100 多篇论文以扩散模型为研究主题,在 233 篇得分为 7分(含)及以上的论文中,共有 13 篇涉及扩散模型。
这些工作所涵盖的具体方向也十分广,如高效采样、与其他生成模型结合、在CV/NLP领域的应用、在多模态领域的应用、与强化学习结合、分子图建模、扩散模型理论与理解、扩散模型泛化与拓展、扩散模型迁移、特殊结构数据的建模、鲁棒性与稳定性、扩散模型的隐私保护,以及其他方向。
研究提出的生成模型涉及多个模态,模型本身的名字也是五花八门,过去几个月令人惊艳的许多生成模型都在其中,如:
来自谷歌的文本生成 3D 模型 DreamFusion(被称为“3D 版 DALL·E”),论文还得到了 8.0 的高分,总排名第 13。
另外还有谷歌发布的检索增强的文本生成图像模型 Re-Imagen、文本生成视频模型 Phenaki,Meta 的文本生成视频模型 Make-A-Video等等。
扩散模型所引发的这一波 AIGC 热潮是席卷式的。扩散模型第一次被提出是在 2015 年(DPM,Diffusion Probabilistic Models),直到2020年,UC 伯克利的Pieter Abbeel 等人提出去噪扩散概率模型(Denoising Diffusion Probabilistic Model, DDPM),在图像生成方面击败了 GAN,向世界展示了扩散模型的威力。
论文地址:https://arxiv.org/pdf/2006.11239.pdf
而扩散模型真正开始成为研究热门,今年 4 月 OpenAI 发布的文本生成图像模型 DALL·E 2 居功至伟,之后又有谷歌推出 Imagen,直接对标 DALL·E 2,文本生成图像领域从此开始卷了起来。
今年 8 月,初创公司 Stability.AI 发布深度学习文生图模型 Stable Diffusion,开源后更是一石激起千层浪,后续基于扩散模型的文本生成图像模型可以说是越来越卷,并很快扩展到文本生成视频、文本生成 3D、文本生成音频等等。
如今,扩散模型已经当之无愧成为深度生成模型中新的 SOTA,其所引发的 AIGC 热潮已经势不可挡。
所以,想要进入 AIGC 这一赛道的可以早点行动了。