Talk预告 | UIUC助理教授孙若愚: GAN的全局几何图景: Stackleberg均衡和模式坍塌

原创让创新获得认可将门创投今天

收录于话题

本期为TechBeat人工智能社区第350期线上Talk。

北京时间10月20日(周三)晚8点，伊利诺伊大学香槟分校助理教授—孙若愚的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “GAN的全局几何图景: Stackleberg均衡和模式坍塌”，届时将介绍其对GAN（生成对抗网络）的研究进展与挑战，其中将重点介绍他们在NeurIPS 2020的Oral工作。

Talk·信息

▼

主题：GAN的全局几何图景:

Stackleberg均衡和模式坍塌

嘉宾：伊利诺伊大学香槟分校助理教授

孙若愚

时间：北京时间 10月20日 (周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

长按识别二维码，一键完成预约！

Talk·提纲

▼

过去几年，GAN（生成对抗网络）的研究取得了很大的进展，基于GAN也出现了很多有趣的应用。但GAN的训练很困难，有训练不稳定、模式坍塌等挑战。我们认为，这是因为我们对GAN的基本性质缺乏理解；比如最简单的2-Gaussian实验，训练损失函数就有很多种不同的形状，目前理论无法解释这些形状。从计算角度（而不是统计角度）来说，最基本的问题之一，是GAN到底有没有局部最优、局部最优是什么。对这个问题的回答将极大的增强我们对GAN的理解，帮助设计更好的GAN。

本次分享主要为：

1）监督学习中，宽神经网络和窄网络的landscape的主要区别在于前者没有bad basin。

2）传统理论基于population loss分析GAN有什么缺点。解释empirical loss和population loss的区别。

3）介绍两个定理：第一，传统的JS-GAN有指数多个bad basin，每一个都对应模式坍塌。第二，RpGAN没有bad-basin。

4）实验结果。RpGAN仅需修改两行代码，可取得较大的效果提升。具体来说，一系列实验说明RpGAN在宽度、初始点选择、数据的均衡性等发生变化时，比传统GAN要好很多。

Talk·参考资料

▼

这是本次分享中将会提及的资料，建议提前预习哦！

1. Towards a Better Global Loss Landscape of GANs (NeurIPS 2020 Oral)

https://arxiv.org/abs/2011.04926

2. The Global Landscape of Neural Networks: An Overview, IEEE Signal Processing Magazine 2020

https://arxiv.org/abs/2007.01429

3. Optimization for deep learning: theory and algorithms, JORSC 2020

https://arxiv.org/abs/1912.08957v1

Talk·提问交流

▼

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

方式 ②

在本文留言区直接提出你的问题，或扫描下方二维码提问！

快来提问啦！

Talk·嘉宾介绍

▼

孙若愚

UIUC工业与系统工程系助理教授

孙若愚，伊利诺伊大学香槟分校(UIUC)工业与系统工程系助理教授，兼电子与计算机工程系助理教授。于2009年在北京大学数学科学学院数学系获得学士学位，2015年在明尼苏达大学电子工程系获得博士学位，2015-2016年在斯坦福大学任博士后研究员，2016年在Facebook AI Research任访问科学家，2017年加入UIUC。他的研究兴趣主要是数学优化和机器学习。他是最早研究机器学习的非凸优化全局最优性质的研究者之一，发表在FOCS的相关论文也获得了INFORMS优化协会学生论文竞争的Hononrable mention。另外，他对随机置换ADMM的研究获得了2015年INFORMS Nicholson学生论文奖的第二名。目前他的研究兴趣主要是神经网络相关的优化问题，包括全局最优性质、梯度方法的收敛性分析、生成对抗网络的算法、adaptive梯度算法等。

个人主页：

https://ruoyus.github.io/

长按识别二维码，一键完成预约！