[NIPS 2018]Implicit Maximum Likelihood Estimation
典型的Implicit probabilistic models包括GAN和VAE。虽然比相对应的prescribed probabilistic models更灵活，但是Challenges是无法用maximum likelihood来训练，而现有的方法比如说GAN却有着mode collapse/dropping, vanishing gradients and training instability这三大缺点。Implicit Maximum Likelihood Estimation（IMLE）被提出来解决这三个问题，并且可以用极大似然来优化。
核心思想：1、对每个数据点选择最相邻的采样 (而不是对每个采样选择最相邻的数据点) 2、把所选择的采样拉向对应的数据点
原因： 最大似然 等价于 High density at each data pointóSamples likely to be near data points
另，gan不能做mode coverage而vae可以，但vae不能做likelihood-free而gan可以
需要注意的：和GAN的不同是在最临近的邻居的discriminator，每个采样都有最临近的数据点, 但是一些数据点没有临近的采样 (这也是why mode collapse happens)
所以优势在于：没有 Mode Collapse/Dropping。换言之，这样的意义是使得recall提升。
实验：Multimodal Predition
Conditional Implicit Probabilis6c Model
其中y是i.i.d.采样，模型优化的是这个函数
Multimodal超分辨率
Multimodal图像合成
•给定输入，建模输出的完整分布对于ill-posed问题很重要。
•许多图像合成问题具有这种风格，因为通常有许多合理的输出图像与输入图像是一致的。
References:
Ke Li and Jitendra Malik. Implicit Maximum Likelihood Es/ma/on. arXiv:1809.09087, 2018
Ke Li, Shichong Peng and Jitendra Malik. Super-Resolu/on via Condi/onal Implicit Maximum Likelihood Es/ma/on. arXiv:1810.01406, 2018
Ke Li, Tianhao Zhang and Jitendra Malik. Diverse Image Synthesis from Seman/c Layouts via Condi/onal IMLE. arXiv:1811.12373, 2018
判断真实分布与生成分布的矩是否相等.