什么评价丘成桐集团关于GAN的舆论?

发布日期:2018-06-09 来源:财富国际在线 阅读:
什么评价丘成桐集团关于GAN的舆论? 孙晓飞 5小时前 51 gan 机器学习 (提问有字数限制,所以没有把论文全名加进去。) [1710.05488] A Geometric View of Optimal Transportation and Generative Model A Geometric View of Optimal Transportation and Generative Model Na Lei, Kehua Su, Li Cui, Shing-Tung Yau, David Xianfeng Gu (Submitted on 16 Oct 2017) In this work, we show the intrinsic relations between optimal transportation and convex geometry, especially the variationa…
0 0
其他回答
之前一直在关注顾教授的微信公众号,他之前有几篇公众号文章在讲wgan和optimal transportation theory,monge方程,kantorovich potential,brenier potential之间的关系。论文出来以后第一时间看了,先总结一下论文的内容:
1,提出一个新的gan计算框架:首先利用vae之类的模型对样本进行降维autoencode,之后在编码空间(低维)里寻找平凡测度(如均匀或正态)到样本测度的最优映射。这样就建立了低维空间平凡测度->低维空间样本编码测度->高维样本空间样本生成这个流程。
2,论文认为gan模型的对抗训练过程不必要,generator对应于optimal transportation的测度映射,discriminator对应于kantorovich potential的计算,而这两步在低维空间里可以解析求解。
3,文章大量篇幅集中在求解monge问题上,这里介绍了kantorovich potential,kantorovich duality(就是wgan求解wasserstein distance的方法)以及平方度量下的brenier potential的数值求解。但是这里不局限于平方度量 ,任意距离度量下利用power diagram都可以数值求解kantorovich potential,只不过平方度量下这个求解比较简单。
4,文章关注于vae降维后低维空间的概率测度映射的求解,做了两个二维空间里的实验,其一是高斯混合模型,其二是弥勒佛表面均匀采样问题。
我觉得这篇文章理论框架很好,如果在真实应用场景下能够证实其有效性,那会彻底改变目前gan模型训练alternative learning过程里大量利用trick的现状,也会简化计算。
不过我认为目前文章还有一个不成熟的地方:
样本量太小,低维空间的维度太低。如果我的理解没问题,brenier potential求解需要用到monte carlo sampling估计梯度(利用poincare duality的newton method我估计大样本量基本用不了),这个sampling在样本量稍大的情形还能不能很好的计算是个问题。
前面几个答主提到的一些问题我认为有如下解释:
1,样本空间是离散测度。
这个可以在离散测度上得到的brenier potential上做一个卷积连续化一下
2,平方度量不同于wgan的距离度量。
power diagram可以用来求解任意度量的kantorovich问题,平方度量求解特别简单,因此拿来示例。
3,online learning,minibatch不好扩展的问题。
大样本量确实是这个模型计算上的挑战,然而minibatch只是用来解决非凸问题里计算复杂度和收敛性问题的,这个框架里目标问题为凸,计算框架本身复杂度就低,根本用不到minibatch。至于online learning可能确实是我孤陋寡闻了,不知道gan这样复杂的计算框架还有online 版本。
武丁明 4小时前 0条评论
0 0

谢邀。人要藏拙,对于论文中的拓扑学知识的确超过了我的知识储备,需要再查查相关资料。KFr财富国际

概括来说,作者们试图找到一种几何学的对GAN的合理解释。主要使用的方法是将GAN和最优运输问题(optimal transportation)、凸几何进行类比。作者试将一种GAN模型(WGAN)放在了这个框架下进行解释,并提出中对于低维下判别器和生成器的一种计算几何学解释:KFr财富国际

  • 判别器:计算Kantorovich势能 (约等于WGAN中判别器中计算Wasserstein距离)
  • 生成器:计算Brenier势能
  • 在选用特定的运输成本函数下(欧式空间中必存在凸代价函数),Brenier势能可以通过Kantorovich势能求得。通过类比,由此类比可知,生成器存在有关于判别器的闭式解(closed-form solution)

作者认为只需要对判别器进行训练和优化,而生成器可以通过判别器得到显示解,不需要单独的网络对生成器进行训练,其实本不需要“竞争学习”。为了证明这个理论的有效性和拓展,作者提出了了两个实验(2维/3维空间内)。KFr财富国际

所以作者的发现主要是:KFr财富国际

  • 低维下一种计算几何学对于WGAN的等价表示/理解方法
  • 通过这种等价表示认为生成器网络是不需要训练的,只需要根据判别器的训练的最优值通过得到结果,即不需要“竞争”
  • WGAN的训练方式事实上没有得到最优解,用计算几何的方法会得到更好的结果(实验1) 。并由此提出了一种“几何生成模型”
  • 这种类比关系在高维空间还无法用计算几何求得也不存在闭式解,但作者认为有其他的理论可以将结论推广到高维

如果让我胡言乱语几句的话。那么首先作者的理论限定在低维空间,只有在特殊情况下才可以将最优运输理论和凸几何联系起来,最终才能使得WGAN->OMT->Convex Theory->闭式解说通。这也解释了为什么实验设计的这么简单,毕竟工作都是逐步推进的这只是第一步。其次就是作者通过Brenier的理论证明在低维空间上必存在为凸的代价函数,因此最终得到了闭式解。这个也再次提醒了我们维度很重要不然很难有这么漂亮的结果。同时,作者也指出实验中只是一个很小的数据集,只需要一个core和500mb内存,网络也只有1-2层,因此只是个toy example。在低维度、小样本下,作者似乎可以证明计算几何的生成框架比WGAN的生成效果好,但这个是否公平还有待商榷。KFr财富国际

我觉得从理论上试图打开黑箱是很好的尝试,但不知道在高维空间中、也就是更实用的领域将来是否能得到这样漂亮的解释。因此这个工作是很积极的,但带来的直接影响还是要谨慎看待。从吸引关注的角度来看,生成器不需要训练非常吸睛,但请大家不要惶恐立马决定弃坑。暂时来看,对于做GAN应用和研究没什么太大的影响,毕竟实用性还是非常重要的考量。从机器学习角度来看,因为维度上升而带来的难度上升是远超线性的,很多低维可行的理论在高维往往失去可比照的结果。在高维度中很多指标往往失去了意义,所以将结论从欧式几何继续推广难度想必不小。因为能力有限,我会继续谨慎观望后续工作并好好补一下拓扑学、流形学知识。KFr财富国际

话说回来,理论解释和实用性往往都不是并驾齐驱一起发展的,总是一前一后交替前行。这也是基础学科和应用学科之间最微妙的关系。本文仅是简单的归纳和一点点个人理解,求轻拍。KFr财富国际

最后附上作者之一的顾险峰教授对于文章思路的解释,建议阅读KFr财富国际

  • 虚构的对抗,GAN with the wind
  • 看穿机器学习(W-GAN模型)的黑箱
  • 看穿机器学习的黑箱(II)
  • 看穿机器学习的黑箱(III)
热心网民 4小时前 0条评论
0 0

关于我们 联系我们招聘信息免责申明广告服务 网站地图 百度地图 TAG标签

Copyright@2018-2022 Cfgjzx.Com 财富国际在线 版权所有 All Rights Reserved   
财富国际提供:最新财富资讯、房产资讯、股票资讯、区块链、投资理财、保险导购、健康产品、公私募基金,易经等资讯及服务.