如何对现在深度卷积网络能够做有量子物理的题目?

发布日期:2018-06-03 来源:财富国际在线 阅读:

如何对现在深度卷积网络能够做有量子物理的题目?

sym cheng 27分钟前 38 波函数 量子
reference: [1702.01361] Deep learning and the Schr/"odinger equation[1606.02318] Solving the Quantum Many-Body Problem with Artificial Neural Networks物理太差,所以看到文章只能不明觉厉。想问一下效果做的有多好;成果对CV/NLP是否有意义;成果对理解整个neural network是否有意义?
0 0
其他回答
谢邀~ @王磊

我的研究方向是量子多体,最近正在接触机器学习。
机器学习做物理的确很早就有了。不过真正火起来其实也就是去年的事吧。国内<physics|machine learning>的学术会议也是去年下半年刚刚在北京办了第一届。所以这是一个新得不能再新的方向。因此现在谈如何看待,如何评价这样的问题,实在是......
很容易被打脸呀( ̄ε(# ̄)☆╰╮( ̄▽ ̄///)......

不过我纯粹的个人看法(flag)是:这是一个正在兴起,在将来有大概率会给物理领域或(和?)机器学习领域带来实质影响的方向。


说起来这个方向怎么就突然火了呢?

从14年下半年的这篇文章开始说吧。
"An exact mapping between the Variational Renormalization Group and Deep Learning", Pankaj Mehta, David J. Schwab , arxiv:1410.3831, Oct 2014
它证明了kadanoff的块重整化可以映射成一种特殊的深层玻尔兹曼机。虽然它并没有给出一个可以真正用来做事情的算法。但是能够严格地把重整化群这个多体物理领域的重要工具映射到机器学习模型,当时还是吸引了相当多的关注的。

紧接着16年3月就发生了众所周知的alphago战胜李世石事件,物理学家像所有人一样,关注了认识了机器学习这个大杀器的强大威力。心有戚戚然。于是他们就用他们聪明的小脑袋瓜想呀:
1,能不能让这个大杀器为我所用?(机器学习在物理学中的应用
2,能不能把这个大杀器收入我大物理麾下?(用物理理论挖掘机器学习能够成功的原理
3,能不能搞个量子大杀器?(量子机器学习,这一块百晓知道上 @Summer Clover 很在行)
(严格地讲,量子机器学习的兴起要早于alphago,而1、2稍晚。
"Quantum algorithms for supervised and unsupervised machine learning", Seth Lloyd, Masoud Mohseni, Patrick Rebentrost, arxiv:1307.0411, Jul 2013)

然后16年5月这篇文章来了
"Machine learning phases of matter", Juan Carrasquilla, Roger G. Melko, arxiv:1605.01735, May 2016
它第一次真的用监督学习算了一个统计物理模型:Ising model。 然后发现机器真的可以分类高温相和低温相的自旋构型。并且这样的分类能力对无阻挫系统还有一定的推广能力(比如你用正方格子的铁磁Ising model来训练,训练出来的神经网络也能分类铁磁三角格子的shu。 )
这篇文章的意义倒不是说算了一个多难的模型,模型很简单,但它第一次向人们展示机器学习真的可以用来做物理问题。前方是一片无人踏足的新大陆,物理学家们眼睛都绿了,多好的机会呀!

于是在接下来短短半年内就出现了许多不错的工作:
"Discovering Phase Transitions with Unsupervised Learning", Lei Wang, arxiv:1606.00318, Jun 2016
"Solving the Quantum Many-Body Problem with Artificial Neural Networks", Guiseppe Carleo, Matthias Troyer, arxiv1606.02318, June 2016
"Machine learning quantum phases of matter beyond the fermion sign problem", Peter Broecker, Juan Carrasquilla, Roger G. Melko, Simon Trebst, arxiv:1608.07848, Aug 2016
"Machine Learning Phases of Strongly Correlated Fermions", Kelvin Ch'ng, Juan Carrasquilla, Roger G. Melko, Ehsan Khatami, arxiv:1609.02552, Sep 2016
"Exact Machine Learning Topological States", Dong-Ling Deng, Xiaopeng Li, S. Das Sarma, arxiv:1609.09060, Sep 2016
"Accelerate Monte Carlo Simulations with Restricted Boltzmann Machines", Li Huang, Lei Wang, arxiv:1610.02746, Oct 2016
"Self-Learning Monte Carlo Method", Junwei Liu, Yang Qi, Zi Yang Meng, Liang Fu, arxiv:1610.03137, Oct 2016
"Learning Thermodynamics with Boltzmann Machines", Giacomo Torlai, Roger G. Melko, arxiv:1606.02718, Jun 2016
etc...
(提问中那篇投science的预印本也在里面,另外上述作者中至少有两位知友(~ ̄3 ̄)~)

提问中那篇文章
[1606.02318] Solving the Quantum Many-Body Problem with Artificial Neural Networks
16年6月出现在arXiv上,最近被science接收。又把一堆物理学家给震了,要知道搞理论搞计算的物理学家要发篇science那难度...
这篇文章用限制玻尔兹曼机的网络结构作为基态波函数ansatz来做变分蒙卡求量子模型(横场Ising和heisenberg)基态。就这么简单一弄,出来的结果却比目前的数值算法效果好。物理学家们一边觉得有点毁三观,一边想想也对,限制玻尔兹曼机这种ansatz的优势第一参数相对较少,第二天生适合描述非局域纠缠/相互作用。用来描述基态正合适。于是这篇文章也给人一些想入非非的大饼,那这种ansatz推广到更复杂更重要的体系效果如何呢?比如spin liquid?比如hubbard模型? 非常值得一试呀!

另外物理学家们当然也在尝试着用物理的武器库来优化机器学习算法。比如这篇
"Supervised Learning with Quantum-Inspired Tensor Networks", E. Miles Stoudenmire, David J. Schwab, arxiv:1605.05775, May 2016
把DMRG(密度矩阵重整化群)用到监督学习中,将原来的网络svd成矩阵乘积态。不但同样可以训练出来,而且很显著的节省了计算代价。

当然我们也要用物理学的思想来探讨一下机器学习为什么这么成功:
"Why does deep and cheap learning work so well?", Henry Lin, Max Tegmark, arxiv:1608.08225, Aug 2016
几乎所有的机器学习算法,都可以看做是在变分拟合某种未知的概率分布。但让人费解的地方是,这些概率分布的可能取值非常大,远远大于宇宙的原子总数(400个像素的黑白图片的可能取值激素2的400次方,约合10的120次方,宇宙原子数约10的80次方)。为什么仅用几万几十万的数据杨蓓就可以把这些概率分布逼近得如此好?这件在数学上让人迷惑不解的事实有可能物理学家能够回答哦。

或许我们喂给机器的所有图片,我们关心的所有图片,都只是图片的可能集合中的极小部分(雪花白噪声的可能取值比任何一种图片都多,但我们不关心。)换句话说,我们觉得有意义的图片,都或多或少是现实世界的反映。现实世界是要服从物理定律的。这使得我们认为有意义的图片信息也往往在旋转不变性,平移不变性,局域性等等严苛的物理定律的限制下极大的缩小了取值范围。
又比如我们在理解图片的时候并不需要记住每一个像素点,我们看的是大框架。用物理的话说,我们不关心图片的微观细节,我们在意的是这些微观细节重整化完了之后剩下的那些东西。那些微观模型的“低能”近似。(最接近高能极限的图片长什么样子呢?雪花白噪声咯,每一个像素点都在剧烈涨落,不过我们不关心这样的图片)
所以机器学习本质上是一个物理问题吗? 我没有答案。


最后安利一下我们自己的一个工作
"On the Equivalence of Restricted Boltzmann Machines and Tensor Network States", Jing Chen, Song Cheng, Haidong Xie, Lei Wang, Tao Xiang, arxiv:1701.04831, Jan 2017
在张量网络和限制玻尔兹曼机之间建立了一个严格的映射,用张量网络这边的工具(比方说纠缠熵,约化密度矩阵)讨论了限制玻尔兹曼机网络结构的表示能力。

总之呢,正如我最开始说的那样,这是一个正在兴起的方向,希望它走得长久,围棋这个人类智力高峰已经被AI拿下了,前沿物理研究这个智力高峰有生之年能拿下么^ ^~




==================================================================

我挂一漏万只给出了很少的一些工作。有兴趣了解更多的同学。我非常推荐Roger Melko 与 Miles Stoudenmire 整理的这个网页:
2Jn财富国际



Papers

sym cheng 11分钟前 0条评论
0 0

中午吃饭时把两篇文章都读了一下。machine learning 我只懂点皮毛,所以从电子结构的角度说一下。2Jn财富国际

我觉得这两篇文章反映了用 ML 的方法处理电子结构问题(基本可以等同于它这里说的 Schrodinger equaiton 或 quantum many-body problem)的两个最容易想到的思路。2Jn财富国际


  • 第一个(第一篇文章)是直接找映射关系,讲得不好听一点是暴力拟合

薛定谔方程 是一个关于哈密顿量 的本征方程,本征矢 (波函数)包含了求解其他性质需要的信息。 的形式只由待研究的系统决定:给定一个系统,就给定了 ,原则上就确定了整个系统的所有性质(只要解出波函数 就好了)。用数学的语言说,就是存在如下三个映射:2Jn财富国际



第一、三步(通常)是 trivial 的,关键在于第二步的薛定谔方程难解(粗略地说,对薛定谔方程的近似求解构成了整个量子化学)。鉴于此,人们就想到利用 ML 的超强拟合能力来绕过它,所以就有了下面这个映射:2Jn财富国际

也就是建立一个从给定的系统直接指向某个物理性质的映射。具体实现的话 ML 里有大量现成的 model。第一篇文章就是这个思路,用的 model 是卷积神经网络(CNN)。2Jn财富国际

个人觉得这类方法不是很优雅(非常暴力!),缺点也很多:2Jn财富国际

  1. 是 supervised learning. 也就是需要大量的精确解来 train 你的 model. 这是致命的。因为薛定谔方程的特点是,精确解在概念上很简单(取一组较大的基,薛定谔方程成了矩阵方程,精确对角化就好了),但 computational scaling 是指数发散的。所以用精确解来构建 training set 不现实。这就意味着只能用近似解,那么就算你 train 得再好你的 model 也只能 reproduce 近似解。。。
  2. model flexibility 差. 以我对 neural network 的认识(错了请指出,谢谢!!!),一个网络的 architecture 是在 train 之前就要固定了的。比如说这篇文章里把 用 256-by-256 的矩阵表示,那么可以想见它的 input layer 是一个 256*256 的向量。那么这样 train 出来的模型怎么解其他 呢?我觉得这种意义下的 transferability 并没有。当然也有可能是我对 CNN 的理解错了。(我曾经思考过的一个解决思路是,把分子拆成片段,使得每一个片段的大小符合我 train 的 model 的维度,但这样又要考虑片段之间的相互作用之类的。)
  3. 不普适。由于没有波函数,上面的 一次只能 train 一个性质。这和先解薛定谔方程得到波函数 有本质区别,后者可以求所有性质。所以对每个感兴趣的性质我都要 train 一次(比如文章里 train 了基态能量和第一激发态能量两个性质),工作量大不说,最可怕的是不同物理量之间不一定 consistent.

如果说 2 可能还可以从 model selection 角度补救,个人觉得 1 和 3 基本 kill 这类方法了。2Jn财富国际


  • 第二个是利用变分原理(wiki: Variational method (quantum mechanics))。

基本思路是:我解不出精确基态波函数 ,但我可以猜啊!比方说猜一个 ,那么变分原理保证这个试探波函数的能量一定是真实基态能量的上界,也即:2Jn财富国际

那么一个显而易见的近似是:我让我的试探波函数依赖于一些参数 (这个过程叫参数化,parametrization) ,这样它对应的能量就是 的函数了 。所以我只要在参数空间做一个最小化2Jn财富国际

就能得到在当前参数化形式下的最好的近似波函数了。2Jn财富国际

理论化学/理论物理学家基于物理 or 数学的 argument 已经提了很多很多种参数化波函数的方法,其中第二篇文章里提到的 DMRG 和 QMC 本质上都是不同的参数化波函数的方法(前者用的 MPS,后者则是 Jastrow-Slater determinant)。而这篇文章本身的创新之处,我个人认为,在于用 neural network 来参数化波函数。好处应该是优化能量的问题可以用 NN 里面成熟的优化方法解决。2Jn财富国际

就他们汇报的结果来看,效果还是可以的。一个 hidden layer 就能达到 DMRG 的精度。不过也有几个问题,比如一维和二维体系的对比来看,明显二维需要更复杂的 architecture. 这种维度依赖会随体系进一步增大而变的越来越不利嘛?这是这个方法是否 size-extensive 的问题,可惜作者也没咋讨论(可能是限于 Science 篇幅 orz)。2Jn财富国际


总的来说我觉得第二篇稍微比第一篇好一点,至少思路更加物理一点,而且由于不是 supervised leraning,可能的下一步发展也多一点。第一篇实在让人不得不怀疑作者是不是在蹭热点(而且还蹭得很难看)。2Jn财富国际

叶洪舟 11分钟前 0条评论
0 0

关于我们 联系我们招聘信息免责申明广告服务 网站地图 百度地图 TAG标签

Copyright@2018-2022 Cfgjzx.Com 财富国际在线 版权所有 All Rights Reserved   
财富国际提供:最新财富资讯、房产资讯、股票资讯、区块链、投资理财、保险导购、健康产品、公私募基金,易经等资讯及服务.