物理与深度学习

约 1747 字大约 6 分钟

2024-10-21

——解析本年度 Nobel Prize for Physics & Chemistry.

这是物理系办的一个讲座，主要围绕今年的 Nobel 物理学奖颁发给深度学习的两位专家这个话题展开. 我在讲座上记录了一些要点，觉得很有启发，所以放在这里作为一个存档.

介绍

人工智能（Artificial Intelligence） $\supseteq$ 机器学习（Machine Learning） $\supseteq$ 深度学习（Deep Learning），这是一个包含的关系. 深度学习是这个领域的前沿，用模拟人类神经网络的方式实现人工智能.

最早在1940年代，提出数学模型；1958年 Rosenblatt 感知器提出，是有隐藏层的前馈网络；日本科学家也在早期做出了很多奠基性工作.

1970年代，这个领域进入一个寒冬，因为难以处理数量巨大的神经元. 解决这个问题的正是 John Hopfield ，今年的 Nobel Prize for Physics 得主. 他1933年出生，1969得到巴克利奖（美国的一个凝聚态物理的奖项），之后想转到生物物理，但是后来发展出人工神经网络.

学过凝聚态物理的同学会知道，很多集体效应不是单个粒子的简单相加，而是呈现出非常特殊的统计性质. Hopfield 将这些思想应用到生物物理的领域中，他研究 DNA 的复制的试错，之后转向对联想记忆问题的研究.

联想记忆：从不完整或者有偏差的输入，还原记忆内容；这是区别于传统的计算机存储的.

Hopfield 考虑构建一个数学上的简单模型：Hopfield 网络，类似于 Ising Model ，神经元状态表征为 $s_i=0,1$ ，链接权重为 $w_{ij}=w_{ji}$ ，引入能量函数 $E=-\frac{1}{2}\sum_{i\neq j}w_{ij}s_is_j$ （这和 Ising Model 简直如出一辙！）

对这个网络做两件事情：

训练：优化权重 $w_{ij}$ ，用能量极小值的点记录“记忆”. $\to$ 赫布定律（1949）
预测：固定 $w_{ij}$ ，从输入的 $s_i$ 出发，优化 Hopfield 能量，寻找相似的记忆. $\to$ 能量极小值对应“吸引子”，吸引子状态编码信息.

$\Longrightarrow$ 借助能量函数存储记忆，通过优化能量函数还原记忆.

这种方式被应用在早期的一些算法问题上，比如“行商问题”. 经过长期发展，现在的“现代 Hopfield 网络”已经发展到新的样式，技术内核已经更新，但是设计理念没有太大变化.

接下来， Hinton 等人对 Boltzmann 机的研究将这些知识向前更进一步：这里关注能量函数的概率分布，用 Monte Carlo 方法计算结果. Boltzmann 机除了权重 $w_{ij}$ 以外还引入偏置 $\theta_i$ ，将能量极小值的记忆存储改为马尔科夫链蒙特卡洛算法（MCMC）产生的概率分布存储记忆，依靠新的方法进行训练.

Hinton 发展受限 Boltzmann 机，同层神经元之间无连接，使得理论得到大幅深入. 2017年，这种方法被用来求解量子多体问题.

Hinton 被称为“AI教父”，坚持挺过了 AI 研究的两度寒冬，不仅自己做出很多贡献，同时还培养了一批知名的学生，其中甚至有 OpenAI 的主要技术贡献者. 他们发现，当神经网络的 Scale 一旦变大，很多之前无法解决的问题都能迎刃而解.

之后的 AI 发展从两个角度出发：架构更先进、应用更广泛，前者的著名例子是卷积网络（CNN）的图像处理，而后者最著名的则是 ChatGPT.

Nobel 委员会在介绍此次颁奖的成果时，提到这项成果对于天体物理（黑洞计算）和 Alpha-Fold 等各种领域都实现了广泛的应用.

和我们？

徐老师谈谈 AI 对他自己专业的帮助：从基于经验到基于数据. 人工智能非常适合处理这样的问题：高维的参数空间、明确的优化目标、丰富的训练数据或高效的数据产生器，当满足这些条件时，AI 就变得非常强大，Alpha-Fold 就是一个绝佳的例子. 传统的科学计算在数值模拟耗时非常大，而有深度学习驱动的科学计算可以实现高效而智能的科学计算.

徐老师做的是第一性原理计算，即“基于量子力学原理，计算现实模型”. 这几年发展出高效的深度学习新一代第一性原理计算方法，将重要的物理先验融入神经网络，“压缩” DFT 底层算法，（局域性原理：小体系演化至大体系，速度快；协变性原理：进一步增强泛化能力，举一反三，可扩展性强）. 这是一个全新的材料研究方式：MIND（Material INtelligence Database）.

推荐一些开源的学习资料：mzjb（是徐老师的学生）有很多 repo ，如徐老师和学生共同做的 DeepH .