国家纳米中心等开发出基于强化学习的增强采样方法

近日，中国科学院国家纳米科学中心施兴华团队联合清华大学高华健团队，开发了基于强化学习的增强采样方法——Adaptive CVgen，并将这一方法应用于蛋白质折叠和富勒烯（C60）合成研究。相关研究成果以Adaptive CVgen: Leveraging Reinforcement Learning for Advanced Sampling in Protein Folding and Chemical Reactions为题，发表在《美国国家科学院院刊》（PNAS）上。

解析微观体系的动态演化过程是基础研究中的重点，但缺乏有效的方法来解析微观体系的动态过程。以冷冻电镜为例，它能够解析蛋白质的晶体结构，但仅能捕捉到稳定的静态信息，而无法揭示其瞬态或动态演化过程。相比之下，理论计算方法在探索微观体系的动态行为方面展现出优势。当前，主流研究工具分为基于深度学习的结构预测工具、分子动力学模拟、以增强采样方法为主的长时间模拟方法。增强采样方法可进行长时间尺度模拟而具有广阔前景。然而，当前的应用多仅局限于少数简单体系，普适性尚未得到验证，因此亟需开发具有广泛适用性的增强采样方法。

Adaptive CVgen属于自适应采样方法的范畴。这类方法的特点之一是在模拟过程中不改变体系的自由能面形貌，能够同时获取体系的热力学和动力学信息。Adaptive CVgen具有两个创新之处。一是引入高维反应坐标，可覆盖体系演化过程中可能出现的各种状态；二是利用强化学习整合高维反应坐标以预测体系演化的方向。在蛋白质折叠研究中，该方法展现出普适性，无需调整任何参数即可模拟包含多种二级结构的蛋白质折叠动态过程。这推动了复杂体系长时间模拟的研究进程。

Adaptive CVgen可推广至更为复杂的体系，如生物催化、基因表达与调控、药物设计与开发、化学合成、催化反应、工程材料等学科领域。这一方法有望推动复杂体系动力学研究的发展，为相关领域提供新的思路与工具。

研究工作得到国家重点研发计划、国家自然科学基金和中国科学院战略性先导科技专项的支持。

论文链接

Adaptive CVgen方法流程图

Adaptive CVgen采样得到的构象演化过程