我国学者在PID控制赋能深度学习加速优化方面取得进展

图 PID控制赋能深度学习加速优化方法示意图：(a) 机器学习、控制和优化之间的联系；(b)从物理角度解释优化过程；(c) 受控重球优化器示意图；(d) 经典PID控制器示意图；(e) PIDAO加速优化器的结构，由PID机制的三个关键部分组成

　　在国家自然科学基金项目（批准号：61973270、62301486、12171431）资助下，浙江大学许超教授和蔡声泽研究员团队在比例-积分-微分（PID）控制赋能深度学习加速优化方面取得进展。研究成果以“基于比例-积分-微分控制器的深度学习加速优化（Accelerated optimization in deep learning with a proportional-integral-derivative controller）”为题，于2024年11月26日在《自然•通讯》（Nature Communications）上发表。论文链接：https://www.nature.com/articles/ s41467-024-54451-3。

　　如何理解模型训练优化的动态过程和设计高效加速优化算法是深度学习研究领域的一个重要难题。研究团队建立优化迭代过程的动力学模型，首次构造基于神经网络优化梯度信息的反馈控制律框架，实现对模型寻优过程的主动调控及稳定性和收敛性理论证明，增强深度学习训练优化的可解释性。同时，融合训练过程中的当前梯度信息（“比例”）、历史梯度信息（“积分”）和未来梯度信息（“微分”），提出基于PID反馈控制律的加速优化方法（PIDAO），实现深度神经网络的高性能优化。与国际主流训练优化器相比，PIDAO在图像识别、点云分类、神经网络求解微分方程等不同任务场景提升了30%以上的训练精度和收敛速度。

　　该研究运用PID反馈控制开辟了深度学习加速优化算法研究的新路径，从控制论新视角增强深度学习的可解释性并提升训练精度和效率，为Science for AI研究范式提供了新思路。