7月6日-11日，人工智能顶级学术会议——国际机器学习会议International Conference on Machine Learning 2026（ICML 2026）在韩国首尔COEX会展中心举行。同济大学土木工程学院建筑工程系2023级博士研究生杜美余在导师王伟教授和副导师高宇擎副教授共同指导下完成的论文《Stabilizing PPO via Latent-Space Regularization and KDE-Driven Exploration》成功获会议录用，并在现场作海报展示与学术汇报。

ICML 是机器学习领域历史最悠久、规模最大、影响最广的顶级学术会议之一，也是中国计算机学会 CCF 推荐的 A 类会议。ICML 与 NeurIPS、ICLR 并称为人工智能领域难度最大、水平最高、影响力最强的“三大会议”。

该成果是我系首篇被 ICML 录用的研究论文，标志着我系在人工智能基础方法与土木工程智能化交叉研究方向上取得了新的突破。

ICML 2026 会议现场

现场海报前合影

杜美余本科和博士阶段均就读于智能建造专业，主要从事基于强化学习的结构优化设计方法研究。在王伟教授和高宇擎副教授共同指导下，其研究围绕结构智能设计中的复杂决策优化问题展开，重点探索如何利用深度强化学习、神经网络表征学习等人工智能方法提升结构设计过程的自动化、智能化和泛化能力。本次 ICML 录用成果聚焦于强化学习基础算法稳定性问题，可为后续结构智能设计、智能建造优化决策等研究提供重要支撑。

研究围绕深度强化学习中经典算法 Proximal Policy Optimization（PPO）展开。研究过程中发现，尽管PPO被广泛应用，但其训练过程仍可能出现较强的动态敏感性。这类问题不仅来自强化学习目标本身，也与神经网络在训练过程中内部表征空间的变化密切相关。

为理解这一问题，研究首先使用 CKA 指标分析 PPO 训练过程中 actor 与 critic 中间层表征的变化。结果显示，训练早期网络表征会快速重塑；随着训练推进，actor 多数层较早进入稳定状态，但 critic 靠近 value head 的隐藏层以及 value 输出层在中后期仍存在明显变化；同时，actor 的 pre-squash 动作空间也存在较慢收敛和方向波动现象。

图1 PPO 训练过程中 actor 与 critic 表征 CKA 变化

基于上述观察，论文提出 SPPO，其在 actor 与 critic 的潜空间中加入了三个互补机制。针对 critic，引入了基于CKA的潜空间正则化，通过约束历史短序列状态在 critic 潜在空间中的相对结构，减小价值网络表征的剧烈漂移。针对 actor，建立No-Flip penalty以在 pre-squash 动作空间中抑制策略更新方向的明显反转，从而降低策略输出在相邻更新之间的方向性震荡。在探索层面使用 KDE-driven novelty shaping，在 critic latent space 中估计状态新颖性，并将其作为优势函数的补充信号，引导策略探索低密度区域，缓解仅靠随机性探索可能不足的问题。

图2 SPPO方法框架

研究在 MuJoCo-v5、DeepMind Control Suite 以及 Atari 环境上对 SPPO 进行了验证，并与 PPO 及多个 PPO 稳定化相关方法进行了比较。实验结果显示，在多数 MuJoCo 连续控制任务和不同网络容量设置下，SPPO 相比 PPO 取得了更好的训练曲线和最终性能，并在 RLiable 聚合指标上表现出稳定增益。

图3 不同网络容量下PPO与SPPO在MuJoCo-v5上的训练曲线对比

为了进一步解释性能提升来源，论文构建了 value change、CKA churn、policy L2等指标，用于量化相邻训练更新之间 critic 输出、critic 表征和 actor 动作的变化。结果显示，SPPO 能降低 critic 表征波动，并减小策略输出的幅值变化和方向变化，说明其不仅提升了最终性能，也有效改善了 actor-critic 网络的训练动态。

图4 SPPO与PPO在CKA churn、policy churn等指标的对比

研究从神经网络表征如何在强化学习过程中演化这一角度重新审视 PPO 训练不稳定问题，提出了轻量、可插拔的潜在空间稳定化方法，为深度强化学习基础算法研究提供了新的思路。未来，该方向将进一步服务于结构智能设计与智能建造中的复杂优化决策问题，推动人工智能基础方法与土木工程应用场景的深度融合。

论文作者信息

杜美余

同济大学2023级博士研究生

王 伟

工学博士，同济大学长聘教授

高宇擎

工学博士，同济大学副教授