强化学习优化
最大似然强化学习:优化目标与计算效率提升模型训练
本文介绍了一项由多所顶尖大学联合提出的“最大似然强化学习”突破性研究。该研究指出,传统强化学习仅优化了最大似然目标的一阶近似,存在根本局限。MaxRL通过将问题重新形式化为潜变量最大似然优化,并引入以计算量为索引的目标函数族,使训练目标能随算力增加逐步逼近真实最大似然。实验证明,该方法在代码生成、数学推理等任务上,相比现有方法在训练与测试效率上均有显著提升,最高可达20倍,为不可微的采样学习问题提供了更本质的解决方案,可能重塑AI训练范式。
RewardMap:多阶段强化学习优化多模态大模型视觉推理,提升地铁路径规划精度
西湖大学ENCODE实验室联合多所高校提出RewardMap框架,通过多阶段强化学习和难度感知的细粒度奖励机制,有效解决多模态大模型在地铁图等密集视觉信息处理中的奖励稀疏问题。该技术在地铁路径规划任务中实现显著性能提升,在空间推理评估中取得13.51%的改进,为高分辨率视觉推理任务提供了可复用的强化学习范式。