字节跳动推出VAPO强化学习训练框架，旨在提升大型语言模型在复杂长任务中的推理能力。VAPO基于PPO框架，融入价值训练、长度自适应广义优势估计及协同增效系统等创新技术。优化后的Qwen2.5-32B模型在AIME24测试中得分从5分提升至60.4分，超越DeepSeek R1和DAPO方法。VAPO在数学推理和长序列任务中表现突出，训练更稳定且高效，多项技术共同作用确保了其优越性能。