2025 外滩大会：蚂蚁、人大发布首个原生 MoE 扩散语言模型，将于近期开源

2025 外滩大会上，蚂蚁集团和中国人民大学联合发布业界首个原生 MoE 架构的扩散语言模型「LLaDA-MoE」。该模型在约 20T 数据上从零训练，验证了工业级大规模训练的扩展性和稳定性，效果超 LLaDA1.0/1.5 和 Dream-7B，比肩等效自回归模型且推理速度快数倍。它挑战「语言模型必须自回归」认知，在多任务上性能领先，仅激活 1.4B 参数即可实现等效 3B 稠密模型性能。蚂蚁与人大团队攻关 3 个月取得核心难题突破，在多项基准上平均提升 8.4%。模型将近期完全开源，包括模型权重、自研推理框架及针对 dLLM 并行特性优化的推理引擎，相关代码与技术报告将在社区发布。蚂蚁将持续投入基于 dLLM 的 AGI 领域，推动新突破。