月之暗面Kimi与清华大学MADSys实验室联合多家企业，推出了以KVCache为核心的Mooncake推理系统设计方案和开源项目。该技术采用PD分离和存换算架构，大幅提升推理吞吐量，已在全球开源社区上线。Mooncake项目旨在构建大模型推理架构，降低算力开销，为人工智能领域带来新机遇，并计划逐步开源高性能缓存和传输引擎，最终形成一套标准接口和实现方案。