月之暗面 Kimi 携手清华等巨头，开源高性能大模型推理架构 Mooncake

月之暗面 Kimi 与清华大学 MADSys 实验室联合多家企业，推出了以 KVCache 为核心的 Mooncake 推理系统设计方案和开源项目。该技术采用 PD 分离和存换算架构，大幅提升推理吞吐量，已在全球开源社区上线。Mooncake 项目旨在构建大模型推理架构，降低算力开销，为人工智能领域带来新机遇，并计划逐步开源高性能缓存和传输引擎，最终形成一套标准接口和实现方案。