英伟达适配 DeepSeek-V4 AI 模型,开箱性能超 150 tokens/sec/user

前天

英伟达于 4 月 25 日发布博文,宣布 NVIDIA Blackwell 平台已适配 DeepSeek-V4-Pro 与 DeepSeek-V4-Flash 两款模型。DeepSeek-V4-Pro 拥有 1.6T 总参数量与 49B 激活参数,定位高级推理任务。DeepSeek-V4-Flash 有 284B 总参数量与 13B 激活参数,主打高速高效场景。两款模型均支持 100 万 Token 上下文窗口与最高 38.4 万 Token 输出长度,采用 MIT 开源协议。DeepSeek-V4-Pro 在 NVIDIA GB200 NVL72 上开箱即用性能超 150 tokens /sec/user,借助 vLLM 可在 Blackwell B300 上快速部署,预期性能将进一步提升。开发者可通过 NVIDIA NIM 微服务下载部署,或利用 SGLang 与 vLLM 框架进行定制化推理。

专业版功能专业版功能
登录
体验专业版特色功能,拓展更丰富、更全面的相关内容。
科技新闻,每天 3 分钟