摩尔线程开源 vLLM-MUSA,通过 MUSA 软件栈对 CUDA 接口兼容
2024 年 11 月 5 日

摩尔线程官方发布消息称,已上线大语言模型高速推理框架 vLLM 的 MUSA 移植版本,并提供基于摩尔线程全功能 GPU 的开源项目 MUSA 移植范例。vLLM 是一个广泛应用于各种大语言模型的高效易用推理和服务框架,现通过 MUSA 软件栈对 CUDA 软件栈接口兼容,提升应用移植效率,缩短开发周期。开发者可基于摩尔线程 GPU 和 vLLM-MUSA 进行二次开发和升级。

专业版功能专业版功能
登录
体验专业版特色功能,拓展更丰富、更全面的相关内容。

行业标签

二维码

更多体验

前往小程序

二维码

24 小时

资讯推送

进群体验

logo
科技新闻,每天 3 分钟