摩尔线程开源 vLLM-MUSA,通过 MUSA 软件栈对 CUDA 接口兼容
2024 年 11 月 5 日

摩尔线程官方发布消息称,已上线大语言模型高速推理框架vLLM的MUSA移植版本,并提供基于摩尔线程全功能GPU的开源项目MUSA移植范例。vLLM是一个广泛应用于各种大语言模型的高效易用推理和服务框架,现通过MUSA软件栈对CUDA软件栈接口兼容,提升应用移植效率,缩短开发周期。开发者可基于摩尔线程GPU和vLLM-MUSA进行二次开发和升级。

专业版功能专业版功能
登录
体验专业版特色功能,拓展更丰富、更全面的相关内容。

行业标签

二维码

更多体验

前往小程序

二维码

24 小时

资讯推送

进群体验

logo
科技新闻,每天 3 分钟