摩尔线程官方发布消息称,已上线大语言模型高速推理框架vLLM的MUSA移植版本,并提供基于摩尔线程全功能GPU的开源项目MUSA移植范例。vLLM是一个广泛应用于各种大语言模型的高效易用推理和服务框架,现通过MUSA软件栈对CUDA软件栈接口兼容,提升应用移植效率,缩短开发周期。开发者可基于摩尔线程GPU和vLLM-MUSA进行二次开发和升级。
行业标签
更多体验
前往小程序
24 小时
资讯推送
进群体验