摩尔线程发布vLLM MUSA移植版本，加速大语言模型推理

共计 896 个字符，预计需要花费 3 分钟才能阅读完成。

摩尔线程近日推出了大语言模型高速推理框架 vLLM 的 MUSA 移植版本，为开发者提供了基于摩尔线程全功能 GPU 进行开源项目 MUSA 移植的范例。

GitHub 地址：https://github.com/MooreThreads/vLLM_musa

这一举措进一步推动了摩尔线程围绕自主研发的统一系统架构 GPU 和 MUSA 软件平台构建完善的 MUSA 应用生态。

vLLM 概述

vLLM 是一个高效且易用的大模型推理和服务框架，支持多种创新特性，包括：

• PagedAttention 内存管理：优化内存使用，提高大模型的推理效率。
• 连续批处理请求：支持高效的批量处理，减少延迟。
• CUDA/HIP 图的快速模型执行：加速模型的执行速度。
• CUDA 核心优化：提升 CUDA 核心的性能。
• 分布式推理支持：支持多 GPU 和多节点的分布式推理。

vLLM 已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。

MUSA 移植版本

摩尔线程基于 vLLM v0.4.2 版本进行了移植适配，使其支持摩尔线程 GPU 后端 Device，并完全开源。开发者可以在此基础上进行二次开发、升级 vLLM 到社区更新版本等。

移植优势

1. 先进性与兼容性：
   • MUSA 架构：摩尔线程的 MUSA 架构具有先进的设计，支持高效的并行计算。
   • CUDA 兼容性：MUSA 软件栈对 CUDA 软件栈接口具有优良的兼容性，使得 CUDA 代码可以轻松迁移到 MUSA 平台。
2. 自动化工具：
   • MUSIFY 代码自动转换工具：用户可以快捷地将原有的 CUDA 代码迁移到 MUSA 平台，实现替代。
   • MUSA 加速库：CUDA 相关库的调用可以快速替换为相应的 MUSA 加速库，如算子库 muDNN、集合通信库 MCCL、线性代数库 muBLAS 等。
3. 开发效率：
   • 接口兼容：MUSA 软件栈对 CUDA 软件栈接口的兼容性大幅提升了应用移植的效率。
   • 实用工具：摩尔线程提供了 MUSIFY 自动代码移植工具等一系列实用工具和脚本，缩短了开发周期。

应用前景

通过这次移植，摩尔线程不仅为开发者提供了更多的选择，还推动了 MUSA 生态系统的进一步发展。vLLM MUSA 移植版本的发布，使得开发者可以充分利用摩尔线程 GPU 的强大性能，加速大语言模型的推理和部署。