国产显卡动作神速!摩尔线程官宣成功实现对DeepSeek开源的全面支持
2025-03-03 12:02:40 小编:野牛新游网
根据快科技的消息称,日前摩尔线程宣布,随着DeepSeek开源周收官,摩尔线程在短时间内,成功实现对DeepSeek各个开源项目的全面支持,涵盖FlashMLA、DeepEP、DeepGEMM、DualPipe 以及 Fire-Flyer文件系统(3FS)。
摩尔线程表示,这一成果充分验证了MUSA架构和全功能GPU在生态兼容与快速适配方面的强大优势!
以下是摩尔线程支持DeepSeek开源周“全家桶”代码合集:
FlashMLA:
FlashMLA是一款高效的MLA(Multi-Head Latent Attention)推理内核开源仓库,旨在加速MLA机制的计算,特别适用于DeepSeek系列模型(如DeepSeek-V2、V3和R1)。
摩尔线程基于全新MUSA Compute Capability 3.1计算架构,可提供原生FP8计算能力,同时升级了高性能线性代数模板库MUTLASS,快速支持了FlashMLA。
借助MUTLASS 0.2.0,摩尔线程发布开源仓库MT-FlashMLA,能够快速对DeepSeek FlashMLA进行兼容部署。
MT-FlashMLA开源地址:
https://github.com/MooreThreads/MT-flashMLA
MUTLASS FlashAttention3地址:
https://github.com/MooreThreads/mutlass/tree/main/experimental/mp31_flash_attention_fwd
DeepEP:
DeepEP是一个用于MoE(混合专家)模型训练和推理的开源EP(expert parallelism,专家并行)通信库,主要适用于大模型训练,特别是需要EP的集群训练。
它通过优化通信信道的使用率,显著提升了训练效率。摩尔线程基于MUSA Compute Capability 3.1全功能GPU,第一时间适配了DeepEP。
MT-DeepEP开源地址:
https://github.com/MooreThreads/MT-DeepEP
DeepGEMM:
DeepGEMM是一个支持密集矩阵与混合专家(MoE)矩阵乘法的FP8 GEMM库,为V3/R1的训练与推理提供强大动力。
这个开源仓库基于高性能通用矩阵乘法(GEMM)的C++模板库进行开发,摩尔线程基于MUTLASS在全新GPU架构上优化实现了FP8矩阵乘法,支持DeepGEMM的相应功能。
MUTLASS FP8 GEMM地址:
https://github.com/MooreThreads/mutlass/tree/main/examples/02_mp31_fp8_gemm_with_collective_builder
https://github.com/MooreThreads/mutlass/tree/main/examples/03_mp31_fp8_scaling_gemm
DualPipe:
DualPipe是DeepSeek-V3提出的双向流水线并行算法,通过前向计算与后向计算阶段的计算与通信完全重叠,显著减少了“流水线气泡”(设备空闲等待)。
与传统流水线并行相比,DualPipe 采用双向数据流设计,使数据从两端相向处理,大幅提升了资源利用率与训练效率。
摩尔线程依托深度学习框架Torch-MUSA(已开源)和MUSA软件栈全方位的兼容性,实现了对DualPipe这一算法的高效支持。
MT-DualPipe可以完整接入摩尔线程 MT-Megatron框架和MT-TransformerEngine框架(即将开源),实现DeepSeek V3训练流程的完整复现。
MT-DualPipe开源地址:
https://github.com/MooreThreads/MT-DualPipe
Torch-MUSA开源地址:
https://github.com/MooreThreads/Torch_MUSA
3FS:
Fire-Flyer文件系统(3FS)是一种利用现代SSD和RDMA网络的全部带宽的并行文件系统,可以把固态硬盘的带宽性能利用到极致。
摩尔线程在一天内完成了高性能分布式文件系统3FS的搭建,并高效开发了存储插件,成功实现与夸娥智算集群的无缝集成,为AI训练、AI推理、科学计算等场景提供全栈存储加速方案。
3FS CSI Driver地址:
https://github.com/MooreThreads/csi-driver-3fs
- 猜你喜欢
-
原始征途九游版375.35M野牛下载
-
宝可梦TCG Live最新版98.55M野牛下载
-
列王的纷争小米版300.79M野牛下载
-
沼泽激战2最新版(Swamp Attack 2)166.72M野牛下载
-
斗罗大陆H5无限充值破解版139.13M野牛下载
-
三国志战略版海外版1.86G野牛下载
-
SuperStar STAYC官方版325.2M野牛下载
-
斗罗大陆武魂觉醒海神服856.11M野牛下载
-
远征手游华为版372.26M野牛下载
- 相关手机游戏
-
暖雪手游vivo版1.38G野牛下载
-
格兰骑士团台服213.87M野牛下载
-
4399三国杀移动版1.47G野牛下载
-
迷迷多人大乱斗官方版306.81M野牛下载
-
道友请留步小米版171.76M野牛下载
-
银河之战汉化版154.55M野牛下载
-
传奇召唤师vivo客户端395.5M野牛下载
-
星球大战猎人手游2.64G野牛下载
-
指趣游戏盒2024最新版18.29M野牛下载
- 推荐野牛资讯
- 最新手机精选
-
蛋仔派对oppo版2025-02-23野牛下载 | 1.97G
-
Pikafish皮卡鱼开源象棋引擎2025-02-28野牛下载 | 107.6M
-
战争雷霆官方正版2025-02-28野牛下载 | 102.83M
-
部落冲突(Null's Clash)最新版本2025-02-25野牛下载 | 310.76M
-
英魂之刃百度版2025-02-23野牛下载 | 957.85M
-
漫威未来之战国际服(Future Fight)2025-02-28野牛下载 | 102.46M