DeepSeek第二炸!开源首个用于MoE模型训练通信库
2025-02-28 11:22:57 小编:野牛新游网
DeepSeek 的“开源周”活动今日已经来到第二天,今天发布的是首个开源的用于 MoE 模型训练和推理的 EP 通信库 ——DeepEP。
官方表示其具备如下特征:
高效优化的全到全通信方式
支持节点内外通信,兼容 NVLink 和 RDMA 技术
提供高吞吐量的内核,提升训练和推理前期填充效率
提供低延迟内核,优化推理解码速度
完全支持 FP8 数据格式调度
提供灵活的 GPU 资源管理,支持计算与通信的重叠执行
据介绍,DeepEP 是一款专为混合专家(MoE)和专家并行(EP)设计的通信库,提供了高吞吐量和低延迟的 all-to-all GPU 内核,常用于 MoE 派发和合并操作。该库还支持低精度计算,包括 FP8。
为了与 DeepSeek-V3 论文中提出的组限制门控算法兼容,DeepEP 提供了一些针对不对称带宽转发优化的内核,比如将数据从 NVLink 域转发到 RDMA 域。这些优化的内核能够提供高吞吐量,适合用于训练和推理的预填充任务,同时支持 SM(流式多处理器)数量控制。
对于延迟敏感型的推理解码任务,DeepEP 提供了一套低延迟内核,采用纯 RDMA 技术以最大程度减少延迟。此外,该库还采用了一种基于 Hook 的通信与计算重叠方法,不会占用任何 SM 资源。
- 猜你喜欢
-
原始征途九游版375.35M野牛下载
-
宝可梦TCG Live最新版98.55M野牛下载
-
列王的纷争小米版300.79M野牛下载
-
沼泽激战2最新版(Swamp Attack 2)166.72M野牛下载
-
斗罗大陆H5无限充值破解版139.13M野牛下载
-
三国志战略版海外版1.86G野牛下载
-
SuperStar STAYC官方版325.2M野牛下载
-
斗罗大陆武魂觉醒海神服856.11M野牛下载
-
远征手游华为版372.26M野牛下载
- 相关手机游戏
-
暖雪手游vivo版1.38G野牛下载
-
格兰骑士团台服213.87M野牛下载
-
4399三国杀移动版1.47G野牛下载
-
迷迷多人大乱斗官方版306.81M野牛下载
-
道友请留步小米版171.76M野牛下载
-
银河之战汉化版154.55M野牛下载
-
传奇召唤师vivo客户端395.5M野牛下载
-
星球大战猎人手游2.64G野牛下载
-
指趣游戏盒2024最新版18.29M野牛下载
- 推荐野牛资讯
- 最新手机精选
-
蛋仔派对oppo版2025-02-23野牛下载 | 1.97G
-
Pikafish皮卡鱼开源象棋引擎2025-02-28野牛下载 | 107.6M
-
战争雷霆官方正版2025-02-28野牛下载 | 102.83M
-
部落冲突(Null's Clash)最新版本2025-02-25野牛下载 | 310.76M
-
英魂之刃百度版2025-02-23野牛下载 | 957.85M
-
漫威未来之战国际服(Future Fight)2025-02-28野牛下载 | 102.46M