小红书、北大开源面向大规模MoE训推的负载均衡方案UltraEP

  7月20日 ,小红书发文宣布其与北大提出UltraEP ,首次把基于“精确 ”路由信息的“实时 ”负载均衡引入生产系统:在每个microbatch和每一层动态复制热点专家,让真实训推也能逼近理想性能 。据小红书方面介绍,UltraEP平均达到理想性能的94.3% ,相比业界SOTA训推框架提升1.49倍,并应用在了大规模预训练的实际生产中 。

小红书	、北大开源面向大规模MoE训推的负载均衡方案UltraEP-第1张图片

(文章来源:界面新闻)

小红书、北大开源面向大规模MoE训推的负载均衡方案UltraEP-第2张图片

文章推荐

  • 全世界肺炎最新消息(全世界肺炎最新消息今天)

      7月20日,小红书发文宣布其与北大提出UltraEP,首次把基于“精确”路由信息的“实时”负载均衡引入生产系统:在每个microbatch和每一层动态复制热点专家,让真实训推也能逼近理想性能。据小红书方面介绍,UltraEP平均达到理想性能的94.3%,相比业界SOTA训推框...

    2026年07月21日
    3
  • 日增超160例青岛疫情的未解之谜(青岛疫情再次爆发)

      7月20日,小红书发文宣布其与北大提出UltraEP,首次把基于“精确”路由信息的“实时”负载均衡引入生产系统:在每个microbatch和每一层动态复制热点专家,让真实训推也能逼近理想性能。据小红书方面介绍,UltraEP平均达到理想性能的94.3%,相比业界SOTA训推框...

    2026年07月21日
    3
  • 黑龙江本轮疫情梳理(黑龙江省本轮疫情通报)

      7月20日,小红书发文宣布其与北大提出UltraEP,首次把基于“精确”路由信息的“实时”负载均衡引入生产系统:在每个microbatch和每一层动态复制热点专家,让真实训推也能逼近理想性能。据小红书方面介绍,UltraEP平均达到理想性能的94.3%,相比业界SOTA训推框...

    2026年07月21日
    2
  • 上海封控区公交停运(上海停运公交线路)

      7月20日,小红书发文宣布其与北大提出UltraEP,首次把基于“精确”路由信息的“实时”负载均衡引入生产系统:在每个microbatch和每一层动态复制热点专家,让真实训推也能逼近理想性能。据小红书方面介绍,UltraEP平均达到理想性能的94.3%,相比业界SOTA训推框...

    2026年07月21日
    3