字节跳动豆包大模型团队开源一项MoE架构优化技术

字节跳动豆包大模型团队近日开源一项名为COMET的MoE架构优化技术,可将大模型训练效率提升1.7倍。论文显示,该技术已实际应用于字节的万卡集群训练,实现数百万GPU小时训练算力的节省。

未经正式授权严禁转载本文,侵权必究。

字节跳动

5k
  • 字节启动Top Seed大模型顶尖人才计划2026届校招
  • 字节AI产品据悉调整:猫箱负责人离职,星绘并入豆包

评论

暂无评论哦,快来评价一下吧!