字节跳动豆包大模型团队近日开源一项名为COMET的MoE架构优化技术,可将大模型训练效率提升1.7倍。论文显示,该技术已实际应用于字节的万卡集群训练,实现数百万GPU小时训练算力的节省。
字节跳动豆包大模型团队开源一项MoE架构优化技术
来源:界面新闻
字节跳动
5k
- 字节启动Top Seed大模型顶尖人才计划2026届校招
- 字节AI产品据悉调整:猫箱负责人离职,星绘并入豆包
来源:界面新闻
字节跳动豆包大模型团队近日开源一项名为COMET的MoE架构优化技术,可将大模型训练效率提升1.7倍。论文显示,该技术已实际应用于字节的万卡集群训练,实现数百万GPU小时训练算力的节省。
评论