字节跳动豆包大模型团队开源一项MoE架构优化技术

界面快报 · 来源：界面新闻

字节跳动豆包大模型团队近日开源一项名为COMET的MoE架构优化技术，可将大模型训练效率提升1.7倍。论文显示，该技术已实际应用于字节的万卡集群训练，实现数百万GPU小时训练算力的节省。

未经正式授权严禁转载本文，侵权必究。

字节跳动

4.3k

AI早报 | 字节跳动回应AI Lab负责人卸任；人形机器人领域招聘需求暴增409%13小时前
字节跳动人工智能实验室负责人卸任？回应：退休返聘，管理范围没有变化1天前

评论

暂无评论哦，快来评价一下吧！