腾讯混元AI Infra核心技术开源

2月4日,腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库HPC-Ops。腾讯混元称,在真实场景下,基于HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM相比DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。

未经正式授权严禁转载本文,侵权必究。

腾讯

5.3k
  • 腾讯元宝澄清:不存在“静默监控”、“默认开启AI”、“自动举报”情况
  • QQ经典农场2月6日正式回归,曾创下同时在线人数1.2亿纪录

评论

暂无评论哦,快来评价一下吧!