正在阅读:

英伟达发布最强AI芯片H200,较H100性能提升近一倍

扫一扫下载界面新闻APP

英伟达发布最强AI芯片H200,较H100性能提升近一倍

H200是英伟达H100人工智能芯片的升级版,与H100一样都是基于英伟达的Hopper架构,主要升级包括141GB的下一代HBM3e显存。

图:匡达

界面新闻记者 | 彭新

英伟达在2023年全球超算大会(SC23)上推出了一款最新的AI芯片H200,用于AI大模型的训练,相比于其前一代产品H100,H200的性能提升了约60%到90%。

H200是英伟达H100的升级版,与H100同样基于Hopper架构,主要升级包括141GB的HBM3e显存,显存带宽从H100的3.35TB/s增加到了4.8TB/s。

在大模型推理表现上,H200在700亿参数的Llama2大模型上的推理速度比H100快了一倍,而且在推理能耗上H200相比H100直接降低了一半。对于显存密集型HPC(高性能计算)应用,H200更高的显存带宽能够确保高效地访问数据,与CPU相比,获得结果的时间最多可提升110倍。

由于架构相同,H200将与H100在软件上相兼容,这意味着H200将具有H100的所有功能。英伟达宣称,H200在大模型Llama 2、GPT-3.5的输出速度上分别是H100的1.9倍和1.6倍。

英伟达加速计算总经理兼副总裁伊恩·巴克 (Ian Buck)称:“想要通过生成式AI和HPC应用创造智能,就必须使用大型、快速的GPU显存来高速、高效地处理海量数据。借助H200,业界领先的端到端AI超级计算平台的速度将会变得更快,一些世界上最重要的挑战,都可以被解决。”

过去,英伟达数据中心AI芯片通常两年更新一次芯片架构,最新芯片架构是Hopper。不过英伟达曾于上个月向投资人披露,由于市场对其AI芯片需求旺盛,公司将从每两年发布一次新架构转向每一年发布一次。 英伟达还向投资人称,其将于2024年发布基于Blackwell架构的B100芯片。

H200将于2024年第二季度出货。英伟达称,从明年开始,亚马逊云科技、谷歌云、微软Azure 和甲骨文云将成为首批部署基于H200实例的云服务提供商。

英伟达股价在周一美股交易时段上涨,且已连续第九个交易日上涨,创出2016年12月27日以来的最长连涨走势。今年以来,英伟达股价累计涨幅超过230%。

未经正式授权严禁转载本文,侵权必究。

英伟达

5.2k
  • 离成为“基因测序界的英伟达”还有多远?华大智造发布2023年财报,基因测序业务韧性增长
  • 美股三大指数集体收涨,谷歌大涨超10%创历史新高

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

英伟达发布最强AI芯片H200,较H100性能提升近一倍

H200是英伟达H100人工智能芯片的升级版,与H100一样都是基于英伟达的Hopper架构,主要升级包括141GB的下一代HBM3e显存。

图:匡达

界面新闻记者 | 彭新

英伟达在2023年全球超算大会(SC23)上推出了一款最新的AI芯片H200,用于AI大模型的训练,相比于其前一代产品H100,H200的性能提升了约60%到90%。

H200是英伟达H100的升级版,与H100同样基于Hopper架构,主要升级包括141GB的HBM3e显存,显存带宽从H100的3.35TB/s增加到了4.8TB/s。

在大模型推理表现上,H200在700亿参数的Llama2大模型上的推理速度比H100快了一倍,而且在推理能耗上H200相比H100直接降低了一半。对于显存密集型HPC(高性能计算)应用,H200更高的显存带宽能够确保高效地访问数据,与CPU相比,获得结果的时间最多可提升110倍。

由于架构相同,H200将与H100在软件上相兼容,这意味着H200将具有H100的所有功能。英伟达宣称,H200在大模型Llama 2、GPT-3.5的输出速度上分别是H100的1.9倍和1.6倍。

英伟达加速计算总经理兼副总裁伊恩·巴克 (Ian Buck)称:“想要通过生成式AI和HPC应用创造智能,就必须使用大型、快速的GPU显存来高速、高效地处理海量数据。借助H200,业界领先的端到端AI超级计算平台的速度将会变得更快,一些世界上最重要的挑战,都可以被解决。”

过去,英伟达数据中心AI芯片通常两年更新一次芯片架构,最新芯片架构是Hopper。不过英伟达曾于上个月向投资人披露,由于市场对其AI芯片需求旺盛,公司将从每两年发布一次新架构转向每一年发布一次。 英伟达还向投资人称,其将于2024年发布基于Blackwell架构的B100芯片。

H200将于2024年第二季度出货。英伟达称,从明年开始,亚马逊云科技、谷歌云、微软Azure 和甲骨文云将成为首批部署基于H200实例的云服务提供商。

英伟达股价在周一美股交易时段上涨,且已连续第九个交易日上涨,创出2016年12月27日以来的最长连涨走势。今年以来,英伟达股价累计涨幅超过230%。

未经正式授权严禁转载本文,侵权必究。