正在阅读:

摩尔定律不管用了!AI算力3个月翻一倍 6年增长30万倍

扫一扫下载界面新闻APP

摩尔定律不管用了!AI算力3个月翻一倍 6年增长30万倍

自2012年以来,AI算力增长了超过 300,000 倍(而如果是以摩尔定律的速度,只应有12倍的增长)。

智东西(公众号:zhidxcom)5月17日消息,昨天,OpenAI发布了一份名为《AI与计算》的分析报告,自2012年以来,AI训练任务所运用的算力每3.43个月就会翻倍,这一数字大大超越了芯片产业长期存在的摩尔定律(每18-24个月芯片的性能会翻一倍)。自2012年以来,AI算力增长了超过 300,000 倍(而如果是以摩尔定律的速度,只应有12倍的增长)。

硬件算力的提升一直是AI快速发展的重要因素。因此,OpenAI表示,如果我们希望目前的发展趋势持续下去,我们就需要为研发远超当前算力的全新系统做好准备。

OpenAI是2015年成立的AI非营利组织,由以埃隆·马斯克为首的诸多硅谷大亨联合建立,致力于推动AI发挥积极作用、避免AI带来的问题。

以下是OpenAI此次分析报告中的一些重点。

为何要从算力角度来看AI的发展?

推动AI发展的动力有三个:算法、数据、算力。算法是否有创新发展难以量化跟踪,而数据的巨大体量也难以计算,但算力是可以量化的,这为我们探究AI的发展进程提供了机会。

OpenAI认为,虽然使用大量的算力暴露出了当前AI算法不够高效的问题,但是,重要的技术突破依然必须在足够的算力基础上才能实现。所以,从算力的角度来审视AI的发展是合理的。

在算力的分析中,OpenAI认为起决定作用的数字并不是单个CPU的速度,也不是数据中心的最大容量,而是用于训练单个模型所需的算力——这一数值最有可能代表当前最佳算法的强大程度。

以模型计的算力需求与总算力有很大不同,因为并行计算的限制(硬件和算法上)使得模型不可能太大,训练的效率也不会太高。

OpenAI发现,目前,算力发展的趋势是每年大约增加10倍。这种增长的实现,部分是因为有更为专业的硬件(如GPU和TPU)使得芯片每秒能够执行更多操作,但主要还是因为有研究人员们不断寻找更好的并行计算方法,并花费大量资金才实现的。

OpenAI是如何计量算力的?

AI深度学习模型需要耗费大量时间和算力,若有足够的信息,就可以估计出已知训练结果的总算力需求。

这份分析报告中,OpenAI使用petaflop/s-day(pfs-day)作为算力的计量单位。一个单位的petaflop/s-day(pfs-day)代表在一天时间内每秒执行10^15 次,总计约为10^20次神经网络操作(operations)。这种计量方法类似于电能的千瓦时。

OpenAI不测量硬件FLOPS数的理论峰值,而是尝试估计执行的实际操作数量。OpenAI将任何加法或乘法计为单个操作,而不考虑数值精度,同时忽略集成模型。

通过OpenAI的计算,目前每次算力翻倍的时间为3.43个月。

算力发展的时期特征

OpenAI在分析报告中给出了两张图表,展示了最为人熟知的几个AI机器学习模型以petaflop/s-days计的计算总量,即其所需的算力。

▲几个最为人熟知的AI机器学习模型以petaflop/s-days计的计算总量,即其所需的算力

从图表中我们可以发现AI算力发展分为4个时期。

2012年之前:使用GPU进行机器学习还不常见,因此,在这个时期,图中显示的最小算力都难以达到。

2012年-2014年:使用很多个GPU进行模型训练的基础架构还不常见,这个时期多使用1-8个速度为1-2TFLOPS的GPU进行训练,可达到0.001-0.1 pfs-days的算力水平。

2014年-2016年:普遍使用10-100个速度为5-10 TFLOPS的GPU进行大规模的模型训练,可达到0.001-0.1 pfs-days的算力水平。这个时期的数据说明,减少数据并行化的返回值带来的收益会递减,这意味着更大规模的模型训练带来的价值是有限的。

2016年-2017年:出现可以实现更大规模算法并行化的方法(如较大的批量规模、架构搜索和专家迭代)以及使用专用硬件(如TPU和更快速的网络连接),极大地突破了算力的限制,尤其是对某些模型来说。

AlphaGo Zero和AlphaZero是大家熟悉的大型算法并行化例子,而很多其他同等规模的应用现在在算法层面上也是可行的,而且也可能已经投入了应用。

算力会继续快速发展,我们该未雨绸缪

OpenAI认为,人类的算力需求每3.43个月就会翻倍,每年大约增加10倍,这样的发展趋势将会继续。

很多创业公司都在开发AI专用的芯片,一些企业声称他们将在接下来一两年大幅提高芯片的算力。这样一来,人们就可以仅仅通过重新配置硬件,以更少的经济成本得到强大的算力。而在并行性方面,很多近期出现的新算法在原则上也可以结合,例如,架构搜索和大规模并行SGD。

另一方面,并行化算法的发展会被经济成本限制,而芯片效率的发展将会被物理上的局限所限制。OpenAI认为,虽然如今最大规模的AI模型训练使用的硬件,仅单个硬件就要花费百万美元的采购成本(尽管摊销下来,成本已经低了很多)。但今天的神经网络计算的主体部分仍然在于推理阶段,而不是模型训练阶段,这意味着企业可以重新改装或采购更多的芯片用于模型训练。

因此,如果有足够的经济基础,我们甚至可以看到更多的大规模并行训练,从而使这一趋势持续数年。全世界的总体硬件预算是每年1万亿美元,可以看到,经济成本对并行化算法的发展限制仍然远未达到。

OpenAI认为,对于这种趋势将持续多久,以及持续下去会发生什么,用过去的趋势来预测是不足够的。

但是,即使算力增长的潜力目前处于我们可以掌控的范围,也必须从今天就为研发远超当前算力的全新系统做好准备,并开始警觉AI的安全问题和恶意使用问题。

这种远见对于负责任的政策制定和负责任的技术发展都至关重要,我们必须走在这些趋势前面,而不是对这些趋势置之不理。

本文是智东西(zhidxcom)原创稿件,转载联系微信:zhidx_com,未经许可,谢绝转载。

本文为转载内容,授权事宜请联系原著作权人。

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

摩尔定律不管用了!AI算力3个月翻一倍 6年增长30万倍

自2012年以来,AI算力增长了超过 300,000 倍(而如果是以摩尔定律的速度,只应有12倍的增长)。

智东西(公众号:zhidxcom)5月17日消息,昨天,OpenAI发布了一份名为《AI与计算》的分析报告,自2012年以来,AI训练任务所运用的算力每3.43个月就会翻倍,这一数字大大超越了芯片产业长期存在的摩尔定律(每18-24个月芯片的性能会翻一倍)。自2012年以来,AI算力增长了超过 300,000 倍(而如果是以摩尔定律的速度,只应有12倍的增长)。

硬件算力的提升一直是AI快速发展的重要因素。因此,OpenAI表示,如果我们希望目前的发展趋势持续下去,我们就需要为研发远超当前算力的全新系统做好准备。

OpenAI是2015年成立的AI非营利组织,由以埃隆·马斯克为首的诸多硅谷大亨联合建立,致力于推动AI发挥积极作用、避免AI带来的问题。

以下是OpenAI此次分析报告中的一些重点。

为何要从算力角度来看AI的发展?

推动AI发展的动力有三个:算法、数据、算力。算法是否有创新发展难以量化跟踪,而数据的巨大体量也难以计算,但算力是可以量化的,这为我们探究AI的发展进程提供了机会。

OpenAI认为,虽然使用大量的算力暴露出了当前AI算法不够高效的问题,但是,重要的技术突破依然必须在足够的算力基础上才能实现。所以,从算力的角度来审视AI的发展是合理的。

在算力的分析中,OpenAI认为起决定作用的数字并不是单个CPU的速度,也不是数据中心的最大容量,而是用于训练单个模型所需的算力——这一数值最有可能代表当前最佳算法的强大程度。

以模型计的算力需求与总算力有很大不同,因为并行计算的限制(硬件和算法上)使得模型不可能太大,训练的效率也不会太高。

OpenAI发现,目前,算力发展的趋势是每年大约增加10倍。这种增长的实现,部分是因为有更为专业的硬件(如GPU和TPU)使得芯片每秒能够执行更多操作,但主要还是因为有研究人员们不断寻找更好的并行计算方法,并花费大量资金才实现的。

OpenAI是如何计量算力的?

AI深度学习模型需要耗费大量时间和算力,若有足够的信息,就可以估计出已知训练结果的总算力需求。

这份分析报告中,OpenAI使用petaflop/s-day(pfs-day)作为算力的计量单位。一个单位的petaflop/s-day(pfs-day)代表在一天时间内每秒执行10^15 次,总计约为10^20次神经网络操作(operations)。这种计量方法类似于电能的千瓦时。

OpenAI不测量硬件FLOPS数的理论峰值,而是尝试估计执行的实际操作数量。OpenAI将任何加法或乘法计为单个操作,而不考虑数值精度,同时忽略集成模型。

通过OpenAI的计算,目前每次算力翻倍的时间为3.43个月。

算力发展的时期特征

OpenAI在分析报告中给出了两张图表,展示了最为人熟知的几个AI机器学习模型以petaflop/s-days计的计算总量,即其所需的算力。

▲几个最为人熟知的AI机器学习模型以petaflop/s-days计的计算总量,即其所需的算力

从图表中我们可以发现AI算力发展分为4个时期。

2012年之前:使用GPU进行机器学习还不常见,因此,在这个时期,图中显示的最小算力都难以达到。

2012年-2014年:使用很多个GPU进行模型训练的基础架构还不常见,这个时期多使用1-8个速度为1-2TFLOPS的GPU进行训练,可达到0.001-0.1 pfs-days的算力水平。

2014年-2016年:普遍使用10-100个速度为5-10 TFLOPS的GPU进行大规模的模型训练,可达到0.001-0.1 pfs-days的算力水平。这个时期的数据说明,减少数据并行化的返回值带来的收益会递减,这意味着更大规模的模型训练带来的价值是有限的。

2016年-2017年:出现可以实现更大规模算法并行化的方法(如较大的批量规模、架构搜索和专家迭代)以及使用专用硬件(如TPU和更快速的网络连接),极大地突破了算力的限制,尤其是对某些模型来说。

AlphaGo Zero和AlphaZero是大家熟悉的大型算法并行化例子,而很多其他同等规模的应用现在在算法层面上也是可行的,而且也可能已经投入了应用。

算力会继续快速发展,我们该未雨绸缪

OpenAI认为,人类的算力需求每3.43个月就会翻倍,每年大约增加10倍,这样的发展趋势将会继续。

很多创业公司都在开发AI专用的芯片,一些企业声称他们将在接下来一两年大幅提高芯片的算力。这样一来,人们就可以仅仅通过重新配置硬件,以更少的经济成本得到强大的算力。而在并行性方面,很多近期出现的新算法在原则上也可以结合,例如,架构搜索和大规模并行SGD。

另一方面,并行化算法的发展会被经济成本限制,而芯片效率的发展将会被物理上的局限所限制。OpenAI认为,虽然如今最大规模的AI模型训练使用的硬件,仅单个硬件就要花费百万美元的采购成本(尽管摊销下来,成本已经低了很多)。但今天的神经网络计算的主体部分仍然在于推理阶段,而不是模型训练阶段,这意味着企业可以重新改装或采购更多的芯片用于模型训练。

因此,如果有足够的经济基础,我们甚至可以看到更多的大规模并行训练,从而使这一趋势持续数年。全世界的总体硬件预算是每年1万亿美元,可以看到,经济成本对并行化算法的发展限制仍然远未达到。

OpenAI认为,对于这种趋势将持续多久,以及持续下去会发生什么,用过去的趋势来预测是不足够的。

但是,即使算力增长的潜力目前处于我们可以掌控的范围,也必须从今天就为研发远超当前算力的全新系统做好准备,并开始警觉AI的安全问题和恶意使用问题。

这种远见对于负责任的政策制定和负责任的技术发展都至关重要,我们必须走在这些趋势前面,而不是对这些趋势置之不理。

本文是智东西(zhidxcom)原创稿件,转载联系微信:zhidx_com,未经许可,谢绝转载。

本文为转载内容,授权事宜请联系原著作权人。