文｜Alpha说 Y

一批GPU还在正常运行，新一代产品又来了。规格表上的数字更高，设备拥有者却要面对一个具体问题：现有机器是否还适合接下来的任务，值得花多少钱换？

对我来说，集群规划需要同时看今天能交付什么，以及需求变化之后怎样调整。GPU换代之所以值得关注，是因为新设备可能扩大任务范围、降低单位任务成本，也可能让原有系统显出新的瓶颈。

新产品出现，意味着需要重新比较；是否替换，则要回到任务和整套投入。一张旧卡的价值，要看它接下来还能可靠完成什么工作。

01 任务变重，先看哪里装不下、跑不动

GPU是一类擅长并行计算的处理器，但“能计算”还不足以描述它的能力。

首先要看，任务能不能装进去。

运行大语言模型时，GPU自己的高速存储空间——显存，要容纳模型参数，还要留出计算过程中的临时数据和缓存。假设一个模型有70亿个参数，每个参数用2字节保存，仅参数本身就约占140亿字节，也就是14GB。这个数没有包含运行时的其他开销，不能直接当成所需显存的总量。

同一个模型，同时服务更多请求，或者处理更长输入，也可能需要更多显存。显存不足时，任务可能要拆到多张卡上，或在显存与其他存储之间搬运数据。这样做能否满足速度和成本要求，还要继续测试。

其次要看，数据能不能及时送到计算单元。

显存容量像工作台的大小，显存带宽则影响数据进出工作台的速度。有些任务有足够的计算能力，却把时间花在等待数据上；这时，只增加峰值算力，未必能按同样比例缩短任务时间。

多卡任务还要看设备之间的互联。模型拆到更多GPU上，通信也成为工作的一部分。单卡指标加起来很大，并不代表整套系统能把这些能力充分用起来。

因此，任务变化会改变设备的相对价值。更长的输入、更高的并发、更严格的响应时间，都可能让原先够用的配置出现瓶颈。但任务也可能通过模型压缩、算法和部署优化变轻，不能预设每一代模型都必须更大、更耗资源。

换代是否有用，取决于新设备改善的能力，是否正好对应真实瓶颈。

02 规格表上的提升，还要经过软件和实测

读新旧GPU的规格表，最容易被一个“提升几倍”的数字吸引。

但同一块芯片，用不同的数值精度计算，峰值指标就可能差很多。数值精度可以理解为保存和计算一个数时使用的表示方式。低精度能够减少存储和计算负担，实际效果还取决于模型、算法与硬件支持。

有些峰值指标还使用稀疏条件，也就是利用数据中符合要求的零值，减少实际需要执行的运算。没有满足这些条件的任务，不能直接套用相应倍数。

比较新旧产品时，数值精度、稀疏条件、单卡还是整机，都要对齐。厂商在某个模型和特定配置下测出的提升，也只能先说明那个测试条件下的表现。

软件会进一步改变结果。驱动、计算库、推理框架和具体模型，需要与硬件配合。新硬件的某种能力，可能要使用适配的软件才能发挥；旧硬件能否继续运行，也要检查所用版本的支持范围。

这并不意味着每次换卡都要重写全部程序。兼容机制可以降低迁移工作量，但升级之后，模型能否正确运行、性能是否改善，仍需要验证。

在我看来，实测更该关注同样质量要求下的交付：一个任务多久完成，多少请求能同时服务，用户等待多久，整机用了多少电。

有意义的提升，是在可比较的条件下，多交付了合格结果，或者减少了完成这些结果的资源消耗。如果输出质量、输入长度、请求数量都换了，仅比较每秒生成多少内容，很难判断换代收益。

03 换设备，要算继续使用和替换两条路

能效改善，是换代的重要理由。但新卡功率更高，不必然意味着单位任务耗电更多；新卡峰值性能更高，也不必然意味着单位任务更省电。要测的是，在同样任务和交付要求下，整套系统完成工作消耗的电量。

机房的电力和机柜空间如果已接近上限，更高的单位功率或单位空间交付能力，可能带来额外价值。但接入新设备，也可能需要更新服务器、网络、供配电或冷却设施。这些投入都要进入比较。

我会把继续使用旧系统与替换系统放在同一段未来时间里计算：新增采购、适用的软件费用、用电与冷却、维护、迁移测试，以及必要的设施改造，各需要多少投入；最终能完成多少符合要求的工作。

这份账还离不开利用率。需求不足，或者数据准备、存储读取跟不上，新设备可能有很长时间在等待。采购时能买到的能力，只有被实际任务用起来，才会形成交付。

购买成本与会计折旧也要分开理解。折旧是资产成本在会计上的分配，保修期限体现合同中的保障范围，设备的实际可用时间则受硬件状态、软件支持和任务需求等因素影响。它们不是同一个期限，不能据此给所有GPU规定统一的淘汰年份。

对已经买下的设备，历史支出也不会因为换卡而重新变成可以节省的现金。做替换决定，要比较接下来新增的成本和收益，并考虑旧设备可能的转用或处置价值。

旧设备仍可能适合较小模型、开发测试，或交付时间要求较宽松的批处理。但这些都是候选用途，需要核对显存、软件、可靠性和实际成本，不能把“旧卡”自动等同于“便宜算力”。

如果现有系统仍能稳定交付，需求规模也不大，软件优化或调整任务分配，可能比立即替换更合适；如果任务已经受制于显存、互联或服务能力，新设备带来的收益才更容易体现出来。

持续运营算力，需要持续评估升级，而不是按固定年份更换全部设备。真正需要保留的，是理解任务、验证效果，并让硬件、软件和机房配套一起调整的能力。