ChatGPT最近火得一塌糊涂,也将AI人工智能推向了新的高潮,而生成式AI需要海量的数据进行推理训练,高算力的GPU加速卡自然成了抢手货。
比如ChatGPT背后的GPT模型,其训练参数在2018年约为1.2亿个,到了2020年就猛增到近1800亿个,如今恐怕至少在万亿级别。
这其中受益最多的,自然是NVIDIA,其旗舰级计算卡A100已经在为ChatGPT默默服务,有估算需要3万块才能满足ChatGPT当前的访问量。
但它往往不是单卖的,而是以DGX A100服务器整套方案的方式销售,每套八块计算卡,算力高达5PFlops(每秒5千万亿次浮点计算),相当于前几年的一套大型超级计算机,是大规模数据分析、AI加速计算的几乎不二之选。
当然,AMD也有MI100、MI200系列加速卡,今年还会推出CPU+GPU融合的全新MI300,算力也很强,但市场份额远不如NVIDIA。
另外,有数据显示,GPT-3训练一次的成本约为140万美元,对于一些更大的LLM模型,训练成本介于200万美元至1200万美元之间。