巨头混战ChatGPT，新纪元将启还是过度神化？

指鹿为马

xmx 发表于 2023-2-10 14:38
我觉得五年内不会有大变化

国内网站貌似访问不了openai，你有路子吗

指鹿为马

关于#chatgpt# 背后的算力和经济账

1、根据微软介绍，微软Azure为OpenAI开发了一个定制的超级计算机。这个超级计算机在全球超算排名里面可以位列前五。这个计算机是一个单一系统，具有28.5万个CPU核心，1万个GPU（据称为英伟达V100）和400 GB／s的GPU服务器网络传输带宽。

2、根据OpenAI，训练一次1746亿参数的GPT-3模型需要的算力为3640PFlops-day。换句话说，以每秒1千万亿次的速度计算，要算10几年。（目前国内很多城市建设的计算中心规模都在100P－300P，这些计算中心训练一次大概两周到一个月）

3、ChatGPT所基于的模型参数比较小，只有13亿参数，只能算一个小应用。

4、Lambda估计，训练一次GPT3模型花费的算力成本超过460万美元。

5、下一代大模型GPT-4尚未发布，据称参数上万亿。

6、据称，每次用户与ChatGPT互动，产生的算力云服务成本为0.01美元。