从MIPS到Exaflops:40年间计算能力的飞跃将重塑AI领域

从MIPS到Exaflops:40年间计算能力的飞跃将重塑AI领域

在最近的NVIDIA GTC大会上,该公司揭幕了一款据称是全球首款能够达到每秒一百亿亿次(即一Exaflop)浮点运算的单机架服务器系统。这一突破性进展基于最新的GB200 NVL72系统,融入了NVIDIA最新的Blackwell图形处理器(GPU)。标准计算机机架高约6英尺,深3英尺多,宽不到2英尺。

一、计算能力的新里程碑

这一消息令我深感震撼。首先,世界上第一台达到Exaflop计算能力的计算机仅在几年前,即2022年,于橡树岭国家实验室安装完毕。作为对比,由HPE打造、AMD GPU和CPU提供动力的“Frontier”超级计算机,最初由74个机架的服务器组成。而NVIDIA的新系统在短短三年内实现了约73倍的性能密度提升,相当于每年性能翻倍不止。这一进步彰显了计算密度、能源效率以及架构设计方面的卓越进步。

其次,虽然这两款系统都达到了Exascale的里程碑,但它们面向的挑战截然不同,一款追求速度,另一款追求精度。NVIDIA的Exaflop规格基于低精度数学运算——特别是4位和8位浮点运算——这被视为AI工作负载(包括训练和运行大型语言模型等任务)的最佳选择。这些计算以速度为优先,而非精度。相比之下,Frontier的Exaflop评级是通过64位双精度数学运算实现的,这是科学模拟中准确性至关重要的金标准。

二、计算能力的爆炸式增长

当我回想起自己职业生涯初期计算机行业的现状时,如今的进步似乎难以置信。我的第一份工作是作为DEC KL 1090的程序员。这台机器是DEC PDP-10系列分时大型机的一部分,每秒可执行180万次指令(MIPS)。除了CPU性能外,这台机器通过硬线电缆连接到阴极射线管(CRT)显示器。它没有图形功能,只有黑色背景下的浅色文字。当然,也没有互联网。远程用户通过速度最高可达每秒1200位的调制解调器通过电话线连接。

虽然将MIPS与FLOPS进行比较可以大致了解进展,但重要的是要记住,这些指标衡量的是不同的计算工作负载。MIPS反映整数处理速度,对通用计算(尤其是商业应用)很有用。而FLOPS衡量的是浮点性能,对科学工作负载以及现代AI背后繁重的数字运算至关重要,例如训练和运行机器学习模型所需的矩阵数学和线性代数。

虽然并非直接比较,但MIPS与FLOPS之间巨大差异的规模有力说明了计算性能的快速增长。如果将MIPS和FLOPS作为衡量工作量的粗略标准,新的NVIDIA系统比DEC机器大约强大5000亿倍。这种飞跃充分体现了个人职业生涯中计算能力的指数级增长,同时也引出了一个问题:如果40年内能取得如此巨大的进步,那么未来5年会带来什么?

三、NVIDIA的未来展望

NVIDIA方面已给出了一些线索。在GTC大会上,该公司分享了一份路线图,预测其基于“Vera Rubin”Ultra架构的下一代全机架系统,将在未来一两年内提供比今年推出的Blackwell Ultra机架高14倍的性能,在AI优化工作中达到14至15 Exaflops之间。

同样值得一提的是其效率。在单个机架中实现这一级别的性能意味着每单位工作所需的物理空间更少、材料更少,且可能每单位操作的能耗更低,尽管这些系统的绝对能耗仍然巨大。

四、AI行业的挑战与机遇

虽然性能提升令人印象深刻,但AI行业现在正面临一个根本问题:到底需要多少计算能力,以及成本如何?构建新型大规模AI数据中心的竞赛是由Exascale计算和日益强大的AI模型的不断增长需求所驱动的。

其中,最雄心勃勃的项目是耗资5000亿美元的“星际之门”计划,该计划设想在美国建立20个数据中心,每个占地50万平方英尺。世界各地还有一波其他超大规模项目正在进行或规划中,因为公司和各国都在争相确保拥有支持未来AI工作负载所需的基础设施。

一些分析师现在担心,我们可能正在过度建设AI数据中心的容量。这种担忧在中国DeepSeek公司推出R1推理模型后加剧,该模型所需的计算能力远低于许多同类模型。随后,微软取消了与多家数据中心提供商的租赁协议,引发猜测该公司可能正在重新评估对未来AI基础设施需求的预期。

然而,《The Register》认为这种回调可能与部分计划中的AI数据中心无法充分支持下一代AI系统所需的电力和冷却能力有关。目前,AI模型已经逼近现有基础设施所能支持的极限。据《MIT Technology Review》报道,这可能是中国许多数据中心陷入困境甚至失败的原因,因为这些数据中心是按照不符合当前需求,更不用说未来几年需求的规格建造的。

推理模型在运行时通过称为推理的过程执行大部分工作。这些模型为当今一些最先进和资源密集型的应用提供支持,包括深度研究助理和新兴的代理AI系统浪潮。

虽然DeepSeek-R1最初让业界认为未来的AI可能需要的计算能力更少,但NVIDIA首席执行官黄仁勋强烈反驳了这一观点。在接受CNBC采访时,他反驳了这种看法:“大家的结论恰恰相反。”他补充说,推理AI消耗的计算能力是非推理AI的100倍。

五、AI的未来展望

随着AI从推理模型发展到自主代理乃至更高级别,对计算的需求很可能会再次激增。未来的突破可能不仅仅局限于语言或视觉领域,还可能出现在AI代理协调、融合模拟甚至大规模数字孪生等方面,而这一切都将得益于我们刚刚见证的计算能力飞跃。

似乎恰到好处的是,OpenAI刚刚宣布获得400亿美元的新融资,这是有史以来最大的私人科技融资轮。该公司在博客文章中表示,这笔资金“使我们能够进一步推动AI研究的边界,扩展我们的计算基础设施,并为每周使用ChatGPT的5亿人提供更加强大的工具”。

六、为何资本大量涌入AI

资本为何如此大量涌入AI?原因从竞争力到国家安全各不相同。但有一个因素尤为突出,正如麦肯锡的一篇头条新闻所言:“AI每年可能为企业增加4.4万亿美元的利润。”

从根本上讲,信息系统旨在抽象复杂性,无论是通过我曾经用Fortran编写的紧急车辆路由系统、用COBOL构建的学生成绩报告工具,还是加速药物发现的现代AI系统。目标始终如一:更好地认识世界。

如今,随着强大AI的出现,我们正在跨越一个门槛。这是人类首次拥有足够的计算能力和智能来解决曾经遥不可及的问题。

《纽约时报》专栏作家凯文·鲁斯最近很好地捕捉到了这一刻:“每周,我都会遇到致力于AI的工程师和企业家,他们告诉我,巨大的变革——世界级的变革、我们从未见过的那种转型——即将到来。”而这甚至还没有算上每周涌现的新突破。

仅在过去几天里,我们就见证了OpenAI的GPT-4能够几乎完美地从文本生成图像、Google发布了可能是最先进的推理模型Gemini 2.5 Pro,以及Runway推出了一款具有镜头间角色和场景一致性的视频模型,这是VentureBeat指出的大多数AI视频生成器直到现在都难以实现的功能。

接下来会发生什么,真的很难预测。我们不知道强大的AI会带来突破还是崩溃,是帮助解决聚变能源问题还是引发新的生物风险。但随着未来五年内越来越多的FLOPS上线,有一件事似乎是确定的:创新将迅速而有力地到来。同样明显的是,随着FLOPS的扩展,我们也必须加强对责任、监管和克制的讨论。

原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/cong-mips-dao-exaflops-40-nian-jian-ji-suan-neng-li-de-fei

Like (0)
王 浩然的头像王 浩然作者
Previous 3天前
Next 2天前

相关推荐

发表回复

Please Login to Comment