图形芯片（GPU）是人工智能革命的引擎，为聊天机器人和其他人工智能应用所依赖的大型语言模型（LLM）提供动力。由于这些芯片的价格在未来几年可能会大幅波动，许多企业将需要首次学习如何管理关键产品的变动成本。
一些行业已经熟悉了这一原则。采矿等能源密集型行业的公司习惯于管理能源成本波动，平衡不同的能源来源，以实现可用性和价格的正确组合。物流公司这样做是为了管理运输成本，由于苏伊士运河和巴拿马运河的中断，运输成本目前波动很大。
未来的波动：计算成本难题
计算成本波动有所不同，因为它会影响没有此类成本管理经验的行业。例如，金融服务和制药公司通常不从事能源或航运交易，但它们是有望从人工智能中受益匪浅的公司之一。他们需要快速学习。
Nvidia 是 GPU 的主要供应商，这也解释了为什么其估值今年飙升。GPU 之所以受到青睐，是因为它们可以并行处理许多计算，使其成为训练和部署 LLM 的理想选择。Nvidia 的芯片非常抢手，以至于有一家公司甚至用装甲车运送它们。
受到供需基本面的冲击，与 GPU 相关的成本可能会继续大幅波动，而且很难预测。
GPU 成本波动的驱动因素
随着企业继续快速构建 AI，需求几乎肯定会增加。投资公司瑞穗表示，随着企业争相部署新的 AI 应用程序，GPU 的总市场规模在未来五年内 可能会增长十倍，达到 4000 多亿美元。
供应取决于几个难以预测的因素。其中包括制造能力（扩大规模的成本很高）以及地缘政治因素——许多 GPU 是在台湾制造的，而台湾的持续独立性受到中国的威胁。
供应已经很紧缺，据报道，一些公司等了六个月才拿到 Nvidia 强大的 H100 芯片。随着企业越来越依赖 GPU 来支持 AI 应用程序，这些动态意味着他们需要掌握管理可变成本的方法。
GPU 成本管理策略
为了控制成本，更多公司可能会选择自己管理 GPU 服务器，而不是从云提供商那里租用。这会产生额外的开销，但可以更好地控制，并可能在长期内降低成本。公司还可以出于防御目的购买 GPU：即使他们还不知道如何使用它们，这些防御性合同也可以确保他们能够在未来需要时使用 GPU，而他们的竞争对手则无法使用。
并非所有 GPU 都一样，因此公司应通过确保适合其预期用途的正确类型的 GPU 来优化成本。最强大的 GPU 最适合训练大型基础模型的少数组织，例如 OpenAI 的 GPT 和 Meta 的 LLama。大多数公司将进行要求较低、容量较大的推理工作，这涉及针对现有模型运行数据，因此，使用更多性能较低的 GPU 将是正确的策略。
地理位置是组织可以用来管理成本的另一个杠杆。GPU 耗电量很大，其单位经济效益的很大一部分是为其供电所用的电力成本。与电力成本通常较高的美国东部地区相比，将 GPU 服务器放置在电力充足、价格低廉的地区（如挪威）可以显著降低成本。
CIO 还应仔细考虑 AI 应用的成本和质量之间的权衡，以找到最有效的平衡点。例如，他们可以使用较少的计算能力来运行对准确性要求较低的应用模型，或者运行对业务没有那么重要应用模型。
在不同的云服务提供商和不同的 AI 模型之间切换为组织提供了另一种优化成本的方法，就像当今的物流公司使用不同的运输方式和运输路线来管理成本一样。他们还可以采用针对不同用例优化 LLM 模型运行成本的技术，从而提高 GPU 的使用效率。
需求预测的挑战
整个人工智能计算领域都在快速发展，这使得组织很难准确预测自己的 GPU 需求。供应商正在构建具有更高效架构的新型 LLM，例如 Mistral 的“混合专家”设计，该设计只需要将模型的一部分用于不同的任务。与此同时，包括 Nvidia 和 TitanML 在内的芯片制造商正在研究提高推理效率的技术。
与此同时，新的应用和用例不断涌现，增加了准确预测需求的挑战。即使是当今相对简单的用例，如 RAG 聊天机器人，其构建方式也可能会发生变化，从而推高或降低 GPU 需求。预测 GPU 需求对大多数公司来说都是未知领域，很难准确预测。
立即开始规划波动的 GPU 成本
人工智能发展的浪潮没有丝毫减弱的迹象。根据美国银行全球研究和 IDC 的数据，到 2026 年，与人工智能软件、硬件、服务和销售相关的全球收入将以每年 19% 的速度增长，达到 9000 亿美元。这对 Nvidia 等芯片制造商来说是个好消息，但对许多企业来说，这将需要学习一门全新的成本管理学科。他们现在应该开始规划了。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/wei-gpu-cheng-ben-bo-dong-de-dong-dang-shi-dai-zuo-hao-zhun
