未来的计算机芯片或许能帮助降低生成式人工智能(AI)惊人的能源需求,但芯片制造商表示,他们首先需要AI做出一些改变:放慢飞速发展的步伐。
到目前为止,图形处理单元(GPU)在训练和运行大AI模型方面一直占据主导地位。这些芯片最初是用来处理游戏图形的,其独特之处在于可将较高的性能与灵活性和可编程性集于一身,从而能够紧跟当今AI模型日新月异的脚步。
英伟达(Nvidia)在GPU市场占据主导地位,其估值已达到1万亿美元。但包括Advanced Micro Devices(AMD)在内的其他公司也在生产这种芯片,但AMD首席执行官苏姿丰(Lisa Su)表示,随着行业将精力集中于更加标准化的模型设计,将有机会构建更多在可编程性和灵活性方面要求不那么高的定制芯片。这种芯片将更加节能、体积更小、成本更低。
“目前,GPU是大语言模型的首选架构,因为GPU在并行处理方面非常高效,但在可编程性方面有所欠缺,”苏姿丰说。“五年多后它还会是首选架构吗?我认为情况会发生变化。”
苏姿丰预计,五年或七年时间内GPU还不会失势,但会出现GPU以外的新势力。
英伟达和AMD尚未透露具体计划。
一些定制芯片已经被用于处理AI的多方面工作。亚马逊(Amazon)和谷歌等大型云计算提供商已经开发了自己的定制AI芯片供内部使用,例如亚马逊的AWS Trainium和AWS Inferentia,以及谷歌的张量处理单元(TPU)。这些芯片只用于执行特定功能:例如,Trainium只能训练模型,而Inferentia只能进行推理。推理比训练的强度低,在训练过程中,模型要处理新信息并做出响应。
博通(Broadcom)首席执行官陈福阳(Hock Tan)今年在一次内部讲话中表示,该公司定制芯片部门的季度营业利润超过10亿美元。该部门主要帮助谷歌制造AI芯片。
市场情报公司国际数据公司(International Data Corp., 简称IDC)计算半导体研究副总裁Shane Rau表示,定制芯片在节能和成本方面具有很大优势。体积也小得多,因为它们可以在一定程度上进行硬连接:它们可以执行一项特定功能,运行一种特定类型的模型,甚至可以运行某一个特定模型。
但Rau表示,商业化销售这些超级定制化专用芯片的市场仍不成熟,这是AI模型创新令人应接不暇的一个表现。
研究公司Gartner的副总裁分析师Chirag Dekate表示,高度定制的芯片还存在灵活性和互操作性不足的问题。这种芯片非常难以编程,通常需要定制软件堆栈,而且很难让它们与其他类型的芯片协同工作。
但如今许多芯片产品都呈现出某种中间状态,一些GPU可以进行更多定制,一些专用芯片有一定程度的可编程性。这为芯片制造商带来机会,甚至是在生成式AI更加标准化之前。这也可能是个难题。
“这是我们一直在努力解决的一个大问题,”Etched联合创始人兼首席执行官Gavin Uberti说。这家初创公司生产的芯片只在Transformer架构上进行推理,该架构由谷歌在2017年开发,此后成为大语言模型的标准。尽管在一定程度上可以定制,但芯片还必须拥有足够灵活性,以适应依模型而不同的较小作业。
此前,微软也在Ignite技术大会上发布了首款自家研发的AI芯片Azure Maia 100,以及应用于云端软件服务的芯片Azure Cobalt。两款芯片将由台积电代工,采用5nm制程技术。Arm 近日宣布推出 Ethos-U85 NPU。OpenAI也正在探索自研AI芯片,同时开始评估潜在收购目标。AWS自研AI芯片阵容包括推理芯片Inferentia和训练芯片Trainium。
“目前,这些模型已经足够稳定,我认为押注Transformer说得通,但我认为押注Llama 3.1 405B目前还不行,”Uberti说,他指的是Meta Platforms的AI模型。“Transformer还会在,但它们会变得更大、不断进化。”他补充说,“你必须小心,不要太定制化。”
AMD首席执行官苏姿丰表示,计算方面也没有万能的解决方案。未来的AI模型将使用不同类型芯片的组合,包括当今占主导地位的GPU以及仍有待开发的更专门化的芯片,以实现各种功能。
“还会有其他架构,”她说。“只是这将取决于模型的发展。”
相关教程
2024-09-30
2024-05-22
2024-08-19
2024-09-05
2024-03-01
2024-11-14
2024-08-15
2024-11-17
2024-11-17
2024-11-17
2024-11-16
2024-11-15
2024-11-15
copyright © 2012-2024 W7系统下载之家 m.w7xitong.com 版权声明