其乐融融的IT技术小站

Gartner:生成式AI将推动中国企业数据中心设计转型

4月15日消息,Gartner近期发布的2024年CIO和技术高管调研显示,超过60%的中国企业计划在未来12至24个月内部署生成式人工智能(GenAI)。由于中国企业倾向于在本地而非通过公有云部署GenAI,目前的基础设施环境无法支持GenAl项目,这将推动中国企业数据中心的设计转型。

Gartner研究总监张吟铃表示:“由于安全和数据隐私方面的担忧以及监管要求,一些企业更倾向于在本地部署GenAl解决方案或微调大语言模型(LLM)。在本地部署GenAl对于数据中心来说并不仅仅是一个简单的托管需求,而是可能改变企业数据中心的战略,因为模型训练需要大规模的GPU集群。”

Gartner定义了五种GenAl部署方法(见图1)。根据企业选择的GenAI部署方法,中国的首席信息官(CIO)及基础设施和运营(I&O)领导者需要了解GenAI部署的影响以及如何采取行动。

图1:生成式人工智能部署的五种方法


Gartner:生成式AI将推动中国企业数据中心设计转型Gartner:生成式AI将推动中国企业数据中心设计转型

中国的CIO及I&O领导者须为应对这一技术对数据中心的影响做好准备。

本地部署GenAI将迫使I&O领导者改变托管环境的设计方式

部署GenAI对数据中心的影响取决于所运行的工作负载类型,因为某些GenAI工作负载需要使用高端图形处理器(GPU)。由于中国市场上的高端GPU供应有限,I&O领导者要在本地部署GenAI就需要改变托管环境的设计方式。

I&O领导者无法独自解决供应短缺问题,必须与业务、AI工程师和职能团队合作应对这一挑战。

张吟铃表示:“为GenAl的部署准备基础设施资源的中国CIO及I&O领导者应该主动与业务及相关团队合作,预测不同工作负载对数据中心的成本和时间表的影响,从而为GenAl的部署制定数据中心宏观战略。如果训练模型需要高端GPU集群,则需要通过平衡成本、风险和机遇(如购买替代硬件或租赁GPU资源),充分了解各类托管方案。”

部署大规模GPU集群需要改造并升级数据中心基础设施和设备

从零开始构建基础模型或微调模型需要部署大规模GPU集群,这将对现有数据中心带来颠覆。因为GenAI模型的训练需要高吞吐量、低延迟和无损的基础设施。为了支持此类高性能计算集群,必须对网络、存储、电力供应和冷却系统进行升级。在某些情况下,需要对现有设施进行改造,以承载升级后的基础设施(见图2)。

图2:大规模GPU集群对数据中心的影响


Gartner:生成式AI将推动中国企业数据中心设计转型Gartner:生成式AI将推动中国企业数据中心设计转型

张吟铃表示:“中国CIO及I&O领导者需要与数据科学家和工程师合作,明确GPU集群规模和GenAI性能要求,从而确定网络和存储等方面的基础设施要求。同时,也需要分析电力需求、冷却效率、机架、空间等,确定现有数据中心环境在部署大型GPU集群方面存在的差距。平衡时间和成本,选择最适合的数据中心改造方案。”

赞 ()
分享到:更多 ()

相关推荐

内容页底部广告位3
留言与评论(共有 0 条评论)
   
验证码: