AI算力不止GPU!高速互联芯片市场有望翻番
AI浪潮来袭,算力需求爆发。国内AI服务器厂商和各类芯片企业无不积极拥抱这场巨大变革。
“单个GPU已经无法跑Transformer、BERT、GPT这些大模型,需要几百个甚至上千个GPU连在一起才能跑起来。”国数集联创始人兼首席执行官巍骛在接受第一财经采访时称,目前内存容量快速增长,GPU性能呈指数级增长,但I/O(输入/输出)却没有跟上,成为AI算力提升瓶颈,导致GPU等未充分利用,造成资源浪费,业界正试图解决这一问题。
中金公司也认为,除了依靠单个GPU性能升级外,还需要高速的芯片互联技术、系统互联技术作为支撑,从而提升GPU算力的可扩展性,形成强大的集群算力。
互联接口芯片市场预计增至250亿美元
随着AIGC浪潮兴起,AI服务器需求增长,服务器内部之间或与其他设备的数据传输、控制和管理等接口功能的要求也随之增加。
市场调研机构650 Group报告显示,从2022年到2027年,全球数据中心的互联接口芯片市场规模将翻番,达到250亿美元。主要的驱动力除了AI、机器学习 (ML),还包括数据分析、富媒体应用和其他高性能分布式计算,以及不断激增的边缘侧和物联网设备向云端传输数据、使用云端服务。
中金公司表示,在高性能服务器强增长的趋势下,内存接口芯片和PCIe接口芯片作为核心数据传输环节,有望加速升级迭代,量价齐升推动市场显著增长。
内存接口芯片是服务器内存模组的核心逻辑器件,其连接CPU和DRAM,集成在内存模组内,能够提升内存数据访问的速度及稳定性。美光预计到2025年,服务器DRAM需求相较2021年将实现2倍提升,而AI服务器DRAM容量将是普通服务器的8倍。
内存模组市场正在由DDR4世代向DDR5世代迭代升级。目前DDR5内存接口芯片的竞争格局与DDR4世代类似,全球由澜起科技(688008.SH)、瑞萨电子和Rambus三家供应商提供DDR5第一子代的量产产品。
其中,澜起科技2022年牵头制定DDR5第二子代、第三子代内存接口芯片及第一子代高带宽内存接口芯片MDB等产品的国际标准,并积极参与DDR5第一子代CKD和DDR5内存模组配套芯片标准制定。
PCIe是一种高速串行计算机扩展总线标准,可实现高速串行点对点双通道高带宽传输。PCIe产业链主要以IP(DPU、GPU)接口、PCIe Retimer/Redriver、PCIe Switch形态存在,以及各种PCIe Bridge(比如NVME控制器)。
PCIe Switch芯片兼具连接和交换功能,可以提供扩展能力,帮助CPU连接更多设备,实现PCIe设备互联。华安证券表示,AI服务器内日益增加的PCIe节点和复杂的网络架构需要更多PCIe Switch。市场调研机构Transparency预测,2027年PCIe Switch全球市场规模将达到92亿美元,2019-2027年复合增长率(CAGR)达15% 中金公司认为,在AI大算力需求下,PCIe Switch是数据中心低功耗、高性能解决方案核心一环。
由于技术壁垒极高,PCIe Switch芯片市场主要由博通、微芯科技和祥硕科技供应,中国大陆在该领域还是空白。不过,除了这些传统芯片厂商,AI行业巨头英伟达,硅谷新兴硬科技公司Astera Labs、Enfabrica以及中国大陆的国数集联等也都将加入这一近百亿美元的市场。据悉,Enfabrica创始团队主要来自博通、思科和谷歌,国数集联创始团队来自阿里和思科。
下一代芯片互联标准CXL或带来新的可能性
由于AI和高性能计算需求激增,为了突破传统PCIe带宽限制造成的通信瓶颈,英伟达首创NVLink NVSwitch技术,为多GPU系统提供更加快速的系统内互联解决方案。
2016年,英伟达发布了搭载NVLink的第一款产品Pascal GP100 GPU。NVLink主要用于GPU与GPU之间以及GPU与CPU之间的信息传输。借助NVSwitch,NVLink连接可在节点间扩展以创建多节点GPU集群。通过NVLink NVSwitch InfiniBand和GPU,英伟达在高端的互联市场筑牢竞争壁垒,并牢牢掌握AI产业的话语权。
随着技术迭代升级,CXL(Compute Express Link)的出现让单一巨头强大的生态控制出现了裂痕,芯片厂商、服务器厂商有机会借此进入这一市场,提供扩展性更好、性价比更有优势、功耗更低的硬件产品。
CXL标准2019年初由英特尔公司牵头,多家国际知名公司共同推出,旨在提供CPU和专用加速器、高性能存储系统之间的高效、高速、低延时接口,以满足资源共享、内存池化和高效运算调度的需求。
作为下一代芯片互联的标准,CXL主要解决服务器内部芯片间高速互联问题。与二十年前PCIe总线标准发布创立模块化和分工明确的服务器和个人电脑产业一样,CXL标准的颁布将开创连接为中心的异构集群计算时代。
“传统的PCIe相当于高速公路,在上面走的是小轿车。随着PCIe标准逐渐升级迭代,路的通道从两车道到四车道到八车道。然而GPU算力越来越高,小车相当于变成了大卡车。为了更快地运输,CXL相当于在通道上铺了国际标准的铁轨,专门跑高铁(GPU、内存和其他高速芯片)。高铁越来越多,就需要引入红绿灯机制(Switch),防止相撞。如果红绿灯算法拥有城市大脑能力,交换效率就会很高。”巍骛对第一财经解释称。
与英伟达采用NVLink专有接口解决方案不同,CXL是行业共同推出的标准。基于这一“国标铁轨”,博通、微芯科技跃跃欲试,希望复制“高速公路”时期的成功。Astera Labs、Enfabrica以及国数集联也正利用CXL协议,基于传统PCIe技术构建下一代“红绿灯”调度系统。此外,澜起科技也是CXL联盟的成员单位之一。
连平:货币政策超预期意味着什么
无论从总量还是结构等方面看,货币政策都有进一步发力的空间。进入2024年以来,我国宏观政策逆周期、跨周期调节的力度进一步增强,其中货币政策密集出台的节奏和幅度超出市场预期,尤为引人瞩目。锤子财富2024-02-27 12:43:380000百度云首次实现季度盈利,李彦宏称文心一言将接入所有业务内测
CFO称百度将继续在生成式人工智能领域进行投资。5月16日,百度(NASDAQ:BIDU,HKEX:9888)发布了截至2023年3月31日的第一季度未经审计的财务报告。第一季度,百度实现营收311亿元,同比增长10%;归属百度的净利润为58亿元,去年归属百度的净亏损为8.85亿元;不按美国会计准则(non-GAAP)百度净利润达到57亿元,同比增长48%。锤子财富2023-05-16 19:19:450002渣打丁爽:逆周期调节整体偏宽松
丁爽:中国的货币政策已经非常宽松。在政治局会议定调“加强逆周期调节和政策储备”之后,各部门陆续部署多项稳增长政策,多维度提振市场信心。结合二季度数据,当前机构的主要担忧仍集中在需求不足和低通胀,重点包括青年失业率高、房地产销售不振、地方债务风险、外需趋弱等。也是在此背景下,市场关于宏观政策的预期和讨论不断。0000智能网联汽车“车路云一体化”应用试点城市名单公布
确定了20个城市(联合体)为智能网联汽车“车路云一体化”应用试点城市。7月3日,据工信部消息,按照《工业和信息化部公安部自然资源部住房和城乡建设部交通运输部关于开展智能网联汽车“车路云一体化”应用试点工作的通知》(工信部联通装〔2023〕268号)安排,在自愿申报、组织评估基础上,确定了20个城市(联合体)为智能网联汽车“车路云一体化”应用试点城市(名单详见附件)。锤子财富2024-07-07 15:58:350000德国经济停滞的问题和挑战
德国经济一直以韧劲著称,但现在的德国经济出现了停滞状态。德国联邦统计局8月下旬公布的数据显示,德国4月到6月的国内生产总值(GDP)保持在上季度水平。8月份德国商业景气指数为85.7,低于7月份的87.4。8月份德国企业的萎靡情绪超出预期。商业景气指数连续4个月下跌,加剧了人们对德国经济可能在一年之内第二次陷入衰退的担忧。0000