记者实探:一台英伟达AI超算售价高达200万元 AIGC时代的算力瓶颈如何破解?
2016年,英伟达创始人黄仁勋将全球首款 DGX 交给了 OpenAI,加速了生成式AI革命的到来。如今,在ChatGPT这一现象级产品的带动下,全球科技公司纷纷入场开发各自的大模型,预训练和推理所需的算力需求也呈现指数级增长。
来自OpenAI的分析报告显示,2012 年至2018年的6年间,人工智能训练任务中使用的算力需求便增长了约30万倍。这一趋势下,GPU被广泛应用于加速芯片,也让全球GPU市场82%份额的英伟达成为其中的受益者。
“一台包含8张A800的DGX超算,现在市面上的价格可能要到230万元到250万元之间,价格还在持续上涨。”位于上海张江的一家数据公司内,公司负责人陈运文正在向技术负责人纪达麒询问算力设备的采购情况。
上海张江一家初创公司 内部正在商讨英伟达DGX的采购计划
自从今年3月份发布了面向垂直领域的“曹植”大语言模型,庞大的算力规模需求,让英伟达DGX的采购计划,出现在了公司每周的日程表内。
算力成本高企
国内大模型开发者期待国产解决方案
“我们的算力平台是自建的,像国内的云服务厂商,还没有这么大的算力服务。我们现在采购的是DGX的高性能的一些解决方案,单套8张GPU价格接近200万元,现在已经采购了很多套。”在陈运文看来,现在市面上英伟达A800的供应还是有保障的,就是得排队,真正难买的是存量的A100产品。
不过,无论哪种解决方案,算力成本短期内将给这些从事大模型开发的初创公司,带来极大的困扰。陈运文表示,现在公司算力设施主要依赖于进口产品,他们也很期待,国内的GPU厂商能够推出与之媲美的产品,来有效降低算力成本的投入。
而国内的GPU厂商,其实也已经看到了AIGC带来的算力机遇。国内GPU厂商燧原科技,早在两年前就落地了国内第二个千卡集群的训练项目,那时候AIGC还未引发关注。
燧原科技工作人员正在对产品进行测试
而现在AIGC火了,燧原科技看到了大模型预训练之上的市场机会。燧原科技创始人、董事、CEO赵立东告诉记者,在大模型预训练之上,还有一层Fine-tune精调层,再上面是推理应用层。
当有了基础模型以后,还可以针对场景做一些精调的训练,而这些训练需要的算力需求就小了很多,准入门槛也低了很多,会有大量的开发者涌入这个赛道。针对这样的需求变化,国内GPU厂商也在调整自身的产品路线图,使得它更加符合AIGC时代的人工智能算力需求。
上海人工智能研究院院长助力、行业赋能中心主任杨浩也表示,国内通用芯片厂商目前有数十家,可能未来有一两家脱颖而出,而更多的厂家会在FPGA、ASIC等专用芯片领域,找到新的市场机会。
新型算力研发提速
国内首条光子芯片中试线有望明年建成
传统电子芯片技术已经逼近物理极限,在AIGC时代,谁来承接人工智能计算需求的指数级增长?
以光子计算、量子计算为核心的新型算力技术,可能成为新的接棒者。
“传统的电子芯片,包括英伟达的GPU,再早的CPU,一直沿着摩尔定律向前发展,而我们现在新型架构的芯片,是沿着满足人工智能计算需求的方向发展,它的增长曲线一定是更陡峭的。” 图灵量子创始人、上海交大教授金贤敏对记者表示。
上海交大金贤敏团队将建成国内首条光子芯片中试线
自从2014年带团队从事光子芯片研发以来,从在校学术成果积累,到创办公司进行产业化应用,金贤敏团队即将迎来阶段性成果——国内首条光子芯片中试线有望在明年年中建成,预计产能可达上万片。
金贤敏非常自豪地告诉记者,如果在无锡的产线建成,他们将是全球范围内唯一一个拥有光芯片流片中试线的团队。
在AIGC时代,算力已经成为大模型开发的短期瓶颈,而要解决算力短缺的问题,将是一个系统性的工程。上海社科院信息所研究员、互联网研究中心主任惠志斌表示,现在不光要看到国外GPU厂商的一些先进的产品,更要立足长远,在光子计算、量子计算等一些颠覆性技术的领域,也要加强科技攻关。
继续按兵不动!日央行加息预期或在4月,日本政府何时再出手救日元?
日本央行可能将受到年度薪资谈判结果的鼓舞情绪,可能将为今年春季结束负利率政策铺平道路。如市场预期,全球“最后的负利率武士”日本央行今日继续“按兵不动”,将基准利率维持在-0.1%不变,将10年期国债收益率目标维持在0%附近。同时,日本央行还维持了对货币政策的前瞻指引,并称将继续实施货币宽松政策,以达到价格目标,如果需要将毫不犹豫地加大宽松力度。锤子财富2024-01-23 14:25:240000哈马斯要求以方遵守并执行此前商定的停火协议
该发言人呼吁国际社会承担起责任,向以色列方面施压,停止其针对巴勒斯坦人民的一系列侵略、屠杀和持续犯罪行为。当地时间25日,巴勒斯坦伊斯兰抵抗运动(哈马斯)发言人吉哈德·塔哈表示,哈马斯代表团要求以方遵守7月2日联合国安理会决议达成的协议,并建立相关机制以执行协议中所有符合巴勒斯坦人民利益的事务。0000北交所:鼓励上市公司积极分红,加大对异常高比例分红的约束
加大对异常高比例分红的约束。对资产负债率较高且经营活动现金流量不佳,但高比例分红的公司,要求充分披露现金分红方案合理性及对公司生产经营的影响等。0000125个国家区域医疗中心项目落地 基本覆盖医疗资源薄弱省份
国家卫生健康委表示,要围绕群众看病就医痛点、难点、堵点问题进行研究和推进医改,通过完善制度、健全机制、激发活力、增添动力,不断推动卫生健康事业高质量发展更好惠及民生。记者从2024全国深化医改经验推广会上获悉,截至目前,我国已有序推进13个类别的国家医学中心和125个国家区域医疗中心建设项目落地实施,基本覆盖医疗资源薄弱省份。0000新能源汽车产业再迎利好政策;算力租赁或进入新一轮涨价周期丨明日主题前瞻
“IPv6专网产业论坛”致力于通过推动IPv6规模部署和各行业IPv6专网建设,打通数字基础设施大动脉,为行业数智化发展夯实基础,加快建设数字中国。①IPv6专网产业论坛将于17日召开,将推动IPv6规模部署及专网建设0000