李彦宏称大模型领域开源最贵,文心大模型推出一年怎么样了?
去年3月,百度发布文心一言,大约一年后,百度再召开Create百度AI开发者大会。百度创始人、董事长兼首席执行官李彦宏介绍了近一年来的进展,并宣布推出文心大模型4.0工具版。
一年前,随着ChatGPT掀起的大模型浪潮涌动,百度成为国内最早入局的一批。彼时文心一言并不完美,发布会期间,百度港股一度跌10%,美股随后才上涨。相较比拼参数和商业化能力,抢占大语言模型坐席似乎是当时更重要的事情。
大模型能力一年后则更为业界关注。百度文心大模型一年间从3.0迭代至3.5,又迭代至4.0。李彦宏在会上表示,文心大模型算法训练效率已提升至原来的5.1倍,周均训练有效率达98.8%,推理性能提升了105倍,推理成本则降到了原来的1%。“也就是说,客户原来一天调用1万次,同样成本下现在一天能调用100万次。”
文心大模型变强的同时,市场环境也在变化。2023年下半年开始,有业界人士向第一财经记者表示,“百模大战”开始收敛,不再有很多公司抢夺入场券。与此同时,一些留在场上的初创公司则逐渐显露锐气。例如,发力长文本的初创公司月之暗面今年3月曾掀起一波kimi概念股涨停潮。此外,以OpenAI、百度为代表的闭源大模型厂商还遇到大模型开源潮,开闭源之争成为新话题。李彦宏会上谈及相关话题时仍坚持他此前的看法,称“开源模型会越来越落后”。
应对市场的挑战,百度则发力大模型应用。李彦宏介绍,百度已将大模型能力应用至代码生成,并将视觉感知大模型应用到百度地图制图领域。
文心大模型怎么样了?
百度是BAT(百度、阿里、腾讯)中最早推出大模型的一家。文心一言一年前发布时,李彦宏称,文心一言在内测体验中并不完美,发布是因为有市场需求,百度各个产品线、客户都在等待这样的技术。随后,百度推动文心大模型迭代并向社会开放。去年8月,文心一言向全社会开放。10月,文心大模型4.0版本发布,李彦宏称该模型在综合水平“与GPT-4相比毫不逊色”。
李彦宏此次透露了文心大模型的最新数据,包括用户数据超2亿、API日均调用量超2亿、服务客户达8.5万、利用千帆平台开发的AI原生应用数超19万。文心大模型推理成本下降至原来的1%,是因为百度在芯片、框架、模型、应用四层架构上有全栈布局,通过端到端优化打下成本。
此次百度还发布了文心大模型4.0工具版,工具版有代码解释器,可通过自然语音交互实现对复杂数据和文件的处理与分析,并生成图表或文件。李彦宏介绍,百度在MoE(混合专家模型)、小模型、智能体三个方向都推出了工具,包括智能体开发工具AgentBuilder、AI原生应用开发工具AppBuilder、各种尺寸模型定制工具ModelBuilder,利用工具,智能体可以批量生成,开发AI原生应用可用自然语言,尺寸模型可根据开发者需求定制。百度还有三个轻量级模型Speed、Lite和Tiny。
“未来大型的AI原生应用基本都是MoE架构,指大小模型的混用,不依赖一个模型来解决所有问题。小模型推理成本低、响应速度快,在一些特定场景中,经过精调后的小模型,使用效果可以媲美大模型。通过大模型压缩蒸馏出基础模型,比从头开始训练小模型,效果好很多。”关于AI原生应用的思路,李彦宏表示。
此外,他判断,随着智能体能力提升,还会催生大量新应用,智能体机制包括理解、规划、反思和进化,可让机器像人一样思考和行动,自主完成复杂任务并在环境中学习、自我迭代。
文心大模型近期已展示了应用于人形机器人场景的能力。优必选人形机器人接入文心大模型并发布了一段演示视频, 视频中人形机器人Walker S接到语音任务后能用手叠衣服并回答关于衣服搭配的问题,还自主进行物体分拣。优必选董事会主席兼行政总裁周剑称,大模型最好的接入载体是人形机器人。但优必选管理层同时向记者指出,大模型与人形机器人的融合更多处于研发阶段。
再评论开源大模型
相比一年前文心一言刚推出时,大模型业态已发生明显改变。文心大模型是国内主要的几个大模型之一,其他主流大模型还包括阿里通义千问、腾讯混元、智谱清言、百川、kimi等。不变的是,业内仍在追赶OpenAI,变化的是,创业企业也分化出头部,与互联网巨头同台竞技,其中创业企业月之暗面的kimi发力长文本能力,已引起资本市场关注,3月曾因过多流量涌入导致kimi宕机。
闭源还是开源,大模型公司的路线也在分化。目前,OpenAI、百度走闭源路线,字节、腾讯、华为也未公布开源大模型。海外的谷歌和Meta,国内的阿里通义千问、百川智能、360、昆仑万维、智谱AI等企业则发布了不同参数的开源大模型,其中不少企业同时做开源和闭源大模型。
开源的力量越发难以忽视。去年谷歌一份内部文件便曾在网上传开,该文件提到开源大模型正在侵蚀OpenAI和谷歌的阵地,除非改变闭源的立场,否则开源替代品终将使这两家公司黯然失色。谷歌随后也在推动大模型开源,包括Gemma 2B、Gemma 7B。
原本,很多公司开源的大模型参数量都在70亿参数、130亿参数左右甚至更小,但今年3月,特斯拉CEO马斯克旗下xAI公司开源了3140亿参数大模型Grok-1,将现有开源大模型参数量提拉至千亿以上。只要自己部署算力,开源目前基本指向免费。开源大模型对闭源大模型的“狙击”,似乎更猛烈了。
作为闭源的阵营,面对使用成本可能更低的开源模型,李彦宏的答案是将闭源模型尺寸裁剪得更小,以兼顾成本和效果。
“有了强大的基础模型文心4.0,我们可以根据需要兼顾效果、响应速度、推理成本等各种考虑,裁剪出适合各种场景的更小尺寸模型,且支持精调和post pretrain(预训练)。通过降维裁剪出的模型,比直接拿开源调出来的模型,同等尺寸下效果更好,同等效果下成本明显更低。”李彦宏表示,大家以前用开源觉得便宜,其实在大模型场景下,开源是最贵的,所以开源模型会越来越落后。
此前李彦宏对于开源落后列举的理由还包括,有商业模式的闭源模型才能聚集人力和财力。不过。李彦宏关于开闭源的观点并未获得业界的一致认同,有业界人士认为,开源不仅免费灵活,还在数据安全性上有优势,目前闭源更偏向To C,面向个人消费者,开源更偏向To B,面向企业,不过,开源商业化当前确实是个问题。
此外,虽然业界有分析认为“AI原生”的创业企业基于组织灵活等优势,或许可比科技巨头走得更远,但与这些“拿着技术找应用”的初创公司不同,百度这类互联网企业客观上在推动商业化具备一定先发优势。正如一年前李彦宏所称的“各产品线、客户等待这样的技术”,目前百度不少业务正在推进大模型应用。
李彦宏称,百度每天新增代码中,已经有27%是由智能代码助手Comate自动生成的,该代码助手基于文心大模型。此外,李彦宏表示,多模态是通往AGI(通用人工智能)的必经之路,视觉大模型最大的应用场景将是自动驾驶,在这方面,百度已训练出Apollo视觉感知大模型。
李彦宏表示,百度地图率先将视觉感知大模型应用到制图领域,全球最大规模的车道级地图数据已上线全国360座城市。百度旗下的自动驾驶出行服务商萝卜快跑则在武汉部分地区实现全天候运营,计划年内在武汉部署1000台无人驾驶车辆。
票据利率跌破1%创新低,是否预示信贷投放不理想?
逻辑逐渐变化。7月银行票据转贴现利率持续走低,月末更是迅猛下行,引起市场关注。28日,半年期国股银票转贴现利率一度跌破1%,最终收于1.02%,3个月期收于0.90%,均创年内新低。31日,半年期国股银票转贴现利率略有抬升,收于1.04%,3个月期继续下挫至0.85%。“反映贷款情况不理想。”对于7月末票据利率迅速下行,光大证券金融业首席分析师王一峰对记者表示,整体还是信贷不及预期的体现。0000上海太平洋百货关闭,是百货时代的谢幕吗?|乐言商业
太平洋百货品牌的消失,既代表着百货业态的逐渐淡出市场,也代表着细分专业店、体验式购物中心甚至其他新零售业态的崛起,这就是商业,需要与时俱进。已经在上海经营了30年的太平洋百货徐汇门店即将关闭。这里曾经是一代人的回忆,在20多年前,百货是零售主要业态之一,而货品丰富的太平洋百货是个中翘楚,大部分上海人应该都光顾过太平洋百货。锤子财富2023-08-10 18:42:330000前11个月实际使用外资1.04万亿元,商务部:对外资规模的波动要多角度看待
从纵向看,我国引资规模仍处于历史高位。从横向看,近年来全球跨国投资低迷。根据商务部数据,2023年1-11月,全国新设立外商投资企业48078家,同比增长36.2%;实际使用外资金额10403.3亿元人民币,同比下降10.0%。锤子财富2023-12-28 18:31:170000养老钱又有新选择,专属商业养老保险再迎扩容
截至2023年9月末,专属商业养老保险承保保单合计63.7万件,累计保费81.6亿元。试点两年多,专属商业养老保险扩容。10月25日,国家金融监督管理总局印发《关于促进专属商业养老保险发展有关事项的通知》(下称《通知》),明确相关业务要求,进一步扩大经营专属商业养老保险业务的机构范围。0000独家|停售3日以后机票!桂林航空怎么了
对于网间传出的公司即将停航的通知,桂林航空的官方客服则表示尚未接到公司的通知,3号以后的航班是否取消目前也没有官方通知。作为全国唯一一家以地级市为主基地的航空公司,桂林航空近期可能停航的消息在网间传开。第一财经记者今日登录桂林航空的微信公众号和小程序等直销平台,订购桂林航空相关航线时发现,3日及以后的机票全部显示为“售罄”。为何停售机票锤子财富2023-11-01 21:25:190000