Kimi数学能力赶上o1后,月之暗面杨植麟分享行业思考

OpenAI发布GPT5之前,中国大模型公司的下一步怎么走?11月16日,通用人工智能公司月之暗面创始人杨植麟分享了他的观点与思考。
现场,月之暗面旗下Kimi发布新一代数学推理模型 k0-math,是Kimi 推出的首款推理能力强化模型,也是杨植麟技术路线思考的直观体现。在他看来,行业接下来的重点是强化学习,技术范式会发生变化。
k0-math 模型采用强化学习和思维链推理技术,通过模拟人脑的思考和反思过程,提升解决数学难题的能力。在业界最常使用的数学能力基准测试 MATH 中,k0-math 初代模型成绩超过OpenAI旗下o1-mini和o1-preview模型。
需注意的是,k0-math 模型虽然可以解答大部分有难度的数学题,但当前版本暂时无法解答 LaTeX 格式(一种排版语言)难以描述的几何图形类问题。还有一些局限性需要突破,如对过于简单的数学问题,k0-math模型可能会过度思考;对高考难题和IMO(国际数学奥林匹克)题目有一定概率做错。未来模型需要更好地泛化,才能在更多学科的场景中落地使用。
泛化是指模型应用到数据上时,能够精准预测或分类。过去,行业共识于Scaling Law(规模定律)提供的理论框架能够帮助研究者理解和预测模型在不同规模下的泛化性能,但近期,关于“Scaling Law失效”的观点声起。在杨植麟看来,AI的关键词仍包括“Scaling”,这也是支撑AI技术在过去几年有所进展的重要因素。Scaling不是简单地将模型做得更大就好,而是找到有效的方法去Scale,比如更好的数据和方法。
目前行业在杨植麟看来已经发生变化,月之暗面的重点是基于强化学习去Scale,而非简单预测下一个token(文本中的最小单位)是什么,因为后者具备局限性——只基于静态数据集无法探索更难的任务,加入强化学习的预测会在思考过程中生成更多的数据。
月之暗面选择的试验场景是数学,在杨植麟看来,数学是最适合让AI锻炼思考能力的场景。因为在计算过程中,模型需要不断试错。如果算错了,可以返回验证、校对,再计算,这也是OpenAI提出o1模型核心想要表达的观点。杨植麟称,o1最初也是从数学场景开始,通过严密的自成一体,不需要与外界交互。此次发布的数学模型 k0-math 有两个层面的价值:一是在教育场景应用,二是实现公司技术迭代和验证。
在明确强化学习与AI思考能力方向之前,月之暗面也经历过战略调整。杨植麟表示,公司一开始尝试过几个产品一起做,这个方式在一定时期有效,但最终发现还是要聚焦,将一款产品做到最好是月之暗面认为最重要的事。于是在今年3月左右,公司决定聚焦Kimi。“如果现在三个业务一起做,活生生把自己变成大厂,那我就会没有任何优势。”杨植麟表示。
另外,杨植麟称,公司也会根据美国市场的情况去判断哪个业务最后可以做大。例如ChatGPT目前已有超过5亿的月活,算得上半个超级应用,Super APP的路径在很大程度上被验证。但也有像Character.ai这样的产品一开始用户量很多,后面很难破圈的情况。因此,杨植麟对第一财经记者表示,会观察美国市场与产品,但这并非唯一的判断标准,也会根据自身观察来判断上限最高的事情,并通过这种方式去控制业务与人数。
至于目前行业密集发布的多模态产品,杨植麟表示公司有几个多模态能力已在内测阶段,多模态最重要的是思考与交互,而思考的重要性远大于交互。“思考决定上限,交互是一个必要条件;多模态是必要的,但思考决定了它的上限。”杨植麟表示。
人工智能的集体躁动:大模型热过上海天气 | AI之声
去年年底ChatGPT的出现,将人工智能推到了一个新的风口上,通用人工智能在当前这个时期,已经成为了人类社会最热门的话题,没有之一。7月6日,2023世界人工智能大会在上海举办。相较于去年“元宇宙”主题,今年大模型的话题热度成功让大会规模倍增。锤子财富2023-07-07 11:37:010000晚间公告丨5月19日这些公告有看头
5月19日晚间,沪深两市多家上市公司发布公告,以下是第一财经对一些重要公告的汇总,供投资者参考。【品大事】绿色动力:拟超100亿元投建章丘低碳环保产业园绿色动力(601330)公告,公司与山东省济南市章丘区人民政府签订《济南市章丘低碳环保产业园项目投资合作框架协议》,拟投资建设章丘低碳环保产业园,总投资预计超过100亿元(含入园企业的投资)。东方日升:拟10.6亿元收购日升常州40%股权0000韩国重新将日本纳入“出口白名单”
此前,日本解除了半导体原材料对韩出口限制,韩国撤回就相关问题向世界贸易组织提起的申诉。当地时间24日,韩国产业通商资源部对外发布消息,韩国政府已于当天重新将日本纳入享受出口手续等简化待遇的“白名单”中。纳入“白名单”后,韩国企业在向日本出口时,出口许可的审查时间由15天缩短至5天,需要提交的材料也由5种减少到3种。0000中方强调任何国家不得曲解、滥用国际法和安理会决议在红海制造紧张局势
中国常驻联合国代表张军表示,中方呼吁胡塞武装停止对商船的袭击,同时强调,安理会从未授权任何国家对也门使用武力,任何国家不得曲解、滥用国际法和安理会决议,在红海水域制造新的紧张局势。当地时间2月14日,联合国安理会就也门局势举行会议,中方代表再次呼吁胡塞武装停止对商船袭击,并强调任何国家不得曲解、滥用国际法和安理会决议在红海制造紧张局势。0000巴以新一轮冲突超1600人死亡,回国航班影响几何
海南航空以色列航线后续航班计划继续执行,目前除了直飞回国,还有一些通过阿联酋,土耳其等中转回国的航班可选。锤子财富2023-10-10 15:04:240000