迷人又危险,谁来为大模型设好“紧箍咒”?
“随着以大模型为核心的AI技术快速发展,一些新的事件不断发生,我们做人工智能AI就好像生活在一个早期的黑暗丛林里面,到处都是风险,但是我们又不看清安全的全貌,只能逐步进行探索。”9月7日开幕的2023 INCLUSION·外滩大会上,中国科学院院士何积丰抛出了对大模型时代的安全问题的思考。
大模型进入我们的视野不到一年,但关于大模式时代的安全问题已经引发了不少忧虑。一个好的技术才刚刚走入我们的生活,为何就有如此多的安全问题?AI的安全问题和我们已知的互联网生产安全问题又有什么差别?何积丰认为,以大模型为核心的AI技术是人工智能发展中的一个拐点,大模型是真正像人的智能,有自主学习能力,进化速度非常快,经过多代迭代升级以后我们最终可能会有一个在多方面超过人类智能的超级智能。
在这样一个迷人又危险的大模型发展未来图景面前,人们不得不思考一个问题:一旦“奇点”到来,人类怎么去应对这超过我们的智能,我们是不是有能力来管理这个智能?
还有一个问题是,当大模型技术深入到社会生产生活的各个方面,用户对大模型越来越依赖和信任后,一旦大模型出现了问题,它的不精确或是错误部分也可能产生极大的影响。
机器学习泰斗,美国科学院、美国工程院院士迈克尔·乔丹也以AlphaFold预测蛋白质结果产生系统性偏差后可能带来的许多问题,指出了人类需要应对人工智能系统的“不确定性”。他表示,一个小的系统性偏差可能对研究结果带来极大的影响,但机器对它的预测是非常自信的,即便这个预测完全错误。
目前,大模型的发展有哪些安全问题需要重点关注?何积丰认为,主要是隐私和“对齐”的问题。隐私问题是指大模型可能在未经同意的情况下,收集、使用和泄露个人信息。大模型的训练过程中,可能涉及大量用户的个人信息和数据,在使用过程中,大模型也非常有能力嗅出用户的各种私密信息,这些信息有没有得到应有的保护,如何既保护用户隐私又不失去为用户服务的可能,是业界需要思考的问题。
同时,何积丰也提出了发展大模型“对齐”技术的重要性。他认为人类需要使大模型系统的目标和人类价值观一致,使其符合设计者的利益和预期,不会产生意外的有害后果。“如果把人工智能看作西游记里的孙悟空,那么对齐技术就像是唐僧口中的紧箍咒,可以保证孙悟空不任意使用他的能力去闯祸。”何积丰表示,对齐技术是控制人工智能安全的核心技术。
在实现“对齐”的技术途径中,何积丰重点介绍了反馈强化学习,主要通过人工反馈给模型不同的奖励信号,引导模型的高质量输出和事先给大模型提供明确的原则,系统自动训练模型对所有生成的输出结果提供初始排序两种方式进行。
在AI的安全讨论如火如荼进行的同时,何积丰同时强调,目前的AI安全工作还是集中在发现问题,还没有一个解决全部问题的答案。
尽管期待着对齐技术能够发挥“紧箍咒”般的魔力,但一个现实的问题是,对齐的基础建立在多元且动态变化的“人类价值观”上,而人类的价值与判定系统本身便充满了偏见和盲点,有非常多互相矛盾的地方和没有明确指出的潜在条件,这导致对齐成为一项令人眼花缭乱的跨学科研究。何积丰表示:“对齐不仅仅在考验我们的技术,也在审视我们的文化。”
国家高新区谋“数字蝶变” 深刻影响未来城市争先进位
今年以来,各大国家高新区纷纷用好政策优势和技术积累,引领所在城市在数字化转型中释放新的发展动能。数字技术正在全面赋能经济社会,各地都在数字经济新赛道上探索实践,特别是有着“三新一高”引领作用的国家高新区,纷纷出台促进数字经济发展的新政策,加快“数字蝶变”。0000银行发行“二永债”近8000亿,资本压力大、赎回高峰临近是主因
今年商业银行的“二永债”发行节奏显著加快。银行发债“补血”节奏渐频。6月24日,浙江临安农村商业银行发行6亿元的二级资本债。一周前,广发银行2024年第一期200亿元永续债、杭州银行100亿元永续债也先后发行。记者据Choice数据统计,仅6月以来,就有13家公司发行二级资本债、永续债(以下合称“二永债”),规模超过1500亿元。锤子财富2024-06-27 12:23:190000下月实施!北交所证券将被纳入中证全指指数样本空间
11月17日,中证指数发布消息称,经研究评估和征求各方意见,决定将符合条件的北交所证券纳入中证全指指数样本空间,并将于2023年12月指数样本定期调整日实施。开展跨市场指数全网测试一周后,北交所证券纳入中证全指指数落定。11月17日,中证指数发布消息称,经研究评估和征求各方意见,决定将符合条件的北交所证券纳入中证全指指数样本空间,并将于2023年12月指数样本定期调整日实施。0000秦皇岛非法改装“黑游船”侧翻事故船主及相关责任人员被公安机关控制
经现场搜救和初步核查,事故造成31名游客落水,已全部找到并送医,其中12人经抢救无效死亡,10人在医院救治、无生命危险,9人已安全返家。4月13日下午,秦皇岛市卢龙县刘家营乡桃林口村青龙河水域发生一起船只侧翻事故。经现场搜救和初步核查,事故造成31名游客落水,已全部找到并送医,其中12人经抢救无效死亡,10人在医院救治、无生命危险,9人已安全返家。0000拜登、奥巴马、克林顿一起站台?民主党欲发起总统“总动员”
拜登竞选团队的助手称,让三位总统同台竞选拉票的一个重要目的,就是同时吸引大额和小额的捐款。美媒援引四名消息人士称,总统拜登的竞选团队正在计划组织一场“史无前例”的筹款活动,希望能够筹集到“利润丰厚、引人注目”的金额,同时也为迄今为止尚未对2024年大选表现出热情的民主党选民注入活力。0000