登陆注册
13812

合成数据或破数据量瓶颈,哪些领域将率先落地

锤子财富2023-07-26 09:50:140
合成数据有望成为解决数据不足、数据采集成本过高的关键,那么合成数据是如何合成的?与“真实”数据相比有何优劣?应用场景有哪些?哪些公司在合成数据布局上更有优势?

随着人工智能技术的蓬勃发展,高质量数据的重要性愈发凸显,成为推动大模型竞争的关键要素之一。然而,数据存量的增长速度远远低于数据集规模的增长速度,据人工智能研究机构epoch的研究预测,语言数据可能在2030-2040年耗尽,其中能训练出更优性能的高质量语言数据甚至可能在2026年耗尽。

高质量数据的稀缺性导致数据采集成本水涨船高,许多公司面临着数据获取困境。因此,引领人工智能领域的企业,如微软、OpenAI、Cohere等公司,纷纷转向使用合成数据作为解决方案,以降低数据成本,推动AI技术的发展。

合成数据有望成为解决数据不足、数据采集成本过高的关键,那么合成数据是如何合成的?与“真实”数据相比有何优劣?应用场景有哪些?哪些公司在合成数据布局上更有优势?

合成数据有望助力突破数据瓶颈

在人工智能迈入2.0时代的关键转折点,数据质量和数量成为了最为紧迫的挑战。然而,现有真实数据采集的成本高昂,且存在有限性,限制了人工智能技术的进一步发展。

Forrester将合成数据、强化学习、Transformer 网络、联邦学习和因果推理视为实现人工智能2.0的五项关键技术进展。合成数据是通过计算机模拟或算法生成的带有注释的信息,可模拟实际情况,补充真实数据的不足,提高数据质量和数量,并有效降低数据采集和处理的成本。

合成数据能够解决数据匮乏、数据质量、数据隐私等问题,提供现实世界难以或无法采集的数据,提高数据多样性和提升训练速度。

根据 美国AI研究机构Cognilytica 的数据,2021 年合成数据市场规模大概在 1.1 亿美元,到2027 年将达到 11.5 亿美元。Gartner 预测,到 2024 年用于训练 Al 的数据中有 60% 将是合成数据,到2030 年 AI 模型使用的绝大部分数据将由人工智能合成。

数据合成可以分为两类,一是通过传统算法合成,需要明确的物理规律,例如图像生成,通过3D建模来渲染图像。难点在于逼真细致的建模,场景静态与动态合理与自洽,快速的建模技术与合理的建模成本。当模拟技术发展到⼀定的阶段,通过模拟获得感知数据是⼀种更好的获取数据的⽅式。因为其成本更低,质量更高,约束更少。

二是通过生成模型(AI)合成,这类数据并不是从⾃然中采集得到的,⽽是智能体⽣成的,比如⽂本数据。这类数据需要通过复杂的智能活动才能⽣成,AI可以模仿人类⽣成这类数据。利用已经学到的知识,AI通过思考可以对已有的知识进行整理,去伪存真,得到更⾼质量的数据,并通过逻辑推理,发现新的知识。由于世界上可用的开源⽂本数据已经大部分被利用了,可以预见这类AI生成的数据的比例会越来越高。

国外的主流科技公司纷纷瞄准合成数据领域加大投入与布局。微软、英伟达、亚马逊等科技巨头均推出了合成数据的工具或者应用,用于训练自主飞行器、为AI训练构建具有物理属性的合成数据技术引擎等。

AI训练数据服务商appen表示,在处理真实世界的数据时,身份隐私的重要性将继续增加。合成数据创建人工生成数据集,因此数据中自然不包含个人身份信息。合成数据还可以快速生成大量数据,因此可以在无需时间或安全限制的情况下生成边缘用例数据。在2022年预测中,预见了对合成数据的需求,并与Mindtech合作,为客户提供合成数据。

中航证券高级分析师刘牧野对第一财经表示,合成数据相关创新创业方兴未艾,合成数据创业公司不断涌现,合成数据领域的投资并购持续升温,开始涌现了合成数据即服务这一发展前景十分广阔的全新商业模式,建议关注国内进行AI算法研究,且拥有庞大数据的公司,包括百度(09888.HK)、阿里巴巴(09988.HK)、腾讯控股(00700.HK)、金山办公(688111.SH)、中国电信(601728.SH)等。

合成数据有望在金融、医疗、智能驾驶等领域率先落地

合成数据早期主要应用于计算机视觉领域,目前,合成数据正迅速向金融、医疗、零售、工业等诸多产业领域拓展应用。合成数据以其独特优势,为模型训练提供了更多样化的数据,从而使人工智能模型更可靠、更准确。这一趋势对于面临数据稀缺性或涉及敏感信息处理的行业尤为有益。

有研究人员在2018年曾发现,顶尖的面部识别软件在识别肤色较深的人时,错误率高达34%。原因就在于用于训练这些模型的数据缺少一整个人类种族的子集。在这种情况下,合成数据可以在不需采集更多真实数据的情况下,轻松获取更多样化的训练数据。通过改变同一人的发型、头部姿势等特征,或者创造具有不同肤色、种族特征、骨骼结构等的面孔,让模型得到更广泛的训练,从而提高了可靠性。

在数据敏感的金融和生物医药领域,合成数据也展现了其隐私保护的巨大潜力。在金融行业,合成数据可以为金融机构提供一种有效的方法,用于在不提供敏感的历史交易信息的前提下,训练量化交易模型,从而提升获利能力。此外,合成数据还可以用于训练客服机器人,改善客户服务体验,为金融机构提供更智能、高效的客户支持。

合成数据的应用为药物研发工作也提供了巨大帮助。通过合成数据集,可以在不泄露患者隐私信息的条件下训练相关模型,加速新药研发过程,发现潜在的治疗方法,提高医药领域的效率和准确性。

生物医药企业成都先导(688222.SH)通过海量合成数据、筛选数据与化合物活性数据,对万亿级库不断进行分子成药属性与化学合成质量的迭代与提升。截至2022年报告期末,公司的 DEL 库分子数量已超过 1.2 万亿个。

合成数据能够在短时间内生成大量数据,这对于依赖罕见事件的真实数据场景也尤为重要,例如在自动驾驶的性能测试中,极端天气下获取真实路况数据可能存在困难或危险。在所有可能的驾驶体验中,有太多的变量需要考虑,不能完全依赖于真车进行现场测试。合成数据比人工采集数据更安全、更快捷。

这些行业中,合成数据的应用都能有效解决数据隐私和数据获取的挑战,为各领域的科技发展和商业应用提供了全新的解决方案。通过合成数据的引入,这些行业能够更好地利用大数据、人工智能和机器学习等先进技术,实现更高效、更智能、更安全的发展,为数字经济时代带来更多创新与进步。

不过,appen表示,合成数据的使用速度大幅增长虽然为企业节省了时间和资金,但并非没有挑战,合成数据缺乏异常值,而这些异常值出现在自然的真实数据中,对于模型精确度至关重要。另外,合成数据的质量通常取决于用于生成的输入数据的质量,输入数据中的偏见很容易传播到合成数据中,因此不能低估使用高质量数据作为起点的重要性。所以需要将合成数据与人工标注的真实数据进行比较,作为额外的输出控制。

倍霖科技CEO杜霖也对第一财经表示,知识类合成数据会和真实数据共存、⽆法取代,但是合成数据的⽐例会逐步升⾼。真实数据承载着现实世界的新的信息,描述世界的最新状态,合成数据达标的是已有的规律和信息,是对过去的总结和推演发展,合成数据的⼤规模应⽤在于质量和成本。

0000
评论列表
共(0)条