2022年9月初,中国国际服务贸易交易会(简称“服贸会”)上,AI数据服务领域头部企业云测数据首次发布了面向AI工程化的新一代数据解决方案,成为AI数据服务市场步入成熟期的标志。
这是云测数据第三次参加服贸会,有趣的是,我们可以通过市场引领者云测数据三年来在会上发布的成果进阶,以小窥大,探寻AI数据服务市场的发展脉络,进而解锁市场新趋势。
三年三变化,引领AI数据服务市场新变革
云测数据参加服贸会的三次重大成果发布,可以说是云测数据不断深入市场动态趋势,积累技术经验后对外提交的三次行动“答卷”。庄子《齐物论》中有“论而不议,议而不辩”一说,代表不同阶段做该做的事,将它放到AI数据服务市场也许同样适用。
起初,AI数据服务经历了从小作坊到规模化生产,从实验室到实际场景的变革,由于企业需要更多的高质量数据作为“底层”燃料进行训练和部署机器学习模型,高质量数据在一定程度上甚至决定了项目的成败。云测数据在早期就已关注到AI数据服务的需求缺口和潜在的应用市场,立足高质量、场景化的AI训练数据服务,对AI数据的质量、效率、场景化方面提出高要求,致力于推动数据标椎质量的进一步发展。
2020年的服贸会上,云测数据首次对外宣布其AI数据项目交付精准度最高达到99.99%,是当时数据标注领域可达到的最高服务标准。与此同时,云测数据还发布了智慧城市、智能家居、智能驾驶、智慧金融等不同行业的AI训练数据服务方案。
接下来,当企业获取了高质量数据,如何管理数据资产,针对其特定场景更好地发掘数据价值成为AI产业化的难题。比如在训练过程中,规模化的数据资产往往出现无法充分利用、管理方式不完备等问题。
于是云测数据从助力企业进行数据管理,提升数据训练的匹配度角度出发,专注AI训练数据全生命周期进程,形成了一套完整的数据服务实践方法论,并在2021年的服贸会上正式发布了“AI数据集管理系统”,支持数据的上传、管理、存储、分享还有数据类型标签化管理,标注结果存储和可视化呈现,帮助企业可持续管理、挖掘AI数据价值,助力企业快速开展模型训练,完成对应的数据流转闭环。
2022年,从AI工程化数据处理三大趋势看新一代数据解决方案
数据集管理既成体系,随着AI技术与产业的深度融合,需要进一步关注产品的迭代进程,加速AI产业化。行业的AI产品迭代过程通常是算法研发流程,然后嵌入到软件工程里完成对应的联调测试、灰度发布再发布到实际生产环境中去使用,通过在生产环境中持续回流的线上数据和用户反馈进行产品迭代,与此同时再用相应数据进行算法模型的持续调优。
其中数据处理伴随研发迭代,并基于对数据需求不同分为三个阶段——算法预研期,针对何种具体场景解决方案进行相关算法探索,这一阶段下需要开源数据集和商业成品数据集帮助企业快速完成产品验证。
第二阶段是在算法研发期,企业明确了处理的场景和对传感器算力的需求,需要基于定制化场景和对应传感器进行相关数据采集、清洗和标注服务。
第三阶段则是算法持续优化期。企业拥有了相对完整的数据模型,这时需要的数据偏向支持持续集成和迭代算法的数据即MLOps(人工智能研发运营一体化)所需要的数据,引入类似软件DevOps的概念。
而第三阶段的数据需求变化意味着传统软件工程的瀑布式开发逐渐转化为数据的持续流转,通过体系、流程推动算法与应用的有效开发和迭代,实现AI的敏捷开发,即实现AI工程化。
贾宇航还指出了AI工程化数据处理的三大特征——API协同中台化,支持与不同企业数字底座无缝对接;专业的人工处理流程,随着AI融入更多行业应用,其处理内容也变得越来越复杂,需要专业人员进行高时效、高质量的人工处理流程;还有就是数据安全性。
基于这三大特征,云测数据发布了面向AI工程化的新一代数据解决方案,从平台工具、管理体系、数据安全三个维度延展产品服务。
平台工具提供企业数据处理的各种工具和模板,并通过高度集成API实现数据底座无缝对接,帮助企业持续发掘数据价值。项目管理方面,针对人工数据处理流程中关于招聘、培训、绩效考核及对应项目管理、安全、企业责任、安全体系、相关行业知识背景培训,云测数据总结出了一套完善的实践方法路,包括一套完整的项目管理看板、绩效看板持续追踪对应的项目进度、任务进度和数据质量。
数据安全则是通过硬件配置、网络安全、物理安全和人员安全管理实现,完成了一套基于网络VPN专线连接到云测自建数据标注基地的端到端数据标注安全交付方法,帮助企业完成数据合规、数据安全的相关数据操作流程。
云测数据还针对隐私安全设置了一系列严格措施,力图做到步步保护、层层把关,完善布局AI数据处理对实效性、准确率和安全性的进一步要求。同时云测数据还是满足ISO27001和ISO27701标准的人工智能数据服务厂商,此外,云测数据还先后获得ISO9001、ISO20000、CMMI3等相关认证。
总结
每一家AI科技企业从初创到发展成熟,面对市场变化可能会经历以上的产品研发阶段。云测数据将企业不同阶段面临的挑战转化为产品输出,提供了一套全方位覆盖的数据解决方案,未来随着AI工程化快速落地,将助力越来越多的企业抓住市场机遇实现智能化迭代。
