今日新鲜事 科技 如何破解AI落地应用难题?深信服边缘AI技术助你轻松实现

如何破解AI落地应用难题?深信服边缘AI技术助你轻松实现

在各行各业,AI技术正在深入应用到各个场景。比如在电力行业,有AI协助“值守”,电力用户可以减少运维人力成本的投入,保障电力基础设施的正常运转。还能通过AI技术分析电力场站的视频监控,可以进行实时运检,提高电力场站的运检效率。

深信服智能边缘计算平台在软硬件适配、模型部署、复杂模型运行等方面简化边缘AI应用开发的难度,帮助开发者更加高效实现边缘AI应用落地。今天来为大家揭晓深信服智能边缘计算平台如何解决边缘AI工程化落地的三大难题。

一、软、硬件异构,兼容适配「难」

由于底层AI芯片和框架的方案很多,AI应用的开发者在做软硬协同及适配开发时难度非常高。基于深信服智能边缘计算平台的云边智能协同底座,实现了适配兼容,在模型迁移适配、AI应用构建部署以及推理性能优化等多个维度,帮助企业开发者实现云边智能高效协同。

深信服智能边缘计算平台内置的边缘推理引擎Sangfor Runtime,适配主流的深度学习框架、神经网络模型(包含目标检测、目标追踪、图像分类等),通过一套标准接口,帮助开发者快速实现算法面向边缘AI芯片的自动适配以及性能调优,为用户提供一站式边缘AI推理服务,进一步降低算法在不同边缘AI芯片间的迁移成本。

二、场景多样复杂,模型部署「难」

在实施交付现场,不同摄像头接入的视频流存在多类型场景的智能化分析需求,传统点对点的配置效率低下,加大了交付成本。

在AI应用构建阶段,深信服智能边缘计算平台通过可视化界面配置,开发者只需要上传AI模型文件,平台将实现自动AI镜像打包过程,帮助开发者自动构建可用于边缘节点上运行的AI应用镜像,大幅节省应用开发时间。基于深信服边缘AI技术,用户在研发边缘AI应用时,可以降低成本、提高模型性能。

此外,深信服智能边缘计算平台面向交付人员,提供多模型AI应用快速部署与模型智能调度的能力。交付人员基于客户的业务场景需求,根据同时运行算法的数量及算法依赖关系,通过可视化界面配置单模型调度、多模型并行调度、多模型串行调度及混合调度,最终满足不同场景下AI多模型应用的分发与部署运行,提高实时部署的便捷性。

三、大而全的复杂模型运行「难」

相较于中心云服务器,边缘节点的资源配置有限,难以运行大而全的复杂模型。如果将云端训练好的AI算法模型迁移至资源、算力相对有限的边缘节点,算法开发人员需要做大量模型量化、优化以及算子层面的调整工作,过程繁杂,优化效果高度依赖开发者经验。

深信服智能边缘计算平台支持开发者根据业务需求,在云上部署大模型,边缘部署小模型。边缘侧针对样本数据进行难易判别,简单样本在边缘侧由小模型完成推理,难例样本回传至云端由大模型完成推理,并自动实现云边推理结果汇总。这样,用户在边缘侧推理可获得更短的时延以及更高吞吐量,并兼顾了云侧推理的精度。

以上就是本期关于深信服智能边缘计算平台的分享,关注“深信服科技”关注可以获取更多技术内容。

本文来自网络,不代表本站立场,转载请注明出处:

推理,技术,平台,模型,部署,运行,边缘,场景,应用,智能,模型,开发者,深信服,边缘,智能

今日新鲜事后续将为您提供丰富、全面的关于推理,技术,平台,模型,部署,运行,边缘,场景,应用,智能,模型,开发者,深信服,边缘,智能内容,让您第一时间了解到关于推理,技术,平台,模型,部署,运行,边缘,场景,应用,智能,模型,开发者,深信服,边缘,智能的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。