互联网

2020年就要来了,你的全场景AI开发计划制定好了吗?

来源:网络    作者:      2019-12-30

导语:

随着世界向智能化、数字化转型,AI+云将成为构建未来智联世界的核心,在AIoT领域出现了更多应用场景的落地。在应用开发方面,开发者在对跨场景一致开发和调试上,往往需要经过多次应用开发和部署,才能确保应用在端、边、云上的全场景适配,进一步增加了AI开发门槛。同时,这些应用也带来了低延时和巨量数据的计算要求,这对芯片性能和算力部署提出了新的挑战。

为了帮助开发者降低开发难度和运营成本,同时承载端、边、云全场景AI计算需求,华为发布了全栈全场景AI解决方案。12月28日「Atlas Tech Now | 昇腾学院——华为昇腾 AI 技术沙龙」苏州站,邀请了多位华为AI技术专家,通过基于昇腾 AI 处理器的 Atlas 人工智能计算平台、Mind Studio 一站式集成开发环境与 MindSpore 全场景 AI 计算框架的实践案例,助力开发者从容应对全场景 AI 开发带来的挑战。

如何基于Atlas进行推理业务开发?

在华为提出的全栈全场景AI解决方案中,全栈指的是技术功能视角,包含了昇腾AI处理器、CANN芯片使能、MindSpore AI框架、应用使能四个层次。昇腾AI处理器拥有Max,Mini,Lite,Tiny和Nano等五个系列,通过在不同场景下的合理应用,来提供最优的性价比服务。

Atlas人工智能计算平台,基于昇腾AI处理器,通过模块、板卡、小站、服务器、集群等丰富的产品形态,打造面向端、边、云的全场景 AI 基础设施方案。目前这些产品,已广泛应用于平安城市、智慧交通、智慧医疗、AI训练和推理等领域。


图片1.png


华为全栈全场景AI解决方案

以Atlas 300业务开发为例,分为开发前准备、业务迁移、集成调优、测试验收4个阶段。

·  开发前准备:对OS类型及版本是否兼容,框架、模型、算子的支持度,视频/图像编解码功能,进行需求评估。然后进行环境搭建,安装Atlas 300固件和驱动和Mind Studio集成开发环境

· 业务迁移:基于Matrix框架将待处理数据从Host侧发送到Device(昇腾310芯片)在Device完成所有处理,通过DVPP子系统实现crop/resize。

· 集成调优:对系统总体性能调优,包括模型选型、算子性能优化,软件流程调优等。

· 测试验收:最后进行功能测试、可靠性测试、性能测试,确定不同硬件配置下的性能规格。

Matrix是一个通用业务流程执行引擎,主要包含Agent(运行在Host侧)和Manger(运行在Device侧)两个部分。Engine 作为流程的基本功能单元,允许用户自定义,实现数据输入、图片视频分类处理、结果输出等,即engine的处理程序是由开发者实现的。对于服务器+Atlas 300来说,Host侧为服务器侧CPU的操作系统,Device侧为Atlas 300侧的操作系统。

DVPP子系统,数字视觉预处理(Digital Vision Pre-Process),提供对特定格式的视频和图像进行解码、缩放等预处理操作,同时具有对处理后的视频、图像进行编码再输出的能力。


图片2.png


华为智能计算专家 徐国强

应用Mind Studio,降低AI开发门槛

Mind Studio是面向昇腾AI处理器的AI全栈开发工具链,提供面向AI算子开发、模型开发、应用开发的全栈全场景支持。可以让用户的算子、模型和应用最大限度的发挥出芯片的计算能力,通过场景化的工具体验,降低算子、模型、AI应用的开发门槛。

· 算子开发:支持TBE自定义算子的开发,集成开发环境IDE的代码编辑器,支持语法的智能纠错和代码自动补全。 并支持算子的仿真调试,如果开发者有开发板的硬件设备,可以直接通过Mind Studio工具进行配置,上板运行。

· 模型开发:支持当前业界主流框架Tensorflow,caffe等,通过转换工具将模型转换成昇腾AI处理器支持的格式,发挥出芯片的加速能力。通过配置输入输出节点,图像预处理的参数,可以生成用户所需要的模型。模型的整网运行profiling功能,可以帮助用户快速定位出模型的性能瓶颈并定位优化。

· IDE提供的应用开发:为用户提供了多个典型AI应用的模板,用户基于模块做一些定制化的配置,就可以构建出属于自己的AI应用。


图片3.png


AI全栈开发典型场景

其中模型转换是当前很多开发者最常用的功能之一。通过转换工具,可以把开源的tensorflow、caffe模型转换成昇腾AI处理器支持的格式om格式。转换过程中,用户可以配置模型中的输入和输入节点, 量化参数,图像预处理的参数,生成满足用户输入要求的更高效om模型。


图片4.png


向导式模型转换,快速导入TF,Caffe模型

算子比对工具可以对已经生成的模型或基准的模型(如caffe模型)进行算子的比对,比对的方式可以选择不同的算法,如LowerBound等。通过算子比对的结果,可以发现模型中各个算子计算结果的偏差,通过对偏差的大小设置,开发者可以快速定位出偏差较大的算子并进行优化。


图片5.png


支持多种算子对比方式,快速定位算子进度差异

在模型整网调优中,对应用中的各个引擎,如数据预处理、模型推理等进行profiling,发现整个应用中的引擎性能瓶颈再进行优化。整网运行过程中除了获取到软件栈的Timeline数据,还能获取AI芯片设备上的硬件数据。


图片6.png


华为昇腾AI工程师 田晓亮

解读MindSpore三大技术创新点

MindSpore是华为推出的统一训练和推理框架,可以在全场景保持一致的开发体验。目前市面上的计算框架存在着开发门槛高、运行成本高、部署难度大等亟待解决的问题。对于这种问题,MindSpore的工程师进行了三项技术创新:新编程范式,执行模式及协作方式。

· 新编程范式:编程范式的决定性因素之一,就是AI框架采用的自动微分技术。其中,MindSpore采用源码转换的机制生成抽象语法树,基于IR编译优化,在易用性和性能上都具有很强的先进性。

· 执行模式:基于AI运行态的挑战,提出on-device的执行模式。

· 协作方式:端、边、云三类应用场景具有不同需求与目标,通过统一的框架来实现按需协同。


图片7.png


MindSpore设计理念:核心架构

基于开发态友好、运行态高效、部署态灵活的三个设计理念。MindSpore核心架构分为四层:端-边-云按需协作分布式架构(部署、调度、通讯等)在同一层,再往下是执行高效层。另外是并行的Pipeline执行层和深度图的优化、算子的融合,再上层有MindSpore IR计算图表达。支持了自动微分、自动并行、自动调优的特性,为全场景统一API提供支撑:开发算法即代码、运行高效、部署态灵活形成一体化。

新编程范式,采用源码转换的机制生成抽象语法树,首先在接口层支持原生的python编程和控制流的表达,增强可编程性。在中间编译层复用编译器优化能力进行代码优化,实现更高性能。在算子层利用高效能优化器、多面体优化器以及软硬协同优化,就可以自动化生成高性能算子。

新执行模式上,MindSpore使用了四项关键技术。第一项是通过深度图优化技术,最大化“数据-计算-通信”的并行度。第二项是通过梯度数据驱动的自适应图切分优化,实现去中心化的自主All Reduce。第三项是自动整图切分,按算子输入输出数据维度切分整图,融合数据并行与模型并行。第四项是集群拓扑感知调度,感知集群拓扑,自动调度子图执行,实现通信开销最小。


图片8.png


华为MindSpore工程师 龚玥

昇腾AI计算解决方案及应用

据某机构的预测,中国视觉计算行业2020年市场规模超过700亿。届时,安防影像、广告营销、泛金融身份认证、互联网娱乐等领域将会产生大规模AI批量计算需求。华为AI技术专家,也向开发者们展示了,昇腾AI计算在视觉计算行业的应用。目前,昇腾AI计算解决方案技术栈分为Ascend Serving服务框架、Ascend Graph开发框架、Ascend 算子开发三个层次。通过解决方案的整合,可以让开发者充分利用华为云昇腾算力的高性能,高弹性和端边云全网融合能力。


图片9.png


华为云异构计算产品经理 赵刚

· Ascend Serving服务框架:昇腾服务组件标准化,支持对接OBS,SFS-Turbo,支持容器化部署,边缘部署。

· Ascend Graph开发框架:成熟的昇腾组件、业务流程社区和市场,让开发者可以基于昇腾算力快速构建应用,加速业务模型部署,提供行业内最佳实践。

· Ascend 算子开发:支持客户自行开发调优,全栈自研,全流程开放。


图片10.png


昇腾AI计算解决方案在视觉相关计算行业的应用


(文章为作者独立观点,不代表艾瑞网立场)
  • 合作伙伴

  • 官方微信
    官方微信

    新浪微博
    邮件订阅
    第一时间获取最新行业数据、研究成果、产业报告、活动峰会等信息。
     关于艾瑞| 业务体系| 加入艾瑞| 服务声明| 信息反馈| 联系我们| 广告赞助| 友情链接

Copyright© 沪公网安备 31010402000581号沪ICP备15021772号-10

扫一扫,或长按识别二维码

关注艾瑞网官方微信公众号