部署与推理

用户使用预置或自行开发的自定义功能单元，通过图编排，完成AI应用的逻辑关系的构建。

其中，在推理功能单元的配置文件中，可以指定运行时使用的设备类型，如CPU、GPU、Ascend等，也可以指定推理的引擎，如Mindspore、Tensorflow或TensorRT等。若将其配置设为option，框架会根据环境选择最优的推理资源和引擎。

另外，在本地开发时，用户可以使用工具将图和开发的功能单元，按照部署和推理规范中的打包格式，将包含模型和业务代码和配置文件打包成一个rpm包，如表1和表1所示。

├── plateDetection 
│   ├── plateDetection.rpm  
│   ├── plateDetection.config

其中配置文件包含了应用的启动脚本等配置。将rpm包部署在云、边侧或端侧设备上，如x86+GPU、ARM+Ascend芯片设备上，通过启动业务服务的命令即可运行AI应用。对于这些异构硬件，开发者无需对其底层进行适配，而通过使用ModelBox标准开发的同一套AI应用逻辑代码，即可运行在多种设备上。