ModelBox框架能力及规范

ModelBox框架可以帮助AI应用开发者快速高效的解决从模型文件到可实际部署的AI应用的工程化开发问题。AI应用开发前,需要准备好已经训练完成且满足实际端边云设备运行环境匹配的模型文件,当AI应用需要同时支持多类型加速芯片场景则需要准备相应芯片匹配的一组模型文件, 如Acsend310对应的OM模型文件、Tensorflow GPU 对应的PB模型文件、TensorRT GPU对应的模型文件等。模型文件准备好后可以进行AI应用开发。

一个典型的AI应用由三部分组成,数据接入、业务逻辑(包含推理)和数据输出。

数据接入:从数据源获取数据,可以是视频、图片、文字、音频等各种数据。

业务逻辑:根据业务逻辑对数据进行推理分析,往往需要多个模型相互配合。

数据输出:分析结果输出到指定位置,分析结果可以是文件、结构化数据等。

当前有一定基础的AI应用开发者通常能够比较容易的开发出一个具备上述业务功能、可以在某种特定类型设备部署运行的AI应用。但开发出来的AI应用往往存在一些不足:

  • 只能适配某种特定系统、端边云设备或者推理框架,当需要部署到其他场景时,由于接口不同,需要针对不同场景做系统、设备或者推理框架的适配,需要耗费大量人力投入;
  • 往往缺乏系统性的运维监控能力,或者需要耗费大量人力投入;
  • AI应用的可靠性、安全、性能等考虑不足,或者需要耗费大量人力投入。

ModelBox框架正是为了帮助AI应用开发者解决如上问题。ModelBox框架提供了一套从开发到部署再到运维端到端完整的能力,目的在于统一端边云AI应用开发流程,简化AI应用开发者开发、部署、运维工作。使用ModelBox框架AI应用开发者能够快速开发出高可靠、高性能、可以多场景部署的AI应用。下面介绍ModelBox框架提供的能力和使用这些能力所需要遵循的规范。

results matching ""

    No results matching ""