运行框架架构

ModelBox整体架构如图1 ModelBox整体架构所示。

图 1 ModelBox整体架构

ModelBox框架提供了从开发、调试、部署、运维端到端的能力。开发者基于ModelBox框架进行AI应用开发，可以大大提高开发效率，同时获得应用的性能和可靠性的提升。各个组件功能如下：

• 基础能力：提供包括功能单元、图引擎、资源管理、协同推理等相关ModelBox框架核心能力。
• 适配层：屏蔽软硬件和各种推理框架差异，适配各种端边云场景。
• 运维安全：提供日志、监控、统计等运维功能和License、模型加解密等安全功能，保证AI应用安全可运维。
• 服务组件：提供任务配置管理及服务插件的管理，开发者可以通过自定义自己的插件用于与管理服务的协作，以完成任务管理的工作。
• 开发调试：提供开发者开发调试相关功能，让开发者快速高效开发出搞性能AI应用。

详细的功能介绍请参考第3节。