开发与调试能力
为了方便AI应用开发者开发调试,ModelBox框架的提供了如下能力:
业务逻辑开发:ModelBox框架同时支持两种开发模式:API开发模式和图编排开发模式。两种模式各有优势,API模式简单易用,上手门槛低;而图模式则由ModelBox框架提供极致性能。
- API开发模式:即框架提供基础API,用户可以根据需要在自己业务代码选择调用;
- 图编排开发模式:用户可以通过拖拉拽方式根据业务流程编排出一张图,框架加载和运行。
功能单元开发:实现模型推理功能单元和业务功能单元,用于构建图和API调用。
服务插件开发:实现与周边服务如任务下发、运维对接等。
性能分析:提供性能分析工具,用于性能瓶颈分析。