标准模式
本章节将开始介绍如何使用ModelBox标准模式进行应用的开发流程。通常情况下,AI应用开发流程可分为一下几个步骤:
-
除了准备好ModelBox的开发环境外,AI应用开发前还需要准备好匹配当前ModelBox版本支持的推理框架和版本的模型文件,用于模型推理。如果是采用TensorRT框架,还需要注意模型转换时的显卡类型需要与运行时的显卡类型匹配。
-
通过ModelBox提供的WebUI或者命令行的方式创建AI应用项目,可以创建空项目,也可以基于各类项目模板进行创建。
-
梳理AI应用业务逻辑,将整个流程拆分为一系列功能单元,确定各个功能单元的主体功能、前后功能单元数据交互,开发者可以使用预置功能单元,也可自定义功能单元。最终将所有功能单元通过流程图的方式进行编排。
-
开发者需要自己实现自定义功能单元,包含功能单元创建、属性配置、处理逻辑实现、编译测试等。
-
所有功能单元实现完毕后,就可以运行流程图进行业务流程的调试,同时还可以使用Profiling工具对性能数据进行采集分析和优化。
-
如果流程图的加载运行需要与外部第三方系统对接时,需要进行自定义服务插件的开发。不涉及可跳过此步骤。
-
流程图和功能单元开发调试完毕后,需要将AI应用编译打包,部署到生产环境启动运行