推理框架适配

ModelBox现在支持使用多种推理引擎进行推理。

表 1 推理引擎版本要求

将推理的模型和描述模型的配置文件打包成rpm包，即成生成一个推理功能单元。用户可以将多个有相同推理功能的不同引擎模型按照同样的名字打包，则生成一个跨框架的推理功能组，在使用图或者API时，功能单元在配置时选择default即可以让ModelBox根据系统环境自动选择最合适的推理功能单元。

ModelBox提供了扩展推理功能单元的能力，用户可以按规则开发支持新推理引擎的功能单元。