预置功能单元

ModelBox预置了多个常用功能单元，可用于完成AI应用的基本流程，开发者可以直接使用。

功能单元列表

按业务类型分类，ModelBox主要预置功能单元如下表所示。

常用数据类型

ModelBox框架定义了一些通用数据类型，用于规定预置功能单元的输入数据和输出数据格式要求，每一种数据类型规定了该类型的Buffer数据应该携带的Buffer Meta字段信息。

Tensor数据类型

含义：基础数据类型。

Buffer Meta字段信息：

图片数据类型

含义：描述一张图片的属性，图片数据类型包含Tensor数据类型信息。

Buffer Meta字段信息：

视频帧数据类型

含义：描述视频解码后的每帧图片的属性，包含视频信息和图片数据类型信息。

Buffer Meta字段信息：

视频包数据类型

含义：描述视频解封装后的数据包，用于视频解码。

Buffer Meta字段信息：

矩形框数据类型

含义：描述矩形区域。

Buffer Meta字段信息：无

Buffer Data信息存放结构如下：

  typedef struct RoiBox {
    int32_t x, y, w, h;
  } ;

检测矩形框类型

含义：描述YOLO检测的结果，包含矩形区域、置信度、分类结果。

Buffer Meta字段信息：无

Buffer Data信息信息存放结构如下。

  typedef struct BoundingBox {
   public:
    float x;
    float y;
    float w;
    float h;
    int32_t category;
    float score;
  };

HTTP请求数据类型

含义：描述HTTP请求数据类型。

Buffer Meta字段信息：

HTTP请求响应数据类型

含义：描述HTTP请求响应数据类型。

Buffer Meta字段信息：

查询功能单元命令

开发者可以通过ModelBox Tool命令查询各个功能单元的详细信息，包括功能介绍、cpu/cuda类型、输入要求、输出信息、配置项、约束等。命令如下：

查询当前系统目录下所有可以加载的功能单元列表：

modelbox-tool driver -info -type flowunit

查询单个功能单元详细信息：

modelbox-tool driver -info -type flowunit -detail -name xxx

查询当前系统目录和用户自定义路径下所有可以加载的功能单元列表：

modelbox-tool driver -info -type flowunit -path xxx

命令帮助信息：

modelbox-tool driver

以resize功能单元为例，查询详细结果字段含义如下：

[root@996a6346d170 modelbox]$ modelbox-tool driver -info -type flowunit -detail -name resize
--------------------------------------
flowunit name   : resize # flowunit名称
type            : cpu    # flowunit类型：cpu：普通CPU; cuda：Nvidia GPU; ascend： Ascend D310推理加速卡
driver name     : resize # driver名称：C++场景一个driver对应一个so，一个driver可以包含多个flowunit
version         : 1.0.0
descryption     :        
        @Brief: A resize flowunit on cpu                            # flowunit 功能简介
        @Port paramter: the input port buffer type and the output port buffer type are image. 
          The image type buffer contain the following meta fields:  # flowunit 输入输出数据格式
                Field Name: width,         Type: int32_t
                Field Name: height,        Type: int32_t
                Field name: width_stride,  Type: int32_t
                Field name: height_stride, Type: int32_t
                Field name: channel,       Type: int32_t
                Field name: pix_fmt,       Type: string
                Field name: layout,        Type: int32_t
                Field name: shape,         Type: vector<size_t>
                Field name: type,          Type: ModelBoxDataType::MODELBOX_UINT8
        @Constraint: the field value range of this flowunit support：'pix_fmt': [rgb_packed,bgr_packed], 'layout': [hwc].                                            # flowunit 使用约束
group           : Image        # flowunit 使用约束
inputs          :        # flowunit 输入端口列表   
  input index   : 1
    name        : in_image     # 输入端口名称
    type        :              # 输入端口类型，预留
    device      : cpu          # 输入端口数据存放设备要求
outputs         :        # flowunit 输出端口列表   
  output index  : 1
    name        : out_image    # 输出端口名称
    device      : cpu          # 输出端口数据存放位置
options         :        # flowunit支持的图配置参数
  option        : 1
    name        : image_width   # 配置参数名称
    default     : 640              # 配置参数默认值
    desc        : the resize width # 配置参数含义描述
    required    : true             # 配置参数是否必填
    type        : int              # 配置参数类型
  option        : 2
    name        : image_height
    default     : 480
    desc        : the resize height
    required    : true
    type        : int
  option        : 3
    name        : interpolation
    default     : inter_linear
    desc        : the resize interpolation method
    required    : true
    type        : list             # 配置参数枚举类型
        inter_area      : inter_area     # 配置参数枚举含义
        inter_cubic     : inter_cubic
        inter_lanczos4  : inter_lanczos4
        inter_linear    : inter_linear
        inter_max       : inter_max
        inter_nearest   : inter_nearest
        warp_fill_outliers      : warp_fill_outliers
        warp_inverse_map        : warp_inverse_map