Python开发方式

开发前请先准备好ModelBox开发环境，详见环境准备章节。

Python SDK API接口说明

Python开发AI应用的大致流程如下：

1. 安装Python SDK包。
2. 开发流程图之外的应用部分。
3. 开发流程图的流程，以及流程中使用的功能单元。
4. 使用Flow的接口创建流程图对象。
5. 使用流程图对象写入数据。
6. 在使用数据的地方读取数据。
7. 不再使用流程图时，可调用stop释放图资源。

使用场景

通过流程图配置初始化流程图对象

SDK模式的流程图的开发和标准模式基本一样，具体开发介绍见流程图开发章节。SDK模型区别可以通过设置input和output端口作为外部数据的输入和输出。具体配置如下：

[driver]
dir=""
[graph]
graphconf = '''digraph demo {
  input1[type=input] # 定义input类型端口，端口名为input1，用于外部输入数据
  resize[type=flowunit, flowunit=resize, device=cuda]
  model_detect[type=flowunit, flowunit=model_detect, device=cuda]
  yolobox_post[type=flowunit, flowunit=yolobox_post, device=cpu]
  output1[type=output] # 定义output类型端口，端口名为output1，用于外部获取输出结果

  input1 -> resize:in_image
  resize:out_image -> model_detect:in
  model_detect:output -> yolobox_post:in
  yolobox_post:out -> output1
}'''
format = "graphviz"

如上图，input1和output1端口作为图的输入和输出，如果需要设置多个外部输入输出端口，可按照图配置规则配置多个。

配置好流程图之后，使用API初始化流程图对象

import modelbox

flow = modelbox.Flow()
flow.init(flow_file_path)

通过流程图描述初始化流程图对象

通过API直接描述流程图

import modelbox

# set graph config
graph_desc = modelbox.FlowGraphDesc()
graph_desc.set_queue_size(32)
graph_desc.set_batch_size(16)
graph_desc.set_skip_default_drivers(False)
graph_desc.set_drivers_dir(["/xxx/xxx/"])
graph_desc.set_profile_dir("/tmp/app/")
graph_desc.set_profile_trace_enable(True)

input = graph_desc.add_input("input1")
resize = graph_desc.add_node("resize", "cuda", ["image_width=128", "image_height=128"], input)
model_detect = graph_desc.add_node("model_detect", "cuda", resize)
yolobox_post = graph_desc.add_node("yolobox_post", "cpu", model_detect)
graph_desc.add_output("output1", yolobox_post)

# start flow
flow = modelbox.Flow()
ret = flow.init(graph_desc)
if ret.code() != modelbox.Status.StatusCode.STATUS_SUCCESS:
  print("init flow failed, err {}".format(ret.errormsg()))
  return
ret = flow.start_run()
if ret.code() != modelbox.Status.StatusCode.STATUS_SUCCESS:
  print("start flow failed, err {}".format(ret.errormsg()))
  return

流程图数据输入输出

通过上述两个方式构建好flow后，就可以使用flow进行数据处理了。

stream_io = flow.create_stream_io()

# write img
img = cv.imread("path.jpg")
## method 1
buffer = stream_io.create_buffer(img)
buffer.set("meta", "meta")
stream_io.send("input1", buffer)
## method 2
stream_io.send(img)

# write numpy
tensor = numpy.ones((10, 10, 3))
## method 1
buffer = stream_io.create_buffer(tensor)
buffer.set("meta", "meta")
stream_io.send("input1", buffer)
## method 2
stream_io.send(tensor)

# write str
url = "rtsp://x.x.x.x/x.sdp"
## method 1
buffer = stream_io.create_buffer(url)
buffer.set("meta", "meta")
stream_io.send("input1", buffer)
## method 2
stream_io.send(url)

# write list
floats = numpy.array([1.0, 2.0, 3.0, 4.0])
## method 1
buffer = stream_io.create_buffer(floats)
buffer.set("meta", "meta")
stream_io.send("input1", buffer)
## method 2
stream_io.send("input1", floats)

# recv buffer
result = stream_io.recv("output1")

# buffer to numpy
data = numpy.array(result)

# buffer to str
data2 = str(result)

使用快捷的单模型推理接口

对于想快速使用ModelBox对模型进行推理场景，可以使用如下的方式

import modelbox

# load model
model = modelbox.Model(path, name, max_batch_size, device, device_id)
model.start()

# single batch inference
data1_np = numpy.ones((3, 3, 3))
data2_np = numpy.ones((10, 10, 3))
input_list = [data1_np, data2_np]
output_list = model.infer(input_list)
output_buffer = output_list[output_index]
output_np = numpy.array(output_buffer)

# multi batch inference
data1_batch_np = [numpy.ones((3, 3, 3)), numpy.ones((3, 3, 3))]
data2_batch_np = [numpy.ones((10, 10, 3)), numpy.ones((10, 10, 3))]
input_batch_list = [data1_batch_np, data2_batch_np]
output_batch_list = model.infer_batch(input_batch_list)
output_buffer = output_batch_list[output_index][batch_index]
output_np = numpy.array(output_buffer)

日志接口

应用程序可以设置modelbox的日志级别，并且可以使用modelbox的日志系统

# set log level
modelbox.set_log_level(modelbox.Log.Level.DEBUG)
modelbox.set_log_level(modelbox.Log.Level.INFO)
modelbox.set_log_level(modelbox.Log.Level.NOTICE)
modelbox.set_log_level(modelbox.Log.Level.WARN)
modelbox.set_log_level(modelbox.Log.Level.ERROR)
modelbox.set_log_level(modelbox.Log.Level.FATAL)
modelbox.set_log_level(modelbox.Log.Level.OFF)

modelbox.debug("")
modelbox.info("")
modelbox.notice("")
modelbox.warn("")
modelbox.error("")
modelbox.fatal("")