硬件适配

ModelBox已支持对CPU,GPU,Ascend芯片的计算硬件的适配。

支持的硬件如下:

  • ARM+Ascend芯片
  • Hi35xx(NNIE)
  • X86+Ascend芯片
  • X86+GPU

在ModelBox中,许多基础的功能单元提供了多种硬件的版本,如Resize提供了支持在CPU,GPU,Ascend芯片等不同硬件上运行的版本,用户在静态图或者API中使用这些功能单元时可以选择选择default,让ModelBox根据系统环境自动选择最合适的功能单元。

ModelBox提供了扩展功能单元的能力,用户可以按规则开发新的功能单元,针对不同的设备开发的具有相同功能的单元可以使用统一的名字(分别有不同的设备类型属性),则ModelBox会在使用时从这些功能单元组中选择最合适的功能单元。

ModelBox使用通用buffer接口,屏蔽了底层硬件内存和显存的差异。如用户在使用CPU功能单元进行预处理后再使用GPU功能单元进行推理过程中需要进行内存到显存的切换。用户无需感知这一点,而是直接从buffer中读取数据即可。第三方硬件集成需要对buffer的一些接口进行适配。

results matching ""

    No results matching ""