协同推理能力

端侧、边侧设备中安装ModelBox Agent后会以某种设备发现机制将他们绑定在一起，使设备之间可以保持协同，具体体现在以下几点：

• 设备代理：在端侧设备无法联网前提下，可由边侧设备做代理进行推理。
• 分布式推理：当某一台设备负载达到瓶颈后可以由ModelBox调度到协同的设备中进行推理，并且由ModelBox对返回的数据进行帧重组，上层用户对此无感知。
• 大小模型协同推理：对端侧推理能力有限的场景，可以先由端侧ModelBox使用小模型对数据进行预处理，在精度达不到要求时将数据发送到边侧设备调用大模型进行推理，此过程用户无感，大小模型应用的安装也可以由边侧设备安装后自动分发到端侧设备。