资源管理
ModelBox具备资源管理能力,可以限定单个应用在启动后使用资源的数量。在运行中超过了配置的资源数量,ModelBox提供申请更多资源和将应用停止等不同的策略。同时为了保证应用运行的可靠性,ModelBox也会对显存或内存上的数据进行自动拷贝迁移。
ModelBox资源管理的对象包含CPU的核数、内存、GPU的显存和Ascend芯片的内部存储(分为大页内存、普通内存)等。当用户在启动应用后,配置了初始使用的资源,则应用会尽量被限制在配置使用的资源范围内运行。
ModelBox统一对不同硬件存储空间(如GPU显存、内存、Ascend芯片)进行了管理,提供了资源申请、释放、限制的能力。