用于人工智能模型的GPU资源动态调度方法及装置

本申请涉及一种用于人工智能模型的GPU资源动态调度方法及装置。该方法包括：通过任务感知机制，识别人工智能模型任务对GPU的资源需求；在所述人工智能模型任务的执行过程中，实时监测GPU负载情况；根据所述GPU负载情况确定GPU的资源需求以动态挂载GPU资源；通过所述GPU资源执行所述人工智能模型任务，得到输出结果；在满足GPU回收策略时，动态卸载所述GPU资源。本申请涉及的用于人工智能模型的GPU资源动态调度方法及装置，能够实现GPU资源的分时共享，显著提高了GPU利用率，降低了用户使用成本，同时支持多种自定义回收策略，增强了系统的灵活性和适用性。