面向边缘计算大模型的分布式推理任务分配方法

本发明提出了一种面向边缘计算大模型的分布式推理任务分配方法，属于移动边缘计算技术领域，考虑大语言模型分布式部署场景，构建多台边缘服务器协作完成推理任务的工作流，考虑到推理任务生成式特点，采用精确二次重构；来解决推理任务资源占用的不确定性，为该场景下的边缘推理任务分配问题构建数学模型表达，目标是最大化服务商收益，将构建的数学模型重构为一个组合选择问题，采用对偶方法给出有理论保证的近似解，对服务商的推理任务分配决策进行优化，从而最大化服务商收益。