端云协同环境下自适应噪声样本引导的知识蒸馏优化方法
申请号:CN202411075649
申请日期:2024-08-07
公开号:CN119005293A
公开日期:2024-11-22
类型:发明专利
摘要
本发明公开端云协同环境下自适应噪声样本引导的知识蒸馏优化方法,在每个端设备上均通过本地数据集训练对应的教师模型,获得训练好的教师模型;在端设备上利用教师模型通过知识蒸馏对学生模型进行训练,训练中采用自适应蒸馏强度调整机制动态调整蒸馏强度,获得训练好的学生模型;云端服务器中生成与端设备中学生模型相关的噪声样本,并通过自适应算法最小化噪声样本分布和真实数据分布之间的差异更新噪声样本,通过更新后的噪声样本输入学生模型中训练,获得对应的端设备模型;云端服务器采用权重对比正则化和联邦平均的模型聚合策略整合若干端设备的端设备模型更新,形成全局模型。本发明能够提高模型训练效率和通信效率,同时保护数据隐私。
技术关键词
噪声样本
知识蒸馏优化
云端服务器
最小化噪声
启发式信息
端云协同系统
数据分布
教师
模型更新
学生
蚂蚁
蚁群优化算法
保护数据隐私
资源优化配置