一种基于知识库的模型蒸馏方法和装置

本申请提供一种基于知识库的模型蒸馏方法和装置，属于模型蒸馏技术领域。本申请提供的方法包括：从多个预训练后的大模型中提取各层特征，组成蒸馏知识库；确定学生模型对应的任务内容；基于任务内容从蒸馏知识库中匹配目标知识，其中任务内容包括多个有序任务环节，每个任务环节至少对应一个目标知识，基于所述任务环节的任务描述与多个任务类型进行匹配，确定目标任务类型下的目标特征，将目标特征对应的知识确定为目标知识；基于目标知识指导学生模型训练，训练后的学生模型大小小于所述目标知识对应的大模型。本申请提供的基于知识库的模型蒸馏方法和装置，用以提供针对性蒸馏策略，使轻量级模型能够更好地适配实际应用场景。