一种针对文本数据的推理结果的生成方法和装置

申请号：CN202411815064

申请日期：2024-12-10

公开号：CN119830870B

公开日期：2025-12-19

类型：发明专利

摘要

本发明实施例提供了一种针对文本数据的推理结果的生成方法和装置，通过所述近似模型生成针对所述文本数据的初始草稿；通过所述原始模型基于初始草稿生成目标草稿，并基于所述目标草稿确定针对所述文本数据的推理结果，可以加速推理，大幅缩短推理时间。

技术关键词

大语言模型中间层文本数据生成方法注意力机制通信接口处理器矩阵客户端设备分支存储器云端服务器生成装置网络结构蒸馏超参数可读存储介质