一种融合预训练与动态微调技术的大语言模型方法及系统
申请号:CN202411125381
申请日期:2024-08-15
公开号:CN119129719A
公开日期:2024-12-13
类型:发明专利
摘要
本发明涉及大语言模型技术领域,尤其涉及一种融合预训练与动态微调技术的大语言模型方法及系统,本发明提出以下方案,首先通过审计知识建立审计语言池,对审计语言池进行预训练,其次根据审计信息在审计语言池中寻找最匹配的审计知识进行配对,最后构建微调模型,根据配对的结果对审计语言池进行微调。本发明通过全面、动态、真实地获得审计对象的总体信息,帮助内部审计人员高效地识别审计信息,对内外部审计数据的交叉验证和组合分析,也为企业规避经营风险提供更好的参考依据。
技术关键词
关键词特征
微调技术
三元组
节点
动态
专家经验库
语义特征
大语言模型
数据
概念
注意力机制
模块
同义词
术语
序列
策略
指令
日志