基于评分机制的大模型训练方法、模型、系统及设备

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于评分机制的大模型训练方法、模型、系统及设备
申请号:CN202411908272
申请日期:2024-12-24
公开号:CN119357675A
公开日期:2025-01-24
类型:发明专利
摘要
本发明提供一种基于评分机制的大模型训练方法、模型、系统及设备,该方法包括获取目标领域相关数据以构建初步任务集。将初步任务集内的每一数据按照预设的微调指令格式进行调整以构建初始微调指令数据。将构建初始微调指令数据后的初步任务集输入自监督学习模型内以生成符合微调指令格式的新任务集Task。将新任务集Task输入通用Llama模型,基于每一任务下的新微调指令数据集获取相应任务主题的目标领域数据集;计算每一新微调指令数据和相应目标领域数据集之间的相似度得分并进行筛选以形成每一任务下的精调指令数据集。将精调指令数据集输入至通用Llama模型内进行精调训练以形成基于Llama的目标领域相关数据模型。
技术关键词
评分机制 模型训练方法 监督学习模型 指令 模型训练系统 格式 主题 扩展模块 字符 文本 数据获取模块 标签 计算机设备 存储器 处理器 指标 文章 序列