中文医学大语言模型训练方法及装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
中文医学大语言模型训练方法及装置
申请号:CN202410949277
申请日期:2024-07-16
公开号:CN118485141B
公开日期:2024-10-29
类型:发明专利
摘要
本申请公开了一种中文医学大语言模型训练方法及装置,涉及自然语言处理技术领域,所述的方法包括:通过医学文本对预设大语言模型进行预学习训练,使得大语言模型在语义层面上理解专业医学知识。根据开源中文医学考试数据集对预训练后的模型进行监督微调训练,从而降低计算复杂度和内存需求,这使得在保持模型性能的同时,能够在有限的计算资源下进行高效的微调。最后根据构建的知识图谱和强化学习数据集进行知识反馈的强化学习,有助于解决监督微调后由于模型过度拟合而出现的“幻觉”现象,从而将大语言模型的输出与相关的专业医学知识进行充分对齐,提高大语言模型在医学领域回答的准确度。
技术关键词
大语言模型 医学 三元组 构建知识图谱 文本 数据 计算机程序产品 训练装置 命名实体识别 信号 生成知识 语义层面 矩阵 专业 训练设备 处理器 自然语言 模块