吃“有毒”数据，大模型反而更听话了！来自港科大&华为诺亚方舟实验室
吃“有毒”数据，大模型反而更听话了！来自港科大&华为诺亚方舟实验室相比于一味规避“有毒”数据，以毒攻毒，干脆给大模型喂点错误文本，再让模型剖析、反思出错的原因，反而能够让模型真正理解“错在哪儿了”，进而避免胡说八道。
来自主题: AI技术研报
4568 点击 2023-10-26 20:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
相比于一味规避“有毒”数据，以毒攻毒，干脆给大模型喂点错误文本，再让模型剖析、反思出错的原因，反而能够让模型真正理解“错在哪儿了”，进而避免胡说八道。
大型语言模型能力惊人，但在部署过程中往往由于规模而消耗巨大的成本。华盛顿大学联合谷歌云计算人工智能研究院、谷歌研究院针对该问题进行了进一步解决，提出了逐步微调（Distilling Step-by-Step）的方法帮助模型训练。
而在AI大模型的相关市场竞争中，除了底层的算法、架构外，“语料”则是一个被反复提及的关键要素。
在高性能计算（HPC）、人工智能（AI）、和数据分析等领域，图形处理器（GPUs）正在发挥越来越重要的作用。其中，NVIDIA的 A100尤为引人注目。这是英伟达最强大的显卡处理器，也是当前使用最广泛大模型训练用的显卡。