解析大模型中的Scaling Law
解析大模型中的Scaling Law计划训练一个10B的模型,想知道至少需要多大的数据?收集到了1T的数据,想知道能训练一个多大的模型?老板准备1个月后开发布会,给的资源是100张A100,那应该用多少数据训一个多大模型最终效果最好?
来自主题: AI技术研报
10963 点击 2023-11-20 10:09
计划训练一个10B的模型,想知道至少需要多大的数据?收集到了1T的数据,想知道能训练一个多大的模型?老板准备1个月后开发布会,给的资源是100张A100,那应该用多少数据训一个多大模型最终效果最好?
提及人工智能AI相关的算力芯片,现在绝大多数人的第一反应都是英伟达NVIDIA的GPU,作为AI模型搭建的基础,英伟达的A100/H100几乎成为了一块块“金砖”,深受业界喜爱。
就在刚刚,美国再次收紧对我国出口尖端AI芯片,英伟达A100、A800、H100、H800等无一幸免。
GPT-4V风头正盛,LLaVA-1.5就来踢馆了!它不仅在11个基准测试上都实现了SOTA,而且13B模型的训练,只用8个A100就可以在1天内完成。
在高性能计算(HPC)、人工智能(AI)、和数据分析等领域,图形处理器(GPUs)正在发挥越来越重要的作用。其中,NVIDIA的 A100尤为引人注目。这是英伟达最强大的显卡处理器,也是当前使用最广泛大模型训练用的显卡。