搜索
众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性挑战。
大模型回答如何更可靠？MIT研究团队设计出「共识博弈」，将数学家常用的博弈论引入LLM改进中。没想到，LLaMA-7B的表现，击败了LLaMA-65B，甚至与PaLM-540B相媲美。
最少只需1个3D样例，即可生成3D主题乐园。
微软&清华最新研究，打破GPT系列开创的Decoder-Only架构——
在刚刚举行的 ICLR 2024 大会上，智谱AI的大模型技术团队公布了面向激动人心的AGI通用人工智能前景的三大技术趋势，同时预告了GLM的后续升级版本。
就在一年前，2023年5月，OpenAI的CEO Sam Altman曾在美国国会听证会上提到过AI正在被武器化的事实，并赞同“像监管核武器一样监管AI”的提议。
当地时间5月7日，ICLR 2024颁发了自大会举办以来的首个「时间检验奖」！
有数据统计，2022年全年，全国数据中心耗电量达到2700亿千瓦时，占全社会用电量约3%。预计2024年全国数据中心的耗电量将在3400亿至3600亿度之间，到2025年可能增长至4000亿至4400亿度。
2023-2024年，以 GPT-4V、Gemini、Claude、LLaVA 为代表的多模态大模型（Multimodal LLMs）已经在文本和图像等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。
传统上，大型语言模型（LLMs）被认为是顺序解码器，逐个解码每个token。