AI资讯新闻榜单内容搜索-8

关键词: Gradient AI,Llama 3,上下文,微调,LoRA

堂堂开源之王Llama 3，原版上下文窗口居然只有……8k，让到嘴边的一句“真香”又咽回去了。

关键词: AI,AI生物,AI科研,AI蛋白质,人工智能

尽管蛋白质结构预测取得了重大进展。但对于 80% 以上的蛋白质，迄今为止尚未发现小分子配体。识别大多数蛋白质的小分子配体仍具有挑战性。

关键词: 小模型,过拟合,Phi-3,Mixtral 8x22B,模型训练

当前最火的大模型，竟然三分之二都存在过拟合问题？

关键词: AI芯片,Groq,GPU,Llama 3,算力

2024 年 4 月 20 日，即 Meta 开源 Llama 3 的隔天，初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。

关键词: GPT-4,WizardLM-2 8x22B,WizardLM-2,AI,大模型

前段时间，微软搞了个乌龙：隆重地开源了 WizardLM-2，又在不久后撤回得干干净净。

关键词: AI方程式,AI赛车,AI比赛,A2RL,spin

在阿布扎比的 F1 赛道上，8 辆赛车使用相同的轮胎，相同的发动机，完全一样的车身，唯一不同之处就是自动驾驶代码。

关键词: 小模型,AI数学,AI推理,Mistral-7B,微调

对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。

关键词: LLM,微调,LongRoPE,模型训练,上下文

大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token

关键词: Vidu ,sora,AI视频,openai,视频大模型

2024 年，Sora 一直活在聚光灯下

关键词: Llama 70B,H100,AI硬件,Llama模型

FP8和更低的浮点数量化精度，不再是H100的“专利”了！