在上一篇文章「Unsloth微调Llama3-8B，提速44.35%，节省42.58%显存，最少仅需7.75GB显存」中，我们介绍了Unsloth，这是一个大模型训练加速和显存高效的训练框架，我们已将其整合到Firefly训练框架中，并且对Llama3-8B的训练进行了测试，Unsloth可大幅提升训练速度和减少显存占用。
「Siri太笨，根本无法与ChatGPT竞争」，前苹果工程师John Burkey曾对Siri的评价如此不堪。
两周前，OpenBMB开源社区联合面壁智能发布领先的开源大模型「Eurux-8x22B 」。相比口碑之作 Llama3-70B，Eurux-8x22B 发布时间更早，综合性能相当，尤其是拥有更强的推理性能——刷新开源大模型推理性能 SOTA，堪称开源大模型中「理科状元」。
苹果高管还在社交媒体暗示本次WWDC将有人工智能（AI）要素，有分析认为，这将会是iPhone历史上最雄心勃勃的一次软件升级。这导致近几个月，有关苹果iOS 18操作系统会如何集成AI功能的讨论不绝于耳。
过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。
堂堂开源之王Llama 3，原版上下文窗口居然只有……8k，让到嘴边的一句“真香”又咽回去了。
尽管蛋白质结构预测取得了重大进展。但对于 80% 以上的蛋白质，迄今为止尚未发现小分子配体。识别大多数蛋白质的小分子配体仍具有挑战性。
当前最火的大模型，竟然三分之二都存在过拟合问题？
2024 年 4 月 20 日，即 Meta 开源 Llama 3 的隔天，初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。
前段时间，微软搞了个乌龙：隆重地开源了 WizardLM-2，又在不久后撤回得干干净净。
