
H100利用率飙升至75%!英伟达亲自下场FlashAttention三代升级,比标准注意力快16倍
H100利用率飙升至75%!英伟达亲自下场FlashAttention三代升级,比标准注意力快16倍大模型训练推理神作,又更新了!
来自主题: AI资讯
8548 点击 2024-07-12 15:39
大模型训练推理神作,又更新了!
来自佐治亚理工学院和英伟达的两名华人学者带队提出了名为RankRAG的微调框架,简化了原本需要多个模型的复杂的RAG流水线,用微调的方法交给同一个LLM完成,结果同时实现了模型在RAG任务上的性能提升。
2018年夏天,夏立雪提交了他在清华大学电子工程系的博士论文。时间往前推5年,他的导师汪玉刚刚成为副教授,有了带博士的资格,于是夏立雪成为了汪玉的第一位博士生,进入了NICS-EFC实验室,这个实验室专注于做一件事:
纯国产GPU的万卡集群,它来了! 而且还是国内首个全功能GPU,兼容CUDA的那种。
检索增强式生成(RAG)是一种使用检索提升语言模型的技术。
英伟达CEO黄仁勋的最新炉边谈话,被热议了。
只要仍使用英语训练 LLM 模型,美国就还有优势。
很翔实的一篇教程。
前Meta老将开发蛋白质生成式AI模型 ESM3。
英伟达投的Sora竞品,服务器又双叒被挤爆了!