中科院等万字详解：最前沿图像扩散模型综述
中科院等万字详解：最前沿图像扩散模型综述针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。
来自主题: AI技术研报
4862 点击 2024-03-07 14:24
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。
李开复旗下AI公司零一万物，又一位大模型选手登场：
半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。
模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开销并加快推理速度。对于具有海量参数的大语言模型而言，模型量化显得更加重要。
彭博社消息称，新一轮融资或将使MiniMax估值超25亿美元。目前阿里和红杉已承诺将参与本轮融资，其余跟投者还在洽谈中，相关条款可能会有所调整。
我们将介绍 AI 生成内容加水印的方法，讨论其优缺点，并展示 Hugging Face Hub 上一些可用于添加/检测水印的工具。
在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。
网友测试Claude之后惊呼：实测比跑分厉害多了！智商测试中碾压GPT-4，得分高达101。而且能发现量子物理学家还未发表的量子算法。
Stability AI放出了号称能暴打闭源模型的Stable Diffusion 3的技术报告，采用DiT构架的新模型在灵活性和性能上都达到了新的高度。
已经第一时间氪金到了 claude 3 Pro，准备接下来停用GPT-4（直到GPT-4.5出来），日常工作完全用Claude 3 Opus。
在2024年2月份，OpenAI推出了一项创新的文本转视频模型，名为Sora。这一模型标志着视频生成技术取得了显著的进步。Sora具备将简短文本描述转化为长达一分钟的详尽且高清晰度视频片段的能力。
在 2024 世界经济论坛的一次会谈中，图灵奖得主 Yann LeCun 提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间 [1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，
最近，文生视频模型 Sora 掀起了新一轮生成式 AI 模型浪潮，模型的多模态能力引起广泛关注。
Sora 的发布让整个 AI 领域为之狂欢，但 LeCun 是个例外。
谷歌在语言和声控计算机界面的漫长道路上又迈出了重要一步。最新ScreenAI视觉语言模型，能够完成各种屏幕QA问答、总结摘要等任务。
最近，OpenAI 的视频生成模型 Sora 爆火，生成式 AI 模型在多模态方面的能力再次引起广泛关注。
这个名为DUSt3R的新工具，火得一塌糊涂，才上线没多久就登上GitHub热榜第二。
去年 12 月，新架构 Mamba 引爆了 AI 圈，向屹立不倒的 Transformer 发起了挑战。如今，谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。
近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型压缩到 1.0073 个比特时，仍然能使其保持约 83% 的性能！
随着 Sora 的爆火，人们看到了 AI 视频生成的巨大潜力，对这一领域的关注度也越来越高。
只靠一张物体图片，大语言模型就能控制机械臂完成各种日常物体操作吗？
谷歌DeepMind、UC伯克利和MIT的研究人员认为，如果用大语言模型的思路来做大视频模型，能解决很多语言模型不擅长的问题，可能能更进一步接近世界模型。
在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务的复杂性且通常没有标准答案，则通常直接以人类标注者或高性能大模型（LLM-as-a-Judge）的偏好标注作为评判标准。
有人表示：「等待已久的 AI 图像创建功能终于迎来了图层！」
Sora刚发布不久，就被逆向工程“解剖”了？！
GPT早已成为大模型时代的基础。国外一位开发者发布了一篇实践指南，仅用60行代码构建GPT。
最近，OpenAI 视频生成模型 Sora 的爆火，给基于 Transformer 的扩散模型重新带来了一波热度，比如 Sora 研发负责人之一 William Peebles 与纽约大学助理教授谢赛宁去年提出的 DiT（Diffusion Transformer）。
随着对Sora技术分析的展开，AI基础设施的重要性愈发凸显。
许久未更新大模型的英伟达推出了150亿参数的Nemotron-4，目标是打造一个能在单个A100/H100可跑的通用大模型。
本文提出了扩散模型中UNet的long skip connection的scaling操作可以有助于模型稳定训练的分析，目前已被NeurIPS 2023录用。同时，该分析还可以解释扩散模型中常用但未知原理的1/√2 scaling操作能加速训练的现象。