如今，多模态大模型（MLLM）已经在视觉理解领域取得了长足进步，其中视觉指令调整方法已被广泛应用。该方法是具有数据和计算效率方面的优势，其有效性表明大语言模型（LLM）拥有了大量固有的视觉知识，使得它们能够在指令调整过程中有效地学习和发展视觉理解。
本文中，香港大学与 Adobe 联合提出名为 UniReal 的全新图像编辑与生成范式。该方法将多种图像任务统一到视频生成框架中，通过将不同类别和数量的输入/输出图像建模为视频帧，从大规模真实视频数据中学习属性、姿态、光照等多种变化规律，从而实现高保真的生成效果。
多模态信号，包括文本、音频、图像和视频等，可以被整合到语义通信中，在语义层面提供低延迟、高质量的沉浸式体验。
近年来，随着 Stable Diffusion 等文本到图像生成模型的发展，这些技术使得在保留内容准确性的同时，实现出色的风格转换成为可能。这项技术在数字绘画、广告和游戏设计等领域具有重要的应用价值。
面对AI圈疯传的「数据如化石燃料一般正在枯竭」，我们该如何从海量数据中掘金？AI炼出的数据飞轮2.0，或许就是答案。
要让大模型适应各不一样的下游任务，微调必不可少。常规的中心化微调过程需要模型和数据存在于同一位置 —— 要么需要数据所有者上传数据（这会威胁到数据所有者的数据隐私），要么模型所有者需要共享模型权重（这又可能泄露自己花费大量资源训练的模型）。
Florence-VL 提出了使用生成式视觉编码器 Florence-2 作为多模态模型的视觉信息输入，克服了传统视觉编码器（如 CLIP）仅提供单一视觉表征而往往忽略图片中关键的局部信息。
如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
现如今，以 GPT 为代表的大语言模型正深刻影响人们的生产与生活，但在处理很多专业性和复杂程度较高的问题时仍然面临挑战。在诸如药物发现、自动驾驶等复杂场景中，AI 的自主决策能力是解决问题的关键，而如何进行决策大模型的高效训练目前仍然是开放性的难题。
BLT 在许多基准测试中超越了基于 token 的架构。
