OCR终结了？旷视提出支持文档级OCR的多模态大模型，支持中英文，已开源！
OCR终结了？旷视提出支持文档级OCR的多模态大模型，支持中英文，已开源！想将一份文档图片转换成Markdown格式？这一次，只需一句话命令，多模态大模型Vary直接端到端输出结果：
来自主题: AI资讯
8028 点击 2023-12-25 16:32
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
想将一份文档图片转换成Markdown格式？这一次，只需一句话命令，多模态大模型Vary直接端到端输出结果：
在Transformer占据多模态工具半壁江山的时代，大核CNN又“杀了回来”，成为了一匹新的黑马。
身价1050亿美元，每天还在亲自动手敲代码！？就连谷歌最新大招Gemini大模型的核心贡献者名单中，也有他的名字。
OpenAI GPT-4V 和 Google Gemini 都展现了非常强的多模态理解能力，推动了多模态大模型（MLLM）快速发展，MLLM 成为了现在业界最热的研究方向。
构建AI Agent有三步：第一步，专家知识的数字化；第二步，支持更多模态的交互；第三步，领域知识的循环沉淀。
在Gemini开放API不到一周的时间，港中文等机构就完成评测，联合发布了多达128页的报告，结果显示：在37个视觉理解任务上，Gemini-Pro表现出了和GPT-4V相当的能力。
多模态技术是 AI 多样化场景应用的重要基础，多模态大模型（MLLM）展现出了优秀的多模态信息理解和推理能力，正成为人工智能研究的前沿热点。上周，谷歌发布 AI 大模型 Gemini，据称其性能在多模态任务上已全面超越 OpenAI 的 GPT-4V，再次引发行业的广泛关注和热议。
多模态大语言模型展现了强大的图像理解和推理能力。但要让它们基于当前观测来对未来事件进行预测推理仍然非常困难。
12月15日，上海交通大学医学院附属瑞金医院正式发布瑞金医学大模型矩阵，涵盖RJH-Base基座大模型、RJH-Med应用大模型，以及多模态大模型，并携手上海人工智能实验室、腾讯等建设可持续发展的医学大模型应用生态，实践以数据、知识、算法、模型为关键驱动的医学AI新范式。
GPT 4.5疑似大泄漏： 一个是新模型将具备全新多模态能力，文本语音图片以及视频和3D信息全都能一并处理，并且还可以跨模态理解。