微调超大参数模型，现在的“打开方式”已经大变样了： 仅需2-4 张消费级显卡（4090），就能在本地对DeepSeek 671B乃至Kimi K2 1TB这样的超大模型进行微调了。
在 AI 工具风靡开发圈之前，一批经验丰富的资深程序员，对它们始终保持警惕。这些人，包括 Flask 作者 Armin Ronacher（17 年开发经验）、PSPDFKit 创始人 Peter Steinberger（17 年 iOS 和 macOS 开发经验），以及 Django 联合作者 Simon Willison（25 年编程经验）。然而，就在今年，他们的看法都发生了根本转变。
近日，北京航空航天大学的研究团队基于 TinyLLaVA_Factory 的原项目，推出小尺寸简易视频理解框架 TinyLLaVA-Video，其模型，代码以及训练数据全部开源。在计算资源需求显著降低的前提下，训练出的整体参数量不超过 4B 的模型在多个视频理解 benchmark 上优于现有的 7B + 模型。
大模型长序列的处理能力已越来越重要，像复杂长文本任务、多帧视频理解任务、以及 OpenAI 近期发布的 o1、o3 系列模型的高计算量模式，需要处理的输入 + 输出总 token 数从几万量级上升到了几百万量级。
Infactory.ai作为一款专注于事实审查的AI搜索引擎，旨在通过使用大语言模型理解搜索意图，而非直接生成搜索结果，以此来提供准确、透明的搜索结果，从根本上避免了搜索结果的幻觉问题，同时依然能提高用户使用搜索工具的效率。
Infactory完成400万美元融资，推AI审查搜索引擎。
TinyLLaVA 项目由清华大学电子系多媒体信号与智能信息处理实验室 (MSIIP) 吴及教授团队和北京航空航天大学人工智能学院黄雷老师团队联袂打造。清华大学 MSIIP 实验室长期致力于智慧医疗、自然语言处理与知识发现、多模态等研究领域。北航团队长期致力于深度学习、多模态、计算机视觉等研究领域。
