文本向量的长度偏差及其在搜索中的影响
文本向量的长度偏差及其在搜索中的影响向量模型的核心功能是测量语义相似度，但这个测量结果很容易受到多种干扰因素的影响。在本文中，我们将着眼于文本向量模型中一个普遍存在的偏差来源：输入内容的长度。
来自主题: AI技术研报
8951 点击 2025-04-17 14:19
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
向量模型的核心功能是测量语义相似度，但这个测量结果很容易受到多种干扰因素的影响。在本文中，我们将着眼于文本向量模型中一个普遍存在的偏差来源：输入内容的长度。
2025 年 2 月发布的 NoLiMA 是一种大语言模型（LLM）长文本理解能力评估方法。不同于传统“大海捞针”（Needle-in-a-Haystack, NIAH）测试依赖关键词匹配的做法，它最大的特点是 通过精心设计问题和关键信息，迫使模型进行深层语义理解和推理，才能从长文本中找到答案。
在32道高等数学测试中，LLM表现出色，平均能得分90.4(按百分制计算)。GPT-4o和Mistral AI更是几乎没错！向量计算、几何分析、积分计算、优化问题等，高等AI模型轻松拿捏。研究发现，再提示（Re-Prompting）对提升准确率至关重要。
智源联手多所顶尖高校发布的多模态向量模型BGE-VL，重塑了AI检索领域的游戏规则。它凭借独创的MegaPairs合成数据技术，在图文检索、组合图像检索等多项任务中，横扫各大基准刷新SOTA。
BGE 系列模型自发布以来广受社区好评。近日，智源研究院联合多所高校开发了多模态向量模型 BGE-VL，进一步扩充了原有生态体系。
什么，你在开发RAG竟然还没听说过Embedding模型还有排名？在AI应用开发热潮中，Embedding模型的选择已成为决定RAG系统成败的关键因素。然而，令人惊讶的是，许多开发者仍依靠直觉或跟风选择模型，而非基于系统化评估。
最初，查询扩展是为那些靠关键词匹配来判断相关性的搜索系统设计的，比如 tf-idf 或其他稀疏向量方案。这类方法有些天然的缺陷：词语稍微变个形式，像 "ran" 和 "running"，或者 "optimise" 和 "optimize"，都会影响匹配结果。虽然可以用语言预处理来解决一部分问题，但远远不够。技术术语、同义词和相关词就更难处理了。
在机器学习和数据科学领域，余弦相似度长期以来一直是衡量高维对象之间语义相似度的首选指标。余弦相似度已广泛应用于从推荐系统到自然语言处理的各种应用中。它的流行源于人们相信它捕获了嵌入向量之间的方向对齐，提供了比简单点积更有意义的相似性度量。
最近，LAION AI 的创始人 Christoph Schuhmann 分享了一个有趣的发现，他指出，文本向量模型似乎存在一个问题：即使句子词序被打乱，模型输出的向量与原句仍然高度相似。
长文本向量模型能够将十页长的文本编码为单个向量，听起来很强大，但真的实用吗？ 很多人觉得... 未必。 直接用行不行？该不该分块？怎么分才最高效？本文将带你深入探讨长文本向量模型的不同分块策略，分析利弊，帮你避坑。