在机器学习和数据科学领域，余弦相似度长期以来一直是衡量高维对象之间语义相似度的首选指标。余弦相似度已广泛应用于从推荐系统到自然语言处理的各种应用中。它的流行源于人们相信它捕获了嵌入向量之间的方向对齐，提供了比简单点积更有意义的相似性度量。
最近，LAION AI 的创始人 Christoph Schuhmann 分享了一个有趣的发现，他指出，文本向量模型似乎存在一个问题：即使句子词序被打乱，模型输出的向量与原句仍然高度相似。
长文本向量模型能够将十页长的文本编码为单个向量，听起来很强大，但真的实用吗？ 很多人觉得... 未必。 直接用行不行？该不该分块？怎么分才最高效？本文将带你深入探讨长文本向量模型的不同分块策略，分析利弊，帮你避坑。
命运齿轮转动的开始，源于 2023 年的 3 月 23 日的 OpenAI 一次日常更新。
在 EMNLP 2024 上，我们看到了向量模型的各种创新用法，其中最出人意料的莫过于：文本水印。
将知识图谱技术与RAG有机结合的GraphRAG可谓是今年下半年来的LLM应用领域的一个热点，借助大模型从非结构化文本数据创建知识图谱与摘要，并结合图与向量索引技术来提高对复杂用户查询的检索增强与响应质量。
在人工智能领域，大语言模型（LLM）的向量嵌入能力一直被视为处理文本数据的利器。然而，斯坦福大学和Google DeepMind的研究团队带来了一个颠覆性发现：LLM的向量嵌入能力可以有效应用于回归任务。
利用概念激活向量破解大模型的安全对齐，揭示LLM重要安全风险漏洞。
之前我们聊过 RAG 里文档分块 (Chunking) 的挑战，也介绍了 迟分 (Late Chunking) 的概念，它可以在向量化的时候减少上下文信息的丢失。今天，我们来聊聊另一个难题：如何找到最佳的分块断点。
技术拐点之后，数十元的数字人比以前一百多万的效果更强。
