上个月，MongoDB 宣布推出矢量搜索公开预览版，其中包括对其 Atlas 数据库即服务开发者平台的更新。 随着人们对将大型语言模型 (LLM) 投入生产的兴趣日益浓厚，此举意味着文档数据库 MongoDB 将加入 Cassandra、PostgreSQL 和 SingleStore 等支持类似功能的系统之中。
法学硕士在过去六个月中受到了极大的炒作，其中 OpenAI 的 GPT 4.0 占据了大部分媒体报道时间。 这个想法是从文本语料库中以自然语言问答的形式提取一些含义。 单词、句子和其他文本单元之间的关系被表示为多维向量（有时达到数百个维度），然后解析这些向量以找到最可能的关联。
预见到这种文本和其他数据分析形式的繁荣，一组供应商开发了专业数据库，其架构专为该任务设计。 问题是，是使用数据库更好，还是使用开发人员和企业已经熟悉的系统的新功能，并在技术堆栈中标出自己的位置。
然而，MongoDB 认为，用于矢量存储等用例的单一用途数据库通常固定在现有的技术堆栈上，因此导致了更大的管理复杂性和更长的价值实现时间。 该方法还要求开发人员学习新系统。
说起 注册矢量搜索产品管理主管 Ben Flast 表示，高维矢量可以存储在 JSON 文档中，MongoDB 就是围绕该文档设计的。
“将这些高维向量包含在文档中非常简单，”他说。 “当您希望将语义搜索作为一种功能添加到您的应用程序中，并且围绕 LLM 和聊天机器人出现其他新用例时，[您可以]采用您在 MongoDB 部署中存储的相同数据。 您可以嵌入或向量化它，并将该向量添加到各个文档中，然后在其上创建索引。 然后，我们在拥有该索引和支持这些查询方面管理幕后的所有复杂性。”
其他流行的开发人员数据库包括开源关系系统 PostgreSQL 和宽列存储 Cassandra 支持类似的功能。 Pgvector 是一个开源向量扩展，用于 PostgreSQL 的相似性搜索。 “由于在矢量嵌入上，您可以使用人工智能工具来捕获对象之间的关系（矢量表示），因此您还能够以易于计算和可扩展的方式识别它们之间的相似性，” 根据 数据库服务提供商 Aiven。
Cassandra 功能可在 DataStax 的数据库服务 Astra 中使用，并将于今年晚些时候包含在开源 Cassandra 5.0 中。 Apache Cassandra 提交者兼 DataStax 开发者关系副总裁 Patrick McFadin 表示 注册：“一些新的初创公司通过构建专门的矢量搜索数据库创建了业务。 然而，这种有限的方法避免了人工智能工作负载中的其他关键数据。 这些初创公司采用了单一功能，并试图将其转变为单独的产品。
“虽然矢量搜索曾经是一个利基行业的需求，但这些新产品只满足这些利基需求。 如今，随着矢量搜索已成为主流需求，主流数据库正在将矢量搜索作为其开发人员的一项功能。”
但对于专家来说，规模和性能的问题，而不是开发人员的便利性，将确保对其方法的持续需求。
Pinecone 由 Amazon Sagemaker 背后的团队构建，旨在允许机器学习工程师搜索嵌入目录，即常见 ML 算法的基础的单独变量的连续向量表示。 100月份，它在B轮融资中筹集了750亿美元，估值达XNUMX亿美元。
说起 注册Pinecone 产品副总裁 Elan Dekel 表示，虽然每个数据库都可能在不久的将来提供某种向量支持，但它们可能不是适用于所有用例的最有效方法。
“如果你的用例相对较小，那么[通用系统]可能就足够了，”他说。 “但在某些时候，你会意识到你开始打破现有架构的限制。 当您想要达到真正的生产规模时，改造现有的解决方案将意味着要获得这种性能的成本将会激增。
“如果您的用例相对较小，或者您不关心性能，那就没问题。 会有像这样的中间层用例，您可以愉快地继续，但是当您达到真正的生产规模时，您将开始达到现有系统的极限。 如果您想要高性能、支持大规模系统，并且希望以合理的成本高效地实现，您最终会意识到您需要一个专门构建的数据库。”
MySQL 性能专家、数据库服务公司 Percona 的创始人 Peter Zaitsev 表示，解决这一困境不会有单一的答案。
“很多时候，在早期阶段，市场上会出现多种技术，其方法、功能和侧重点略有不同，市场需要时间来稳定下来，”他告诉我们。 注册.
“最后，我预计 SQL 标准将包括一些支持向量搜索应用程序的东西，并且我们将在各种现有数据库中拥有一些独特的扩展，无论是关系型数据库、文档型数据库等。 除此之外，我们还将获得三到五个专用矢量数据库，控制着 95% 的专用矢量数据库市场。”
在专业矢量数据库系统中，除了 Pinecone 之外，还有 Weaviate、Qdrant、Milvus 和 Vespa。
Forrester Research 副总裁兼首席分析师 Noel Yuhanna 表示，他听到了使用这些系统的组织的积极反馈，这些系统承诺访问控制、高可用性、转换、查询优化、资源管理、可扩展性、并发性和快速数据查询，有助于支持法学硕士。
然而，开发人员的熟悉程度将成为大多数支持矢量分析的成熟数据库的强大吸引力。
“虽然原生矢量数据库将脱颖而出，具有更好的性能和规模，但我们可能会看到组织也利用具有矢量功能的传统数据库，这些数据库需要更集成的数据（包括记录系统、参与系统和矢量数据）来提供更丰富的 LLM 应用程序编码更少，”他说。
目前法学硕士炒作机器 OpenAI 的典型代表今年早些时候获得了 29 亿美元的投资，估值约为 300 亿美元。 如果业务应用程序反映了类似的兴趣，那么最好的支持数据库将流行一段时间。 ®
