Couchbase 在其数据库产品中加入向量搜索功能

向量数据库的起源可以追溯到几十年前。在过去的 10 年里，它们的受欢迎程度开始随着机器学习技术的发展而增加，现在，随着创新的爆炸性增长以及大型语言模型和生成式人工智能的采用，似乎每个人都想涉足向量数据库业务。

简而言之，向量是新的 JSON。

Amazon Web Services、Microsoft Azure 和 Google Cloud 等主要云服务提供商正在为其无数数据库服务填充向量搜索功能，而 Oracle、MongoDB、Snowflake 和 DataStax 等老牌数据库制造商已经在其某些产品中提供了向量功能。还有越来越多的小公司（例如 Pinecone、Milvus、Chroma 和 Weaviate）提供开源向量数据库。

最近，Google Cloud 和 Couchbase 都在其数据库产品中扩展了向量搜索功能。谷歌云去年宣布在其 Cloud SQL for PostgreSQL 和 AlloyDB for PostgreSQL 托管数据库上支持 pgvector 向量搜索功能，并推出了跨更多数据库的向量搜索，包括 Spanner、MySQL 和 Redis，并与 LangChain (LangChain) 进行了更多集成。用于创建基于语言的应用程序的框架。

Couchbase 表示，它正在将向量搜索作为其 Capella 数据库即服务 (DBaaS) 和 Couchbase Server 中的一项功能，使企业能够在本地、云端和外部使用向量搜索功能。移动和物联网 (IoT) 设备的优势。 NoSQL 数据库供应商还添加了对 LangChain 和 LlamaIndex 的支持，以帮助开发人员使用 LLMs。

“对数据库的影响是你必须支持向量搜索，”Couchbase 产品管理和业务运营高级副总裁 Scott Anderson 告诉 The Next Platform。 “我们显然是通过这个公告来做到这一点的，我们的想法是它是应用程序开发人员所需的更大平台和一组功能的一部分。因为他们需要不同的访问模式或者他们正在编写不同类型的查询，所以您需要能够支持所有这些：亚毫秒级响应时间的 KV、更复杂的查询（可以通过正常查询或查询来完成）列式数据库中的大量数据。能够进行全文搜索、地理空间搜索和语义搜索都是关键能力。”

生成式人工智能推动快速增长的市场

全球向量数据库市场预计将迅速扩张，从去年的 15 亿美元增长到 2028 年的 43 亿美元，这在很大程度上是由于 LLMs 和机器学习的广泛使用以及高度个性化和自适应人工智能的泛滥所推动的由企业开发和部署的用于搜索、推荐和其他用例的应用程序。

组织可以使用向量数据库来存储和访问结构化和非结构化数据——例如文本、图像、视频和音频。向量嵌入通常是通过机器学习生成的，以赋予数据对象语义。相似的对象将具有相似的向量并且彼此距离更近，因此使用近似最近邻 (ANN) 算法的搜索可以提高搜索者的速度和准确性。

“我们使用的一个例子是：我想要一双与我的汽车颜色相配的蓝色鞋子，”安德森说。 “我想要这些品牌，阿迪达斯、耐克和 ASICS，在这个价格范围内，并且在我家 15 英里范围内，他们需要有这几种尺码，并且需要有可用库存。我给了你一堆输入，我如何处理这些输入是通过广泛的范围。这是对库存的查询。这是地理空间服务，可以了解商店并找到库存。将蓝色向量化后，我上传我的汽车照片，然后能够进行向量化搜索，以查看与我正在寻找的蓝色最接近的颜色，这是基于价格的范围搜索。”

他说，企业正在与更具体的消费者打交道，用更多上下文填充他们的搜索以获得最佳结果，并补充说该示例说明了应用程序级别的影响。 “数据库必须能够提供这些功能，”他说。

向量搜索的引入是 Couchbase 将人工智能功能引入 Capella 的最新举措。其中包括 Capella iQ，这是一种由 ChatGPT 支持的人工智能云服务，开发人员在编写代码、索引和示例数据时可以通过自然语言进行交互。在 AWS Reinvent 大会上，该公司在 Capella 中推出了一项用于实时分析的柱状服务，该服务处于私人预览版。

所有搜索均在单一平台上进行

安德森表示，Couchbase 希望通过将向量搜索服务添加到提供其他功能的同一平台上，而不是提供单一用途的向量数据库来实现自己的差异化。

“使用单一用途向量数据库时遇到的挑战之一实际上是延迟，因为您试图组合应用程序中的多种访问模式以便能够返回结果，”他说。 “能够进入单一数据平台可确保您的数据在整个平台上保持一致，其中数据全部复制到所有节点。没有真正的延迟，因为我们进行内存到内存的复制。如果您有一堆单一用途的数据库，则需要在这些数据库之间同步数据，并且使用多个 API 来访问数据，而不是通过一次调用访问数据平台本身。”

在所有 Couchbase 产品中进行向量搜索可实现相似性搜索和混合搜索，将文本、向量、范围和地理空间搜索、检索增强生成 (RAG) 相结合，使 AI 软件更准确、更安全，并为所有搜索模式提供单一索引以减少延迟。

移动：下一个前沿

安德森说，数据库参与者（包括 Couchbase）的关键是适应人工智能快速发展的本质。随着人工智能领域的发展，新模型和其他创新不断涌现，像 Couchbase 这样的供应商需要“愿意对你认为将会起飞的技术进行一些押注”，同时平衡这一点与保持开放平台和 API 将使他们能够支持不断变化和发展的广泛生态系统。

“我们一直都有全文搜索，我们添加了地理空间和一些查询，”他说。 “我们的工程团队正在努力引入在 JSON 文档中有效存储向量的能力、创建这些索引的能力，然后能够大规模地实现这一点。”

Couchbase 还希望将向量搜索引入移动和物联网设备的边缘，并计划将向量搜索引入供应商的嵌入式数据库 Couchbase Lite。商业用户和个人继续在智能手机和其他移动设备上做更多的事情，更多的人工智能应用程序将以此方式进行。

“我们的移动解决方案的独特之处在于，您可以访问所有数据，因为我们将其保留在该设备上，无论网络连接如何，”安德森说。 “它在现场服务、零售等领域非常受欢迎。这不仅带来了来自云端的更多机会，还带来了一直到边缘的更多机会。我们讨论过的例子之一是能够用手机拍照，然后根据该照片创建嵌入，然后能够在设备上搜索以找到与各种图像最接近的匹配。你可以想象零售环境和许多其他环境。”

作者：杰弗里·伯特
2024 年 3 月 8 日