Anyscale 和 MongoDB 合作增强多模态搜索

据 Anyscale 称，领先的 AI 应用平台 Anyscale 宣布与 MongoDB 合作改善多模态搜索能力。此次合作旨在解决传统搜索系统的局限性，为处理大量多模态数据的企业提供更复杂的搜索体验。

传统搜索系统的挑战

企业常常面临无法处理包含文本、图像和结构化数据的多模态数据的传统搜索系统。传统系统通常依赖于匹配文本标记的词汇搜索方法，导致召回率低和搜索结果无关紧要。

例如，一个电子商务平台在搜索“绿色连衣裙”时，可能会由于词汇搜索的局限性而返回像“Bio Green Apple Shampoo”这样的项目。这是因为搜索系统只匹配文本标记，而不理解查询背后的语义意义。

使用 Anyscale 和 MongoDB 的创新解决方案

Anyscale 和 MongoDB 之间的合作旨在通过利用先进的 AI 模型和可扩展的数据索引管道来克服这些局限性。解决方案包括：

• 使用 Anyscale 运行多模态大语言模型（LLM），从图像和名称生成产品描述。

• 为产品名称和描述生成嵌入，然后将其索引到 MongoDB Atlas 矢量搜索中。

• 创建一个将传统文本匹配与高级语义搜索能力结合的混合搜索后端。

这种方法通过理解查询的语义背景并返回更准确的结果来提高搜索相关性和用户体验。

用例：电子商务平台

一个示例用例是一个拥有大量产品目录的电子商务平台。该平台旨在通过实施一个可以处理文本和图像数据的可扩展多模态搜索系统来改进其搜索能力。这个实施所用的数据集是 Myntra 数据集，包含印度时尚电子商务公司 Myntra 的产品图像和元数据。

传统的搜索系统只能匹配文本标记，导致无关的搜索结果。通过使用 Anyscale 和 MongoDB，平台现在可以通过理解查询的语义意义并使用图像丰富搜索背景来返回更相关的结果。

系统架构

系统分为两个主要阶段：离线数据索引阶段和在线搜索阶段。数据索引阶段处理、嵌入并插入文本和图像到 MongoDB 中，而搜索阶段则实时处理搜索请求。

数据索引阶段

这一阶段包括：

• 使用多模态 LLM 丰富元数据，生成产品描述和元数据字段。

• 生成产品名称和描述的嵌入。

• 将数据摄取到 MongoDB Atlas 矢量搜索中。

搜索阶段

搜索阶段结合传统文本匹配和高级语义搜索。它包括：

1. 从前端发送搜索请求。

2. 在入口部署处处理请求。

3. 为查询文本生成嵌入。

4. 在 MongoDB 上执行矢量搜索。

5. 将搜索结果返回给前端。

结论

Anyscale 和 MongoDB 之间的合作代表了多模态搜索技术的重大进步。通过集成先进的 AI 模型和可扩展的数据索引管道，企业现在可以提供更相关和高效的搜索体验。这一解决方案对于希望改善其搜索能力和用户体验的电子商务平台特别有利。

欲了解更多信息，请访问 Anyscale 博客。