Together.ai发布Rerank API和Salesforce LlamaRank以增强企业搜索
realtime news Aug 26, 2024 20:27
Together.ai 推出无服务器 Rerank API，并独家访问 Salesforce 的 LlamaRank 模型，增强企业搜索和检索增强生成(RAG)系统。
Together.ai宣布推出新的无服务器 Togetherr Rerank API，这是企业搜索和检索增强生成(RAG)系统的重大进展。根据together.ai，此发布还包括对Salesforce AI研究开发的前沿 reranker 模型——LlamaRank的独家访问权。
革新企业搜索
新推出的Together Rerank API 是一个无服务器端点，设计为与企业应用程序无缝集成。该API简化了开发人员的过程，使他们能够用最少的代码集成支持的 reranker 模型。API 的主要功能包括：
- 对Salesforce's LlamaRank模型的旗舰支持
- 支持JSON和表格数据
- 每个文档的8K上下文
- 低延迟的快速搜索查询
- 兼容Cohere's Rerank API
独家访问LlamaRank
由Salesforce AI研究开发的LlamaRank，显示出比其他领先的rerank模型（如Cohere Rerank v3和Mistral-7B）更优异的性能。该模型增强了文档排序能力，从而提高了信息检索的准确性和效率，无论是在RAG系统还是传统搜索系统中。LlamaRank 支持长度达8,000个token的文档，并且在处理半结构化数据（例如JSON、电子邮件、表格以及代码）时特别有效。
什么是Reranker模型？
Reranker是一种专门的模型，通过重新评估和重新排序一组文档来提高搜索相关性，以便根据查询的相关性进行排序。例如，在技术支持场景中，用户查询如何重置密码时，reranker 会优先考虑最相关的文档，从而提高搜索结果的质量。
Rerank如何提高搜索和RAG
Rerank是现代搜索和RAG系统中的关键组件，作为质量过滤器重新评估最初检索到的文档。此步骤增强了输入语言模型的信息质量，减少了不准确或不相关结果的可能性。Reranker在企业环境中特别有价值，因为各种格式的大量数据需要准确和精确的检索，以帮助决策。
Salesforce LlamaRank：更准确的企业Reranker模型
Salesforce的LlamaRank模型是Llama3-8B-Instruct的微调版本，使用合成数据和Salesforce内部数据分析师标注的人类数据进行训练。该模型在排序一般文档和代码方面表现出色，使其在多种企业应用中极为有用。Salesforce在SQuAD、TriviaQA、Neural Code Search和TrailheadQA等公共数据集上评估了LlamaRank，并证明其具有优越的性能。
Together Rerank API
Together Rerank API旨在为构建RAG应用程序提供无缝的开发体验。它允许开发人员轻松地将支持的reranker模型集成到他们的企业应用中。API 接受查询和一组文档，返回每个文档的相关评分和排序索引。它还可以过滤响应，以仅显示最相关的文档。
如何开始
为了开始，开发人员可以在 Together AI 创建一个API密钥，并按照快速入门文档中的步骤尝试Salesforce的LlamaRank模型。对于生产规模的部署，建议企业联系Together.ai的销售团队。
Image source: Shutterstock