新电脑通过集成LangSmith实现50%的更高召回率
realtime news Jul 03, 2024 04:23
新电脑通过使用LangSmith的先进系统增强了记忆检索，实现了50%更高的召回率和40%更高的精度。
据LangChain博客报道，新电脑通过集成LangSmith显著增强了其记忆检索系统，实现了比以前基线高50%的召回率和40%的精度提升。
关于新电脑
新电脑是Dot背后的团队，Dot是第一个设计为真正理解用户的个人AI。Dot的长期记忆系统通过观察口头和行为线索不断演变，通过提供及时而个性化的帮助，创造出真正理解的感知。
Dot代理记忆的简要概述
新电脑开发的创新的代理记忆系统可动态创建或预计算未来检索的文档。与标准的检索增强生成（RAG）方法不同，该系统在记忆创建过程中对信息进行结构化，确保随着记忆累积能够进行准确和高效的检索。
Dot的记忆包括状态（如已完成或进行中）等元字段，以及开始或截止日期等日期时间字段，这些字段在高频查询时作为额外的过滤器。
通过LangSmith改进记忆检索
新电脑利用LangSmith对标记示例数据集进行快速迭代。为了维护用户隐私，生成了合成数据，创造了具有LLM生成背景故事的合成用户。团队将查询和可用记忆存储在LangSmith数据集中，为每个查询标记相关的记忆，并定义了精度、召回率和F1等评估指标。
实验从使用语义搜索检索相关记忆的基线系统开始。各种技术被测试以评估性能，包括相似性搜索和BM25等关键词方法。在某些情况下，按元字段进行预过滤是有效性能的必要条件。
LangSmith的SDK和实验UI使新电脑能够高效地运行和评估这些实验，大大改进了他们的记忆系统。
通过LangSmith调整对话提示
Dot的响应是通过动态对话提示生成的，结合了相关的记忆、工具使用和高度上下文化的行为指令。为了优化提示，合成用户生成了一系列查询，使团队能够使用LangSmith的实验比较视图检查提示变化的全局效果。
在失败案例中，可直接在LangSmith UI中调整提示，提高了迭代速度，同时评估和调整对话提示。
新电脑的下一步计划
随着新电脑旨在深化人类与AI的关系，他们继续增强Dot适应用户偏好和提供定制化体验的能力。随着最近的发布带来了新的一波用户，包括45%的应用付费层转化率，与LangChain的合作和使用LangSmith在模拟复杂的人机交互中仍然是关键。
Image source: Shutterstock