Dunes通过 DuckDB 集成增强 API 功能

realtime news  Aug 02, 2024 00:37  UTC 16:37

1 Min Read

Dune.com 报道,Dunes 宣布通过集成 DuckDB 大幅提升其 API,旨在解决用户对分页、更大查询结果以及过滤和排序等附加功能的需求。

动机与背景

这些改进源于用户反馈,强调了分页需求和处理更大查询结果的需求,此前限制为 1GB。Dunes 的原始架构主要是为了仪表板上的可视化而设计的,并不需要处理大数据集或分页。这一限制促使开发团队在 2023 年底优先考虑这些功能。

扩展使用案例

为了更好地服务开发者社区,Dunes 采用了一种整体方法,专注于现实使用案例而不是具体的功能请求。这一策略包括创建用户故事,详细描述了各种需求,如搜索和过滤大数据集、将数据导入图表以及对加密交易进行数据科学分析。这些洞察引导了一个更灵活和强大的 API 的开发。

DuneSQL 和查询结果

Dunes 上的所有数据都可以使用 DuneSQL 进行查询,它采用 Trino,一个分布式查询引擎。虽然 DuneSQL 功能强大,但在新需求上,如低延迟响应和成本效益执行方面,仍面临挑战。这促使团队寻求替代解决方案。

采用 DuckDB

在评估了各种选项后,Dunes 选择了 DuckDB,因为它支持 JSON 和 Parquet 数据格式、高性能 SQL 引擎、灵活性和易用性。DuckDB 让 Dunes 能够快速加载和缓存查询结果,使 API 请求能够在 100 毫秒以内响应。这一集成显著提高了 API 的性能和成本效益。

新功能和 API

DuckDB 的集成为 Dunes API 启用了一些新功能:

  • 分页:以可管理的块检索数据。
  • 过滤:根据特定列和条件应用过滤器。
  • 排序:按指定顺序组织查询结果。
  • 抽样:检索数据集的统一样本以进行高效分析。

此外,这些功能无缝集成到 Dunes 的其他功能中,如查询调度器和物化视图,增强了整体开发者体验。

结论

Dunes 集成 DuckDB 代表着在解决用户需求和扩展其 API 功能方面向前迈出了重要的一步。这一战略举措不仅解决了即时的功能请求,还为将来的增强奠定了基础,使 Dunes API 成为一个功能更强大的开发工具。

更多详情,请访问 Dunes 的 API 文档



Read More