Dunes通过 DuckDB 集成增强 API 功能

据 Dune.com 报道，Dunes 宣布通过集成 DuckDB 大幅提升其 API，旨在解决用户对分页、更大查询结果以及过滤和排序等附加功能的需求。

动机与背景

这些改进源于用户反馈，强调了分页需求和处理更大查询结果的需求，此前限制为 1GB。Dunes 的原始架构主要是为了仪表板上的可视化而设计的，并不需要处理大数据集或分页。这一限制促使开发团队在 2023 年底优先考虑这些功能。

扩展使用案例

为了更好地服务开发者社区，Dunes 采用了一种整体方法，专注于现实使用案例而不是具体的功能请求。这一策略包括创建用户故事，详细描述了各种需求，如搜索和过滤大数据集、将数据导入图表以及对加密交易进行数据科学分析。这些洞察引导了一个更灵活和强大的 API 的开发。

DuneSQL 和查询结果

Dunes 上的所有数据都可以使用 DuneSQL 进行查询，它采用 Trino，一个分布式查询引擎。虽然 DuneSQL 功能强大，但在新需求上，如低延迟响应和成本效益执行方面，仍面临挑战。这促使团队寻求替代解决方案。

采用 DuckDB

在评估了各种选项后，Dunes 选择了 DuckDB，因为它支持 JSON 和 Parquet 数据格式、高性能 SQL 引擎、灵活性和易用性。DuckDB 让 Dunes 能够快速加载和缓存查询结果，使 API 请求能够在 100 毫秒以内响应。这一集成显著提高了 API 的性能和成本效益。

新功能和 API

DuckDB 的集成为 Dunes API 启用了一些新功能：

• 分页：以可管理的块检索数据。
• 过滤：根据特定列和条件应用过滤器。
• 排序：按指定顺序组织查询结果。
• 抽样：检索数据集的统一样本以进行高效分析。

此外，这些功能无缝集成到 Dunes 的其他功能中，如查询调度器和物化视图，增强了整体开发者体验。

结论

Dunes 集成 DuckDB 代表着在解决用户需求和扩展其 API 功能方面向前迈出了重要的一步。这一战略举措不仅解决了即时的功能请求，还为将来的增强奠定了基础，使 Dunes API 成为一个功能更强大的开发工具。

更多详情，请访问 Dunes 的 API 文档。