NVIDIA GH200 超级芯片以前所未有的效率革新 Apache Spark
realtime news Aug 21, 2024 09:30
NVIDIA 的 GH200 超级芯片通过 35 倍更快的查询响应和最多 22 倍更少的节点大幅提升了 Apache Spark 的性能，显著降低了能耗。
随着生成式 AI 的增长持续激增，IT 领导者正在寻求优化数据中心资源的方法。根据 NVIDIA 技术博客，新推出的 NVIDIA GH200 Grace Hopper 超级芯片为 Apache Spark 用户提供了突破性的解决方案，承诺在能源效率和节点整合方面实现显著改进。
解决基于 CPU 的 Apache Spark 系统中的传统瓶颈
作为一种多语言开源系统，Apache Spark 在各个行业中处理海量数据方面发挥了重要作用。尽管有其优势，传统的基于 CPU 的系统仍面临重大限制，导致数据处理工作流程效率低下。
开创融合 CPU-GPU 超级芯片的新纪元
NVIDIA 的 GH200 超级芯片通过集成基于 Arm 的 Grace CPU 和 Hopper GPU 架构解决了这些限制，并通过 NVLink-C2C 技术连接。这种集成提供了高达 900 GB/s 的带宽，显著超越了传统系统中的标准 PCIe Gen5 通道。
GH200 的架构允许 CPU 和 GPU 之间无缝共享内存，消除了数据传输的需求，从而将 Apache Spark 工作负载加速多达 35 倍。对于超过 1,500 个节点的大型集群，这意味着节点数量减少高达 22 倍，每年节省高达 14 GWh 的能量。
NVIDIA GH200 在 NDS 性能基准测试中设定了新高
使用 NVIDIA 决策支持 (NDS) 基准测试显示，在 GH200 上运行 Apache Spark 的速度显著快于高级 x86 CPU。具体地说，在 10 TB 数据集上执行 100 多个 TPC-DS SQL 查询仅用了 6 分钟，而在 x86 CPU 上需要 42 分钟。
显著查询加速包括：
- 查询67：36 倍加速
- 查询14：10 倍加速
- 查询87：9 倍加速
- 查询59：9 倍加速
- 查询38：8 倍加速
降低功耗并减少能源成本
随着数据集的增大，GH200 的效率变得更加明显。在一个 100 TB 的数据集中，GH200 在一个 16 节点的集群上仅需 40 分钟，而传统设置需要 344 个 CPU 才能达到相同的结果。这意味着节点数量减少 22 倍，能源节省 12 倍。
卓越的 SQL 加速和价格性能
HEAVY.AI 对 GH200 与一个 8x NVIDIA A100 PCIe 实例进行了基准测试，报告了在 100 TB 数据集上实现了 5 倍加速和 16 倍成本节省。在更大的 200 TB 数据集上，GH200 仍实现了 2 倍加速和 6 倍成本节省。
HEAVY.AI 的首席技术官兼联合创始人 Todd Mostak 表示：“我们的客户做出数据驱动的、时间敏感的决策，这些决策对其业务有巨大影响。我们对 GH200 将为我们的客户解锁的新业务洞察和成本节省感到兴奋。”
开始你的 GH200 Apache Spark 迁移
企业可以利用 RAPIDS 加速器无缝迁移工作负载到 GH200。此迁移承诺显著的运营效率，GH200 已在全球九台超级计算机上运行，并可通过各种云提供商获取。欲了解更多详细信息，请访问 NVIDIA 技术博客。
Image source: Shutterstock