Oracle在OCI上扩展NVIDIA GPU实例以支持AI和数字孪生
realtime news Aug 01, 2024 02:23
Oracle Cloud Infrastructure (OCI) 现在提供NVIDIA L40S GPU裸金属实例，增强了AI和数字孪生功能。
据NVIDIA博客报道，Oracle Cloud Infrastructure (OCI) 宣布提供NVIDIA L40S GPU裸金属实例。这一扩展旨在满足对生成式AI、大型语言模型(LLM)和数字孪生等先进技术日益增长的需求。
NVIDIA L40S现可在OCI上订购
NVIDIA L40S GPU旨在提供多工负载加速，可以用于生成式AI、图形和视频等各种应用。它配备了第四代Tensor Core，并支持FP8数据格式，使其非常适合训练和微调中小型LLM，并在广泛的用例中执行推理。
例如，单个L40S GPU在使用NVIDIA TensorRT-LLM进行Llama 3 8B推理时，每秒生成的代币量比单个NVIDIA A100 Tensor Core GPU多1.4倍。L40S在图形和媒体加速方面也表现出色，适合高级可视化和数字孪生应用。它的实时光线追踪性能比其前代产品高出3.8倍，并支持NVIDIA DLSS 3，提供更快的渲染和更流畅的帧率。
OCI将在其BM.GPU.L40S.4裸金属计算形态中提供L40S GPU，每个形态有四个NVIDIA L40S GPU，每个GPU有48GB的GDDR6内存。此设置包括7.38TB容量的本地NVMe驱动器，112核的第四代Intel Xeon CPU，以及1TB的系统内存。这些配置消除了虚拟化开销，适用于高吞吐量和低延迟的AI或机器学习任务。
“我们选择OCI AI基础设施的裸金属实例和NVIDIA L40S GPU，以实现30%更高效的视频编码，” Beamr Cloud首席执行官Sharon Carmel表示。“这将减少最多50%的存储和网络带宽消耗，加快文件传输速度，并提高最终用户的生产力。”
即将在OCI上提供单GPU H100虚拟机
OCI将很快推出由单个NVIDIA H100 Tensor Core GPU加速的VM.GPU.H100.1计算虚拟机形态。这一新产品旨在为企业提供经济高效的按需访问，利用NVIDIA H100 GPU的强大性能来处理其生成式AI和高性能计算(HPC)任务。
单个H100 GPU每秒可以为Llama 3 8B生成超过27,000个代币，提供的吞吐量达到单个A100 GPU在FP16精度下的四倍。VM.GPU.H100.1形态包括2×3.4TB的NVMe驱动器容量，13核的第四代Intel Xeon处理器，以及246GB的系统内存，非常适合各种AI任务。
GH200裸金属实例现已可验证
OCI还提供了BM.GPU.GH200计算形态，供客户测试。该形态特点是NVIDIA Grace Hopper Superchip和NVLink-C2C，提供NVIDIA Grace CPU和Hopper GPU之间高带宽、缓存一致的900GB/s连接。这一设置使得运行数TB数据的应用性能比NVIDIA A100 GPU高出多达10倍。
优化的软件以用于企业AI
为了最大化GPU加速计算实例的潜力，需要一个优化的软件层。NVIDIA NIM是NVIDIA AI Enterprise软件平台的一部分，在OCI Marketplace上提供，提供了一组微服务，旨在实现高性能AI模型推理的安全、可靠的部署。
优化了NVIDIA GPU的NIM预构建容器提供了更低的拥有成本、更快的上市时间和增强的安全性。这些微服务可以轻松部署在OCI上，使企业能够开发出顶尖的生成式AI应用。
欲了解更多信息，请访问NVIDIA博客。
Image source: Shutterstock