谷歌云在云Next大会上宣布,将于下月上线A3虚拟机实例。这款实例最大的亮点是配备了英伟达H100 Tensor Core GPU,以满足生成式AI和大语言模型的需求。 A3实例采用了第4代英特尔至强可扩展处理器、2TB DDR5-4800内存,以及8张英伟达H100“Hopper”GPU,通过NVLink 4.0和NVSwitch实现了3.6TBps的对分带宽。这款超级计算机“专门用于训练和服务要求最苛刻的人工智能模型,这些模型为当今的生成人工智能和大型语言模型创新提供动力”。据介绍,这款超级计算机可以提供26 exaFlops的人工智能性能。 此外,谷歌云还介绍了全新的TPU v5e,这是迄今为止最具成本效益和可访问的云TPU。这些TPU或定制ASIC旨在加速AI和ML工作负载。据SDxCentral报道,TPU v5e相较于前代,每美元的训练性能提高了1倍,每美元的推理性能提高了2.5倍。