Nvidia在其GTC 2023年春季主题演讲中宣布了一个新的双GPU产品,H100 NVL。这不会带来SLI或多GPU游戏的回归,也不会是最好的游戏显卡之一,而是针对不断增长的AI市场。从Nvidia发布的信息和图片来看,H100 NVL(H100 NVLink)将在顶部采用三个NVLink连接器,相邻的两块卡可插入独立的PCIe插槽。
这是一个有趣的变化,显然是为了适应不支持Nvidia的SXM选项的服务器,重点是推理性能而不是训练。NVLink连接应该有助于提供NVSwitch在SXM解决方案上提供的缺失带宽,而且还有一些其他明显的区别。
以规格为例。以前的H100解决方案--包括SXM和PCIe--都配备了80GB的HBM3内存,但实际包装包含六个堆栈,每个堆栈有16GB的内存。目前还不清楚是否有一个堆栈被完全禁用,或者是用于ECC或其他目的。我们所知道的是,H100 NVL每个GPU将有94GB,总共有188GB HBM3。我们认为每个GPU "缺少 "的2GB是为了ECC。
功率比H100 PCIe略高,每个GPU为350-400瓦(可配置),增加50瓦。同时,总性能实际上是H100 SXM的两倍:134 teraflops的FP64,1,979 teraflops的TF32,和7,916 teraflops FP8(以及7,916 teraops INT8)。
基本上,这看起来与H100 PCIe的核心设计相同,它也支持NVLink,但现在可能启用了更多的GPU核心,而且内存增加了17.5%。内存带宽也比H100 PCIe高一些,每个GPU为3.9TB/s,合计7.8TB/s(而H100 PCIe为2TB/s,H100 SXM为3.35TB/s)。
丽台(LEADTEK) NVIDIA RTX A6000 48G GDDR6大型数据处理专业图形显卡 NVIDIA A6000 48G 盒装
进入购买
由于这是一个双卡解决方案,每张卡占用2个插槽的空间,Nvidia只支持合作伙伴和认证系统的2至4对H100 NVL卡。一对的价格是多少,它们是否可以单独购买?这还有待观察,尽管单块H100 PCIe有时可以找到,价格约为28,000美元(在新标签中打开)。因此,80,000美元购买一对H100 NVL似乎并不是不可能的事。