英伟达发布了目前世界最强的AI芯片H200，性能较H100提升了60%到90%，还能和H100兼容。算力荒下，大科技公司们又要开始疯狂囤货了。

英伟达的节奏，越来越可怕了。

就在刚刚，老黄又一次在深夜炸场——发布目前世界最强的AI芯片H200！

较前任霸主H100，H200的性能直接提升了60%到90%。

不仅如此，这两款芯片还是互相兼容的。这意味着，使用H100训练/推理模型的企业，可以无缝更换成最新的H200。

Image description

全世界的AI公司都陷入算力荒，英伟达的GPU已经千金难求。英伟达此前也表示，两年一发布的架构节奏将转变为一年一发布。

就在英伟达宣布这一消息之际，AI公司们正为寻找更多H100而焦头烂额。

英伟达的高端芯片价值连城，已经成为贷款的抵押品。

Image description

谁拥有H100，是硅谷最引人注目的顶级八卦

至于H200系统，英伟达表示预计将于明年二季度上市。

同在明年，英伟达还会发布基于Blackwell架构的B100，并计划在2024年将H100的产量增加两倍，目标是生产200多万块H100。

而在发布会上，英伟达甚至全程没有提任何竞争对手，只是不断强调「英伟达的AI超级计算平台，能够更快地解决世界上一些最重要的挑战。」

随着生成式AI的大爆炸，需求只会更大，而且，这还没算上H200呢。赢麻了，老黄真的赢麻了！

01 141GB超大显存，性能直接翻倍！

H200，将为全球领先的AI计算平台增添动力。

它基于Hopper架构，配备英伟达H200 Tensor Core GPU和先进的显存，因此可以为生成式AI和高性能计算工作负载处理海量数据。

英伟达H200是首款采用HBM3e的GPU，拥有高达141GB的显存。

Image description

与A100相比，H200的容量几乎翻了一番，带宽也增加了2.4倍。与H100相比，H200的带宽则从3.35TB/s增加到了4.8TB/s。

英伟达大规模与高性能计算副总裁Ian Buck表示——

要利用生成式人工智能和高性能计算应用创造智能，必须使用大型、快速的GPU显存，来高速高效地处理海量数据。借助H200，业界领先的端到端人工智能超算平台的速度会变得更快，一些世界上最重要的挑战，都可以被解决。

Image description

Llama 2推理速度提升近100%

跟前代架构相比，Hopper架构已经实现了前所未有的性能飞跃，而H100持续的升级，和TensorRT-LLM强大的开源库，都在不断提高性能标准。

H200的发布，让性能飞跃又升了一级，直接让Llama2 70B模型的推理速度比H100提高近一倍！

H200基于与H100相同的Hopper架构。这就意味着，除了新的显存功能外，H200还具有与H100相同的功能，例如Transformer Engine，它可以加速基于Transformer架构的LLM和其他深度学习模型。

Image description

HGX H200采用英伟达NVLink和NVSwitch高速互连技术，8路HGX H200可提供超过32 Petaflops的FP8深度学习计算能力和1.1TB的超高显存带宽。

当用H200代替H100，与英伟达Grace CPU搭配使用时，就组成了性能更加强劲的GH200 Grace Hopper超级芯片——专为大型HPC和AI应用而设计的计算模块。

Image description

下面我们就来具体看看，相较于H100，H200的性能提升到底体现在哪些地方。

首先，H200的性能提升最主要体现在大模型的推理性能表现上。

如上所说，在处理Llama 2等大语言模型时，H200的推理速度比H100提高了接近1倍。

Image description

因为计算核心更新幅度不大，如果以训练175B大小的GPT-3为例，性能提升大概在10%左右。

Image description

显存带宽对于高性能计算（HPC）应用程序至关重要，因为它可以实现更快的数据传输，减少复杂任务的处理瓶颈。

对于模拟、科学研究和人工智能等显存密集型HPC应用，H200更高的显存带宽可确保高效地访问和操作数据，与CPU相比，获得结果的时间最多可加快110倍。

相较于H100，H200在处理高性能计算的应用程序上也有20%以上的提升。

Image description

而对于用户来说非常重要的推理能耗，H200相比H100直接腰斩。

这样，H200能大幅降低用户的使用成本，继续让用户「买的越多，省的越多」！

Image description

上个月，外媒SemiAnalysis曾曝出一份英伟达未来几年的硬件路线图，包括万众瞩目的H200、B100和「X100」GPU。

Image description

而英伟达官方，也公布了官方的产品路线图，将使用同一构架设计三款芯片，在明年和后年会继续推出B100和X100。

Image description

B100，性能已经望不到头了

这次，英伟达更是在官方公告中宣布了全新的H200和B100，将过去数据中心芯片两年一更新的速率直接翻倍。

以推理1750亿参数的GPT-3为例，今年刚发布的H100是前代A100性能的11倍，明年即将上市的H200相对于H100则有超过60%的提升，而再之后的B100，性能更是望不到头。

Image description

至此，H100也成为了目前在位最短的「旗舰级」GPU。

如果说H100现在就是科技行业的「黄金」，那么英伟达又成功制造了「铂金」和「钻石」。

Image description