188GB显存！NVIDIA发布H100 NVL加速卡：ChatGPT提速2倍 环球热消息

ChatGPT作为当下最火爆的AI应用，之所以能达到如此聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。

GTC 2023春季技术大会上，NVIDIA又发布了顶级的H100 NVL，它是已有H100系列的特殊加强版，专为大型语言模型(LLM)进行优化，是部署ChatGPT等应用的理想平台。

(资料图片仅供参考)

H100 NVL单卡具备多达94GB HBM3高带宽显存(内存)，照此容量看显然是开启了完整的6144-bit位宽，并启用了全部六颗，等效频率按照5.1GHz计算的话python，带宽就是恐怖的3.9GB/s。

但也有个问题，六颗HBM3显存总容量应该是96GB，但是这里少了2GB，官方没有解释，猜测还是出于良品率考虑，屏蔽了少数存储单元。

相比之下，H100 PCIe/SXM版本都只开启了5120-bit位php宽，六个显存位只使用五个，容量均为80GB，区别在于一个是HBM2e 2TB/s带宽，一个是HBM3 3.35TB/s带宽。

H100 NVL还可以双卡组成一个计算节点，总显存容量就是188GB，彼此通过PCIe 5.0总线互连。

再加上Transformer引擎加速的辅佐，在数据中心规模，H100 NVL与上一代A100相比，GPT-3上的推理性能提高了多达12倍。

H100 NVL的其他规格没有披露，尤其是CUDA核心数量，不知道是H100 PCIe版的14592个，还是H100 SXM版本的16896个。

H100 NVL将在今年下半年开始出货，价格尽情想象去吧。

值得一提的是，NVIDIA还同时推出了其他两套推理平台：

NVIDIA L4：

适用于AI视频，性能比CPU高出120倍，能效提高99，提供强大的的视频解码和转码能力、视频流式传输、增强现实、生成式AI视频等。

NVIDIA L40：

适用于图像生成，针对图形以及AI支持的2D、视频和3D图像生成进行了优化，与上一代产品相比，Stable Diffusion推理性能提高7倍，Omniverse性能提高12倍。

顺带一提，CPU、GPU二合一的NVIDIA Grac编程客栈e Hopper适用于图形推荐模型、矢量数据库、图神经网络，通过NVLink-C2C 900GB/s带宽连接CPU和GPU，数据传输和查询速度比PCIe 5.0快了7倍。

推荐DIY文章

电脑开机慢的处理方法 或许可以增加处理器核心数量

电脑频繁出现Windows资源管理器停止工作 不妨参考一下接下来提供的解决方法-世界通讯

电脑分辨率不能调的解决方法 显卡驱动不正常该怎么调整回来-当前独家

酷睿i5处理器排名 Core i5会集成PCI-Express控制器吗

电脑修改qq密码的图文教程 有需要的小伙伴可以看这里|每日速看

【全球报资讯】如何一键清理win10系统垃圾 第三方软件一键清理系统垃圾效果如何