NVIDIA 宣布推出 H100 NVL——适用于大型语言模型的最大内存服务器卡
ChatGPT 目前运行在具有 80 GB 缓存的 A100 芯片上。 Nvidia 认为这太慢并开发了更快的 H100 芯片（H100 比 A100 快两倍），它有 94GB 的缓存。 然后，他们将其中的两个芯片放在一张卡上，在它们之间建立高速连接以获得总计 188GB 的缓存。
硬件越来越令人印象深刻。
NVIDIA 目前正在推出基于去年推出的 Hopper 和 Ada Lovelace 显卡的新产品。 该公司今天宣布了一种新的 H100 加速器变体，专为大型语言模型用户设计。 它被称为 H100 NVL。
H100-NVL 是 NVIDIA H100 PCIe 卡的一个变体，它针对单一市场、大型语言模型 (LLM)。 此卡不是 NVIDIA 典型服务器产品的典型代表。 这是两个已经连接在一起的 H100 PCIe 卡。 但最大的区别是它的大内存容量。 双GPU组合卡共有188GB HBM3内存，每张卡94GB。 这是迄今为止任何其他 NVIDIA 产品的每个 GPU 内存更多的内存。
内存容量是此 SKU 背后的驱动力。 内存容量是 GPT 家族等大型语言模型的主要问题，它将快速填满一个 H100 加速器以容纳它们的所有参数（最大的 GPT-3 模型为 175B）。 NVIDIA 决定创建一个新的 H100 SKU，每个 GPU 具有更多内存。 H100 的容量限制为 80GB。
来源和详细信息：
https://www.anandtech.com/show/18780/nvidia-announces-h100-nvl-max-memory-server-card-for-large-language-models