下一代人工智能超级计算机即将上线将推动生成式AI大模型的发展

来源：站长之家　2023-07-28 11:52:16

(资料图片仅供参考)

编程客栈（）7月28日消息:随着 Cerebras、pythonInflection、亚马逊和其他公司推出新硬件，下一代人工智能超级计算机将可用于新的生成式人工智能模型。

大型语言模型和其他类型的生成人工智能的使用正在迅速增长。通过ChatGPT、Bard、Copilot等，现在几乎每个数字生态系统中都有聊天机器人，其中GPT-4等模型仍然处于领先地位。但下一代生成式人工智能模型即将出现。为了训练这些复杂的人工智能系统，科技公司正在构建新一代人工智能超级计算机。

Cerebras 推出2Exaflop 超级计算机

新一代的一个例子来自 Cerebras，该公司刚刚推出了其 Condor Galaxy1系python统，具有2Exaflops 的能力。它仅用了10天就组装完毕并投入运行，由32台 Cerebras CS-2计算机组成。据该公司称，Condor Galaxy 的规模有望在未来12周内扩大一倍。它的所有者是 G42，一家总部位于阿布扎比的控股公司，拥有9家人工智能公司，其中包括中东最大的云计算提供商之一 G42Cloud。

在接下来的18个月内，Cerebras 计划安装更多系统，以在9个安装中达到36Exaflops。这将使其成为专注于人工智能工作负载的最大超级计算机之一。

云提供商提供对 Nvidia H100GPU 的访问

除了 Inflection 之外，每个主要云平台都推出了由 Nvidia H100GPU 提供支持的新实例。就在昨天，AWS 推出了 P5实例，最多可运行20，000个 H100GPU。Microsoft Azure、Google 和 Core Weave 提供类似的硬件。

通过轻松访问扩展资源，开发人员可以快速构建生成式 AI 应用程序原型，因为使用 Transformer 引擎的 H100的训练时间可以大大减少。在 MLPerf 基准测试中，Core Weave 和 Nvidia 最近在不到11分钟的时间内在约3js，500个 GPU javascript上训练了一个具有1750亿个参数的GPT-3模型。

推荐DIY文章