丰色 萧箫 发自 凹非寺量子位 | 公众号 QbitAI
他来了，老黄带着最新一代最新一代GPU来了。
大家之前猜的5nm错了，一手大惊喜，老黄直接上了工艺。
新卡取名H100，采用全新Hopper与上一代相比，结构直接集成了800亿晶体管A100足足多了。
内核数量飙升到前所未有的水平，达到上一代A100卡的2.5倍。
浮点计算和张量核心计算能力至少增加了3倍，例如FP32达到60万亿次/秒。
特别注意的是，H100面向AI计算，配备优化引擎，直接提高大模型训练速度×6。
(可以算是5300亿参数的威震天-图灵背后的秘密。
全新的性能爆炸GPU，不出意外，H100将与前辈V100、A100一样成为AI从业者心中念念的大宝贝。
但不得不提的是，它的功耗也爆炸了，达到了前所未有的水平，回到核弹级别。
关于自研的Grace CPU，会议还公布了更多细节。
没想到料的是，老黄从库克那里学到了一只手，两块CPU粘组成在一起CPU超级芯片——Grace CPU Superchip。
Grace CPU采用最新Arm v9架构，两块核心144个，144个TB/s与苹果最新的内存带宽相比，内存带宽M1 Ultra的800GB/s还高一段。
基于全新CPU、GPU本次新闻发布会还带来了下一代企业级AI基础设施DXG H100、全球最快AI超算Eos。
当然，作为真正的元宇宙先驱，英伟达也是必不可少的Omniverse新进展。
具体来说。
首款Hopper架构GPU，性能暴增
作为上一代GPU架构A100(安培架构)的继承人配备了新的Hopper架构的H有多突飞猛进？
话不多说，先上参数：
老黄可谓血本，先直接用工艺，晶体管一口气集成个。
要知道，上一代A100还只是7nm结构，在这次新闻发布会出来之前，很多外界声音猜测老黄会用5nm这个过程一发布就给大家带来了很大的惊喜。
最恐怖的是CUDA核心直接飙升，直接达到了A100的近2.5倍。(要知道从V100到A100年，核心只增加了一点)
这一次，我无法感受到老黄刀法的准确性。
再看浮点操作和INT8/FP16/TF32/FP64张量运算，性能基本提高不仅如此，前两代的架构升级也显得小打小闹。
这也使得H100的热功耗（TDP）直接到达前所未有的，英伟达的核弹厂名副其实(手动狗头)。
话说回来，这次H100也是首款支持PCle 5.0和HBM3的GPU，数据处理速度进一步提高-内存带宽达到3TB/s。
这个概念是什么？
老黄在新闻发布会上神秘地笑了:只需要20个H100在手，我有全球互联网流量。
整体参数细节是什么？A100和V对比100就知道了：
图源@anandtech
值得一提的是，Hopper架构的新GPU和英伟达CPU Grace名字组在一起，成为女计算机科学家英伟达也用这个名字来命名他们的超级芯片。
Grace Hopper世界上第一个编译器和COBOL语言被称为计算机软件工程第一夫人。
训练3950亿参数的大模型只有一天
当然，Hopper新特性远不止参数。
这次，老黄特意在发布会上着重提到了Hopper首次配备的。
嗯，专为Transformer打造，让这类模型在训练中保持精度不变，提高性能，这意味着训练时间从几周缩短到几天。
怎么表现？
现在，无论是训练参数的(19小时)，还是参数的Transformer大模型(21小时)，H训练时间可以从一周缩短到一天，速度可以提高9倍。
推理性能也有了很大的提高，比如英伟达Megatron模型，在H100上推理时的吞吐量比A100直接高出30倍，响应延迟降低到1秒，可以说是完美的hold住了。
不得不说，英伟达确实突破了这波浪潮Transformer阵营。
在此之前，英伟达系列GPU优化设计基本针对进行架构时，接近I love 卷积这几个字印在额头上。
要怪只怪Transformer最近太受欢迎了。(手动狗头)
当然，H100的亮点不止这些。随着它和一系列的英伟达芯片，它将被引入NVIDIA 第四代互连技术。
换句话说，芯片堆叠乐的效率更高，I/O带宽扩展到900GB/s。
这一次，老黄还强调了GPU的，包括实例之间的隔离保护GPU具有机密计算功能等。
当然，数学计算能力也有所提高。
这次H100上新的DPX在运算路径优化和基因组学等一系列动态规划算法中，指令可以加速动态规划，速度提高了7倍。
据老黄介绍，H100会在今年开始供货，网友调侃估计不便宜。
目前，H100有两个版本可供选择：
一是功率高达7000W的SXM，用于高性能服务器；另一种是更主流的服务器PCIe，功耗也比上一代好A100的300W多了50W。
4608块H打造世界上最快的100AI超算
H100已经发布，老黄自然不会错过任何建造超级计算机的机会。
基于H100推出的最新DGX H100计算系统，与上一代“烤箱”一样，同样也是配备8块GPU。
不同的是，DGX H100系统在FP8精度下达到了32 Petaflop的AI性能，比上一代DGX A100系统整整。
各GPU之间的连接速度也变得更快，900GB/s的速度接近上一代的。
最关键的是，这次英伟达还在DGX H100基础上，搭建了一台，一举成为AI超算界的性能TOP 1——
光就18.4 Exaflops的AI计算性能，就比日本的“富岳”（Fugaku）超级计算机。
这台超算配备了576个DGX H100系统，直接用了。
即使是传统科学计算，算力也能达到 （富岳是442 Petaflops），跻身前5的超算是没什么问题。
“拼装”CPU，跑分成了TOP1
本次GTC大会，老黄仍然“提了几嘴”超级服务器芯片Grace。
它在去年4月份的GTC大会就已经有所亮相，和当时一样，老黄表示：2023年可以开始供货，反正今年是不可能碰上了。
不过，Grace的性能倒是值得一提，有了“惊人进展”。
它被用在两个超级芯片中：
一个是，单MCM，由一个Grace CPU和一个Hopper架构的GPU组成。
一个是，由两个Grace CPU组成，通过NVIDIA NVLink-C2C技术互连，包括144个Arm核心，并有着高达1TB/s的内存带宽——带宽提升2倍的同时，能耗“只要”500w。
很难不让人联想到苹果刚发的M1 Ultra，看来片间互连技术的进展，让“拼装”成了芯片行业一大趋势。
Grace超级芯片在SPECrate®2017_int_base基准测试中的模拟性能达到了740分，是当前DGX A100 搭载的CPU的1.5倍（460分）。
Grace超级芯片可以运行在所有的NVIDIA计算平台，既可作为独立的纯CPU系统，也可作为 GPU加速服务器，利用NVLink-C2C技术搭载一块至八块基于Hopper架构的GPU。
（嗯，刚说完，老黄的芯片堆堆乐就堆上了。）
值得一提的是，英伟达。
它是一种超快速的芯片到芯片、裸片到裸片的互连技术，将支持定制裸片与NVIDIA GPU、CPU、DPU、NIC 和SOC之间实现一致的互连。
或许，可以期待一波？
连工业也要在元宇宙里搞
当然，除了上述内容之外，这次英伟达也透露了不少与工业应用相关的案例。
而无论是自动驾驶、还是包括虚拟工厂的数字孪生等场景，都与计算机渲染和仿真技术有着密不可分的关系。
英伟达认为，工业上同样能通过在虚拟环境中模拟的方式，来增加AI训练的数据量，换而言之就是“”。
例如，让AI智能驾驶在元宇宙里“练车”，利用仿真出来的数据搞出半真实环境，增加一些可能突发故障的环境模拟：
又例如，搞出等比例、与现实环境中材料等参数完全一样的“数字工厂”，在建造前先提前开工试运行，以及时排查可能出现问题的环境。
除了数字孪生，数字资产的生产也是元宇宙早期建设阶段需要着重考虑的部分。
在这方面，英伟达推出了随时随地能在云端协作的。
最有意思的是，这次发布会上还演示了一套AI驱动虚拟角色系统。
现实中3天，虚拟角色在元宇宙里。
等练成一身本领，出来无论到游戏还是动画里都是个好“动作演员”。
用它生成动画无需再绑定骨骼、k帧，用自然语言下指令即可，就像导演和真人演员一样沟通，大大缩短开发流程。
要论还得看老黄啊。
Venturebeat对此评价称，“这些案例给元宇宙赋予了真正的意义”。
那么，你看好英伟达的omniverse前景吗？
更多详情，可以戳完整演讲地址（带中字哦）：https://www.nvidia.cn/gtc-global/keynote/?nvid=nv-int-bnr-223538&sfdcid=Internal_banners
参考链接：[1]https://www.anandtech.com/show/17327/nvidia-hopper-gpu-architecture-and-h100-accelerator-announced[2]https://venturebeat.com/2022/03/22/nvidia-gtc-how-to-build-the-industrial-metaverse/
— —