NVIDIA全新Ampere數(shù)據(jù)中心GPU全投產(chǎn)
發(fā)布時(shí)間：2020-06-04 08:51:17
北京時(shí)間5月14日消息，NVIDIA宣布首款基于NVIDIA Ampere架構(gòu)的GPU——NVIDIA A100已全面投產(chǎn)并已向全球客戶交付。
全新NVIDIA A100 GPU將AI訓(xùn)練和推理性能提高20倍
A100采用了NVIDIA Ampere架構(gòu)的突破性設(shè)計(jì)，該設(shè)計(jì)為NVIDIA第八代GPU提供了迄今為止最大的性能飛躍，集AI訓(xùn)練和推理于一身，并且其性能相比于前代產(chǎn)品提升了高達(dá)20倍。 作為一款通用型工作負(fù)載加速器，A100還被設(shè)計(jì)用于數(shù)據(jù)分析、科學(xué)計(jì)算和云圖形。
NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“云計(jì)算和AI的強(qiáng)大趨勢(shì)正在推動(dòng)數(shù)據(jù)中心設(shè)計(jì)的結(jié)構(gòu)性轉(zhuǎn)變，過去的純CPU服務(wù)器正在被高效的加速計(jì)算基礎(chǔ)架構(gòu)所取代。NVIDIA A100 GPU作為一個(gè)端到端的機(jī)器學(xué)習(xí)加速器，其實(shí)現(xiàn)了從數(shù)據(jù)分析到訓(xùn)練再到推理20倍的AI性能飛躍。這是有史以來首次，可以在一個(gè)平臺(tái)上實(shí)現(xiàn)對(duì)橫向擴(kuò)展以及縱向擴(kuò)展的負(fù)載的加速。NVIDIA A100將在提高吞吐量的同時(shí)，降低數(shù)據(jù)中心的成本?！?
A100所采用的全新彈性計(jì)算技術(shù)能夠?yàn)槊宽?xiàng)工作分配適量的計(jì)算能力。多實(shí)例GPU技術(shù)可將每個(gè)A100 GPU分割為多達(dá)七個(gè)獨(dú)立實(shí)例來執(zhí)行推理任務(wù)，而第三代NVIDIA NVLink互聯(lián)技術(shù)能夠?qū)⒍鄠€(gè)A100 GPU合并成一個(gè)巨大的GPU來執(zhí)行更大規(guī)模的訓(xùn)練任務(wù)。
眾多全球領(lǐng)先的云服務(wù)供應(yīng)商和系統(tǒng)構(gòu)建商計(jì)劃將A100 GPU集成到其產(chǎn)品中，其中包括：阿里云、AWS、Atos、百度智能云、思科、Dell Technologies、富士通、技嘉科技、Google Cloud、新華三、HPE、浪潮、聯(lián)想、Microsoft Azure、甲骨文、Quanta/QCT、Supermicro和騰訊云。
在全球范圍內(nèi)被迅速采用
Microsoft是首批采用NVIDIA A100 GPU的用戶之一，計(jì)劃充分利用其性能和可擴(kuò)展性。
Microsoft公司副總裁Mikhail Parakhin表示：“Microsoft大規(guī)模應(yīng)用前代NVIDIA GPU訓(xùn)練了全球最大的語言模型——Turing Natural Language Generation。Azure將使用NVIDIA 新一代A100 GPU訓(xùn)練更大型的AI模型，以推動(dòng)語言、語音、視覺和多模態(tài)技術(shù)領(lǐng)域的最新發(fā)展?！?
DoorDash是一個(gè)按需提供的食品平臺(tái)，在大流行期間作為餐館的生命線，它指出了擁有靈活的人工智能基礎(chǔ)設(shè)施的重要性。
DoorDash的機(jī)器學(xué)習(xí)工程師Gary Ren表示：“現(xiàn)代復(fù)雜AI訓(xùn)練和推理工作負(fù)載需要處理大量的數(shù)據(jù)，像NVIDIA A100 GPU這樣最先進(jìn)的技術(shù)，可以幫助縮短模型訓(xùn)練時(shí)間，加快機(jī)器學(xué)習(xí)開發(fā)進(jìn)程。此外，采用基于云的GPU集群還能夠?yàn)槲覀兲峁└叩撵`活性，可以根據(jù)需要擴(kuò)容或縮容，將有助于提高效率、簡(jiǎn)化操作并節(jié)約成本?！?
其他早期采用者還包括多所國家實(shí)驗(yàn)室以及一些全球頂尖高等教育和研究機(jī)構(gòu)，它們都在使用A100支持其新一代超級(jí)計(jì)算機(jī)。以下是部分早期采用者：
· 印第安納大學(xué)（Indiana University），在美國，其Big Red 200超級(jí)計(jì)算機(jī)基于HPE的Cray Shasta系統(tǒng)。該超級(jí)計(jì)算機(jī)將支持科學(xué)研究和醫(yī)學(xué)研究以及AI、機(jī)器學(xué)習(xí)和數(shù)據(jù)分析領(lǐng)域的前沿研究。
· 利希超算中心（Jülich Supercomputing Centre），在德國，其JUWELS增速系統(tǒng)由Atos建造，專為極端計(jì)算能力和AI任務(wù)而設(shè)計(jì)。
· 卡爾斯魯厄理工學(xué)院（Karlsruhe Institute of Technology），在德國，正在與聯(lián)想一起建造其HoreKa超級(jí)計(jì)算機(jī)。該超級(jí)計(jì)算機(jī)將能夠在材料科學(xué)、地球系統(tǒng)科學(xué)、能源和動(dòng)力工程研究以及粒子和天體物理學(xué)領(lǐng)域開展更大規(guī)模的多尺度模擬。
· 馬克斯普朗克計(jì)算和數(shù)據(jù)中心（Max Planck Computing and Data Facility），在德國，其借助于聯(lián)想為其建造的新一代超級(jí)計(jì)算機(jī)Raven，為馬克斯普朗克研究所（Max Planck Institutes）的高性能計(jì)算應(yīng)用的開發(fā)、優(yōu)化、分析和可視化提供了先進(jìn)的支持。
· 美國能源部國家能源研究科學(xué)計(jì)算中心(U.S. Department of Energy’s National Energy Research Scientific Computing Center)，位于美國勞倫斯伯克利國家實(shí)驗(yàn)室（Lawrence Berkeley National Laboratory），其正在基于HPE的Cray Shasta系統(tǒng)建造新一代超級(jí)計(jì)算機(jī)Perlmutter。該超級(jí)計(jì)算機(jī)將被用于支持超大規(guī)?？茖W(xué)研究、開發(fā)新能源、提高能效以及探索新材料。
A100的五大突破
NVIDIA A100 GPU的突破性技術(shù)設(shè)計(jì)來源于五大關(guān)鍵性創(chuàng)新：
· NVIDIA Ampere架構(gòu)——A100的核心是NVIDIA Ampere GPU架構(gòu)，該架構(gòu)包含超過540億個(gè)晶體管，這使其成為全球最大的7納米處理器。
· 具有TF32的第三代Tensor Core核心——NVIDIA廣泛采用的Tensor Core核心現(xiàn)在已變得更加靈活、快速且易于使用。其功能經(jīng)過擴(kuò)展后加入了專為AI開發(fā)的全新TF32，它能在無需更改任何代碼的情況下，使FP32精度下的AI性能提高多達(dá)20倍。此外，Tensor Core核心現(xiàn)在支持FP64精度，相比于前代，其為HPC應(yīng)用所提供的計(jì)算力比之前提高了多達(dá)2.5倍。
· 多實(shí)例GPU——MIG，一種全新技術(shù)功能，可將單個(gè)A100 GPU分割為多達(dá)七個(gè)獨(dú)立的GPU，為不同規(guī)模的工作提供不同的計(jì)算力，以此實(shí)現(xiàn)最佳利用率和投資回報(bào)率的最大化。
· 第三代NVIDIA NVLink——使GPU之間的高速聯(lián)接增加至原來的兩倍，實(shí)現(xiàn)服務(wù)器的高效性能擴(kuò)展。
· 結(jié)構(gòu)化稀疏——這種全新效率技術(shù)利用AI數(shù)學(xué)固有的稀疏性，使性能提升了一倍。
憑借這些新功能，NVIDIA A100成為了AI訓(xùn)練和推理以及科學(xué)模擬、對(duì)話式AI、推薦系統(tǒng)、基因組學(xué)、高性能數(shù)據(jù)分析、地震建模和金融預(yù)測(cè)等各種高要求工作負(fù)載的理想選擇。
新系統(tǒng)已搭載NVIDIA A100，很快將登陸云端
于今日同時(shí)發(fā)布的還有NVIDIA DGX? A100 系統(tǒng)，其內(nèi)置8個(gè)由NVIDIA NVLink互聯(lián)的NVIDIA A100 GPU。NVIDIA和官方合作伙伴現(xiàn)已開始供應(yīng)該系統(tǒng)。
阿里云、AWS、百度智能云、Google Cloud、Microsoft Azure 、甲骨文和騰訊云正在計(jì)劃提供基于A100的服務(wù)。
此外，眾多全球領(lǐng)先的系統(tǒng)制造商也將提供各種基于A100的服務(wù)器，包括Atos、思科、Dell Technologies、富士通、技嘉科技、新華三、HPE、浪潮、聯(lián)想、Quanta/QCT和Supermicro。
為幫助合作伙伴加快服務(wù)器的開發(fā)，NVIDIA開發(fā)了HGX A100服務(wù)器構(gòu)建模塊，該模塊采用了多GPU配置的集成基板形式。
HGX A100 4-GPU通過NVLink實(shí)現(xiàn)GPU之間的完整互聯(lián)， 8-GPU配置的HGX A100通過NVIDIA NVSwitch?實(shí)現(xiàn)GPU之間的全帶寬通信。采用全新MIG 技術(shù)的HGX A100能夠被分割為56個(gè)小型GPU，每個(gè)GPU的速度都比NVIDIA T4更快；或者也可以將其用作一臺(tái)擁有10petaflops AI性能的巨型8-GPU服務(wù)器。
A100軟件優(yōu)化
NVIDIA還發(fā)布了多個(gè)軟件堆棧更新，使應(yīng)用程序開發(fā)者能夠充分發(fā)揮A100 GPU創(chuàng)新技術(shù)的性能。這些更新包括了50多個(gè)新版本CUDA-X庫，可用于加速圖形、模擬和AI；CUDA 11；多模態(tài)對(duì)話式AI服務(wù)框架NVIDIA Jarvis；深度推薦應(yīng)用框架 NVIDIA Merlin；以及NVIDIA HPC SDK，其中包括能夠幫助HPC開發(fā)者調(diào)試和優(yōu)化A100代碼的編譯器、庫和工具。