2012年，百度錯(cuò)失了“深度學(xué)習(xí)之父”Hinton，但一年多后，他們?cè)谝粋�(gè)叫吳恩達(dá)的華裔科學(xué)家身上扳回了一城。這位出生在倫敦，童年經(jīng)常往來(lái)于香港和新加坡的年輕人，幾乎踏足了美國(guó)所有頂尖的計(jì)算機(jī)學(xué)府。
14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

本科在卡內(nèi)基梅隆大學(xué)就讀，碩士換成了麻省理工，博士是在加州伯克利獲得的，后來(lái)加入斯坦福大學(xué)，擔(dān)任人工智能實(shí)驗(yàn)室主任。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

他在2010年前后和同事開啟的一個(gè)小項(xiàng)目，無(wú)意之間解決了深度學(xué)習(xí)的算力問題。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

認(rèn)識(shí)一只貓14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

2010年他加入“谷歌大腦”項(xiàng)目，其間和同事做了一件趣事。讓“神經(jīng)網(wǎng)絡(luò)”觀看從Youtube上隨機(jī)選擇的1000萬(wàn)段視頻。一周之后，意想不到的事情發(fā)生了，機(jī)器居然自己認(rèn)識(shí)了貓。在此之前，沒人教過(guò)它貓是什么。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

這是計(jì)算機(jī)在沒有事先接到指令，在“無(wú)監(jiān)督”的狀態(tài)下知道了人類的常識(shí)。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

關(guān)于這點(diǎn)，LeCun曾經(jīng)打過(guò)一個(gè)比方，如果將人工智能視為一塊蛋糕，無(wú)監(jiān)督學(xué)習(xí)才是蛋糕本體，有監(jiān)督學(xué)習(xí)只是蛋糕上的一枚櫻桃。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

不過(guò)，僅僅為了讓機(jī)器認(rèn)識(shí)這只貓，當(dāng)時(shí)谷歌動(dòng)用了16000個(gè)CPU處理器，花費(fèi)了近百萬(wàn)美元。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

這是緊跟好消息的壞消息。如果不解決算力問題，神經(jīng)網(wǎng)絡(luò)推動(dòng)深度學(xué)習(xí)就是天方夜譚。這時(shí)吳恩達(dá)的前同事，現(xiàn)任英偉達(dá)首席科學(xué)家的達(dá)利建議他們可以用GPU（圖形處理器）代替CPU。因?yàn)镃PU更擅長(zhǎng)一件一件做事情，做的事高大上但效率低，而GPU可以同時(shí)做很多事，事情本身難度不大，但勝在效率極高。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

所以，對(duì)于深度學(xué)習(xí)里簡(jiǎn)單且重復(fù)的運(yùn)算場(chǎng)景，GPU更適合。有多適合呢？后來(lái)吳恩達(dá)只用了12個(gè)GPU就完成了同等級(jí)的測(cè)試。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

在2012年ImageNet挑戰(zhàn)賽上，AlexNet運(yùn)行時(shí)就使用了GPU進(jìn)行運(yùn)算加速。也就是說(shuō)，那是神經(jīng)網(wǎng)絡(luò)在同時(shí)解決算法和算力問題之后給予人類的“驚鴻一瞥”。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

2014年，吳恩達(dá)加入百度，開始打造“百度大腦”。后來(lái)通過(guò)一檔《最強(qiáng)大腦》的綜藝節(jié)目，成了家喻戶曉的AI科學(xué)家。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

算力即權(quán)力14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

GPU受到重視也徹底改變了英偉達(dá)的命運(yùn)。這家近些年因?yàn)橹忻蕾Q(mào)易摩擦，頻頻被推到風(fēng)口浪尖的公司，主宰了全球的AI芯片市場(chǎng)，旗下最先進(jìn)的A100、H100顯卡幾乎是每個(gè)頂尖AI研發(fā)機(jī)構(gòu)的標(biāo)配。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

英偉達(dá)是美籍華人黃仁勛于1993年創(chuàng)辦的顯卡芯片公司。這個(gè)祖籍浙江青田，出生在臺(tái)北的“中二”少年16歲就立下宏愿：成為全球的圖形皇帝——盡管那會(huì)他取得的最好成績(jī)是全美乒乓雙打第三。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

1999年，英偉達(dá)推出了全球第一塊圖形處理器，讓GPU成為計(jì)算機(jī)中獨(dú)立于CPU的另一個(gè)重要計(jì)算單元。第二年，黃仁勛大膽地提出了一個(gè)“黃氏定律”：英偉達(dá)的GPU每6個(gè)月升級(jí)一次，性能翻一番。對(duì)標(biāo)的就是英特爾創(chuàng)始人摩爾的“摩爾定律”。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

后來(lái)GPU更多運(yùn)用于人工智能領(lǐng)域，“黃氏定律”也演化成“GPU將推動(dòng)AI性能實(shí)現(xiàn)逐年翻倍”。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

不過(guò)，這個(gè)堅(jiān)信“算力即權(quán)力”的性能狂魔高估了主機(jī)的承載能力。無(wú)論是在PC時(shí)代還是手機(jī)時(shí)代，英偉達(dá)曾發(fā)布過(guò)多款具有爆炸性能的顯卡，但因?yàn)楣ぷ鳒囟冗^(guò)高，經(jīng)常帶著主機(jī)共赴黃泉。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

尤其是一款名為GTX690的顯卡，測(cè)試時(shí)讓電容直接爆炸，被怒不可遏的網(wǎng)友稱為“戰(zhàn)術(shù)核顯卡”，加入百科詞條里。后來(lái)國(guó)內(nèi)一家電視臺(tái)信以為真，將它寫到了軍事節(jié)目里，聲稱搭載它的導(dǎo)彈可以摧毀一個(gè)航母戰(zhàn)斗群。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

節(jié)目播出后，黃仁勛得到了一個(gè)“兩彈元?jiǎng)住钡姆Q號(hào)。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

在吳恩達(dá)的測(cè)試曝光后，黃仁勛算是找到了集中釋放算力的地方。英偉達(dá)開始斥重資投入深度學(xué)習(xí)，研發(fā)用于AI計(jì)算的GPU和運(yùn)算平臺(tái)CUDA，揮動(dòng)著倚天劍和屠龍刀大殺四方。目前，英偉達(dá)芯片占據(jù)了AI訓(xùn)練市場(chǎng)近100%的份額，全球TOP500的超級(jí)計(jì)算機(jī)中，其中的342臺(tái)有英偉達(dá)的身影。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

2019年前后，微軟斥資5億美元打造了一個(gè)超算中心，里面躺著10000張英偉達(dá)GPU。他們幫助微軟投資的新銳人工智能公司OpenAI，在2020年孕育出了一個(gè)叫GPT-3的人工智能。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

當(dāng)它進(jìn)化到GPT-3.5，ChatGPT誕生了。14n新江南網(wǎng)|江南區(qū)域知名綜合門戶網(wǎng)

• 1
• 2
• 下一頁(yè)
• 全文閱讀