ChatGPT不是從石頭縫里蹦出來的至暗時(shí)刻里的三個(gè)臭皮匠

文章來源：都市快報(bào)

字體：大中小

發(fā)布時(shí)間：2023-02-13 08:02:00

《新江南網(wǎng)》江南區(qū)域知名綜合門戶網(wǎng)站！

追蹤網(wǎng)絡(luò)熱點(diǎn)，關(guān)注民生動態(tài)，傳播江南文化，倡導(dǎo)網(wǎng)絡(luò)新時(shí)代！

http://hzgou.cn/歡迎您！

☆ 新江南網(wǎng) ☆歡迎您

愛江南，愛生活！歡迎訪問新江南網(wǎng)：hzgou.cn

因?yàn)镃hatGPT的出現(xiàn)，人類似乎找到了扮演上帝的感覺，給計(jì)算機(jī)注入了“靈魂”。

過去半個(gè)月來，ChatGPT是社交媒體當(dāng)之無愧的主角。和6年前同樣橫空出世的AlphaGo不同，這次你我這樣大眾的感受更為強(qiáng)烈。這也是為什么，作為一款聊天機(jī)器人，它用僅僅2個(gè)月時(shí)間就收獲了1億用戶。達(dá)到相同的成績，TikTok用了9個(gè)月，更早時(shí)的instagram用了30個(gè)月。

在產(chǎn)業(yè)界，谷歌、百度、阿里等國內(nèi)外科技巨頭爭相坐上牌桌，以推出自家版ChatGPT為目標(biāo)，證明自身在AI領(lǐng)域的深厚積累。

為什么ChatGPT成了繞不開的話題？因?yàn)槿斯ぶ悄芙K于知道如何和人類進(jìn)行自然交流，給出接近人類表達(dá)、認(rèn)知、需求和價(jià)值觀的回答，同時(shí)展現(xiàn)了成為普通人都能用的先進(jìn)生產(chǎn)工具，以及未來如“水電煤”一般基礎(chǔ)設(shè)施的可能性，盡管它依然不完美。

不過，它并不是從“石頭縫里蹦出來”的。這是過去20年，以神經(jīng)網(wǎng)絡(luò)為主流，推動深度學(xué)習(xí)發(fā)展從量變到質(zhì)變的結(jié)果。其間有無數(shù)人類群星和普通人為之閃耀。

了解這些人和事有助于進(jìn)一步知道ChatGPT是怎么來的，有什么問題，又將帶領(lǐng)人類走向何方。

這段有些漫長的旅程從一段刺耳的聲音開始。

ChatGPT介紹杭州

大力出奇跡？

“ChatGPT缺乏創(chuàng)新，沒什么革命性�！边@個(gè)評價(jià)來自一個(gè)叫楊立昆的人——在全球幾乎一邊倒的贊譽(yù)聲中，頗為格格不入。

楊立昆不是中國人，他的英文名是Yann LeCun，出生在法國。2017年以前，他在中文互聯(lián)網(wǎng)上有著各種稱呼：楊樂昆、楊樂春、嚴(yán)樂村……直到那一年來中國演講，他官宣了自己的中文名。

如果是單純的鍵盤俠，這樣的評價(jià)不值一笑。但楊立昆恰好是全球?yàn)閿?shù)不多能夠?qū)hatGPT“指手畫腳”的人物。

2019年，他和Yoshua Bengio、Geoffrey Hinton一起獲得了計(jì)算機(jī)界的最高榮譽(yù)“圖靈獎(jiǎng)”，被稱為“深度學(xué)習(xí)三巨頭”。他們深信，計(jì)算機(jī)可以像人類一樣，依靠神經(jīng)網(wǎng)絡(luò)進(jìn)行“思考”。沒有他們，就沒有昨天的AlphaGo和今天的ChatGPT。

為什么LeCun會發(fā)出這樣的感慨呢？ChatGPT的內(nèi)核是大語言模型，從2018年OpenAI發(fā)布的第一代進(jìn)化到了ChatGPT使用的第四代GPT-3.5，據(jù)說GPT-4也已經(jīng)呼之欲出。

一路升級，OpenAI沒有對算法模型進(jìn)行根本改動，更多是微調(diào)了訓(xùn)練機(jī)制，以及越來越多人力和算力的投入，從“大力出奇跡”到“更大力出更大的奇跡”。

ChatGPT背后的投入遠(yuǎn)沒有它給出的回復(fù)來得“舉重若輕”。第一代GPT訓(xùn)練涉及的參數(shù)量為1.17億，到了GPT-3這個(gè)數(shù)字變成了1750億，擴(kuò)容了近1500倍。對應(yīng)的訓(xùn)練數(shù)據(jù)量，從5GB擴(kuò)到了45TB，近萬倍的增長。

為了訓(xùn)練GPT-3，OpenAI投入可能達(dá)到1200萬美元，這還不算背后的微軟為它斥資5億美元建立的超算中心。

所以，搜狐創(chuàng)始人張朝陽表示，ChatGPT的成功是量的積累，包括了機(jī)器的算力、服務(wù)器的數(shù)量以及知識庫，“因?yàn)橛?xùn)練成本投入過高，沒能力的公司只會白白浪費(fèi)資源�！�

到了GPT-3.5，也就是ChatGPT，OpenAI引入了人類反饋強(qiáng)化學(xué)習(xí)（RLHF）機(jī)制。他們找了40個(gè)博士，對GPT-3.5針對不同問題給出的三個(gè)答案進(jìn)行打分，建立獎(jiǎng)懲模型，最終讓機(jī)器知道怎樣的回答更討大部分人類喜歡——有人覺得ChatGPT有“討好型人格”，即來源于此。

不過，RLHF是DeepMind（前沿人工智能企業(yè)）首創(chuàng)的。拆解ChatGPT背后的底層技術(shù)，類似的情況還有很多。比如，采用的Transformer架構(gòu)最早由谷歌發(fā)明，使用的神經(jīng)網(wǎng)絡(luò)語言模型是另一個(gè)巨頭Yoshua Bengio20多年前提出的，他和LeCun很早就提出讓機(jī)器“自監(jiān)督學(xué)習(xí)”的設(shè)想……

因此，在LeCun看來，就底層技術(shù)而言，ChatGPT并沒有什么特別的創(chuàng)新，也不是什么革命性的東西，“與其說ChatGPT是一個(gè)科學(xué)突破，不如說它是一個(gè)像樣的工程實(shí)例。”

然而，對絕大多數(shù)人而言，這道不斷站在巨人肩膀上，穿行了80年的微光已經(jīng)足夠耀眼。

1
2
下一頁
全文閱讀

愛江南，愛生活！歡迎訪問新江南網(wǎng)：hzgou.cn

聲明：
本文僅代表作者個(gè)人觀點(diǎn)，與新江南網(wǎng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實(shí)相關(guān)內(nèi)容，新江南網(wǎng)號系信息發(fā)布平臺，新江南網(wǎng)僅提供信息存儲空間服務(wù)。如有侵權(quán)請出示權(quán)屬憑證聯(lián)系管理員（yin040310@sina.com）刪除！

上一篇：浙江各地高校迎來開學(xué)季：“乙類乙管”后，校園如何放得開、管得好？
下一篇：5萬人一起努力幫機(jī)器睜眼看世界 AI女神李飛飛帶著神經(jīng)網(wǎng)絡(luò)殺了回來！