-
“如果DeepSeek靠蒸餾為啥要怕?”“不,中國(guó)是迭代者”
-
楊蓉yangrong@guancha.cn
在他看來(lái),中國(guó)確實(shí)尚未在科學(xué)突破方面超越美國(guó),如率先推出mRNA疫苗、ChatGPT、iPhone等,“但中國(guó)所做的是,通過(guò)其強(qiáng)大的制造實(shí)力,在這些創(chuàng)新的基礎(chǔ)上進(jìn)行迭代,使其產(chǎn)品更好、更快、更便宜,而這一過(guò)程正通過(guò)DeepSeek-R1展現(xiàn)在我們眼前”。
戴維·林本月早些時(shí)候接受新加坡《海峽時(shí)報(bào)》采訪(fǎng)時(shí)也表示,中美在AI發(fā)展上“已經(jīng)處于并駕齊驅(qū)的狀態(tài)”。他坦言:“如果你在三個(gè)月前問(wèn)我,我還會(huì)說(shuō)我們穩(wěn)穩(wěn)領(lǐng)先,但形勢(shì)變得非常迅速?!?
他6日在聽(tīng)證會(huì)上進(jìn)一步強(qiáng)調(diào),DeepSeek公開(kāi)表示其目標(biāo)是努力實(shí)現(xiàn)通用人工智能(AGI),這一愿景表明了中國(guó)“在AI領(lǐng)域的雄心壯志”。AGI是指具備像人類(lèi)一樣的智能水平,能夠理解、學(xué)習(xí)、適應(yīng)、推理,并在不同領(lǐng)域自主執(zhí)行任務(wù)的AI系統(tǒng),通常也被視為AI發(fā)展的終極形態(tài)。
戴維·林指出,如今這場(chǎng)AI技術(shù)競(jìng)賽實(shí)質(zhì)上是全球科技主導(dǎo)權(quán)之爭(zhēng)?!斑@是一個(gè)關(guān)于爭(zhēng)奪先發(fā)優(yōu)勢(shì)的問(wèn)題,第一個(gè)實(shí)現(xiàn)AGI的人將在全球經(jīng)濟(jì)、政治及能源供應(yīng)鏈方面帶來(lái)深遠(yuǎn)的下游影響?!?
戴維·林在聽(tīng)證會(huì)上發(fā)言
今年1月,DeepSeek發(fā)布其最新開(kāi)源模型DeepSeek-R1,用較低的成本達(dá)到了接近于美國(guó)OpenAI開(kāi)發(fā)的GPT-o1的性能。這一進(jìn)展破解了全球AI產(chǎn)業(yè)長(zhǎng)期以來(lái)“堆算力”的路徑依賴(lài),其影響波及資本市場(chǎng)。OpenAI隨后公開(kāi)指控DeepSeek通過(guò)“蒸餾”技術(shù)“違規(guī)復(fù)制”其產(chǎn)品功能。
所謂蒸餾的理論核心,就是讓一個(gè)龐大且復(fù)雜的預(yù)訓(xùn)練AI模型充當(dāng)“教師”,來(lái)訓(xùn)練一個(gè)較小的“學(xué)生模型”,后者從“教師模型”學(xué)習(xí)知識(shí),以獲得類(lèi)似性能,但計(jì)算成本更低。不少專(zhuān)家表示,蒸餾在AI業(yè)內(nèi)是一種常見(jiàn)的做法,但若涉及直接復(fù)制閉源專(zhuān)有模型的輸出結(jié)構(gòu)或參數(shù),可能構(gòu)成侵權(quán)。
前百度全球傳播主管、前AI條線(xiàn)記者托尼·彭(Tony Peng,音)日前在其專(zhuān)欄梳理,“蒸餾”的具體操作方法有很多:如“監(jiān)督微調(diào)”(SFT),即直接使用“教師模型”生成的輸出數(shù)據(jù)來(lái)訓(xùn)練“學(xué)生模型”;或是“模型評(píng)分”,即讓“教師模型”充當(dāng)“評(píng)委”,對(duì)模型輸出進(jìn)行評(píng)分,并訓(xùn)練“學(xué)生模型”更傾向于高分回答;又或是利用“教師模型”為復(fù)雜問(wèn)題生成的多步驟推理鏈,讓“學(xué)生模型”模仿這種長(zhǎng)鏈?zhǔn)剿季S(CoT)的過(guò)程。
根據(jù)DeepSeek自己發(fā)布的技術(shù)文檔,其R1模型在第一階段使用了早期模型R1-Zero的輸出作為冷啟動(dòng)數(shù)據(jù)集,由人工標(biāo)注員優(yōu)化后進(jìn)行訓(xùn)練,并在第二階段繼續(xù)通過(guò)強(qiáng)化學(xué)習(xí)(RL)進(jìn)行優(yōu)化。R1-Zero模型則完全依賴(lài)RL,未使用“微調(diào)數(shù)據(jù)集”(fine-tuning datasets)。
此外,DeepSeek去年12月發(fā)布的V3模型是使用對(duì)R1的“知識(shí)蒸餾”等提升了訓(xùn)練效率。技術(shù)文檔稱(chēng),DeepSeek-R1作為高級(jí)推理模型,其CoT能力被蒸餾到V3,從而提升V3的推理能力。
考慮到OpenAI尚未提供具體證據(jù),其首席執(zhí)行官奧爾特曼上周又稱(chēng)“沒(méi)有計(jì)劃”起訴DeepSeek,目前輿論猜測(cè)紛紛。與此同時(shí),也有許多聲音指出,OpenAI提出這一指控本身就頗為“虛偽和諷刺”。
“要知道,ChatGPT在訓(xùn)練過(guò)程中也使用了《福布斯》或《紐約時(shí)報(bào)》的內(nèi)容,這同樣違反了它們的服務(wù)條款?!笨的螤柎髮W(xué)高級(jí)訪(fǎng)問(wèn)講師、曾在谷歌、領(lǐng)英等科技公司從事AI研究的盧茨·芬格(Lutz Finger)說(shuō)。
硅谷內(nèi)部也有人提出反思。金沙江創(chuàng)業(yè)投資(GSR Ventures)合伙人、長(zhǎng)期居住在硅谷的新加坡風(fēng)險(xiǎn)投資人戴維·尹(David Yin,音)對(duì)《海峽時(shí)報(bào)》表示,許多硅谷的AI應(yīng)用公司陷入思維定勢(shì)、缺乏創(chuàng)新,導(dǎo)致其盲目擴(kuò)張,而不是提高效率。
“(在硅谷)當(dāng)有人想給你數(shù)千億美元時(shí),你所想的就是雇更多人、買(mǎi)更多算力,建造自己的‘核電站’”。他說(shuō),“也許中國(guó)的參與者不擅長(zhǎng)‘從零到一’的創(chuàng)新,但一旦他們掌握了一項(xiàng)技術(shù),就會(huì)把它優(yōu)化到極致,從一做到十、一百?!?
本文系觀察者網(wǎng)獨(dú)家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
標(biāo)簽 AI- 責(zé)任編輯: 楊蓉 
-
他又染指軍事:美國(guó)將在下一場(chǎng)戰(zhàn)爭(zhēng)中慘敗,除非…
2025-02-07 21:58 -
“特朗普自殘,更多人會(huì)信中國(guó)了”
2025-02-07 20:01 中美關(guān)系 -
老撾跟進(jìn):限電!
2025-02-07 19:29 打擊網(wǎng)絡(luò)詐騙 -
中方已向美方提出嚴(yán)正交涉
2025-02-07 18:02 中美關(guān)系 -
“噩夢(mèng)已開(kāi)始,女兒?jiǎn)栁沂遣皇窃p騙…”
2025-02-07 18:01 中美關(guān)系 -
美媒也逃不過(guò)…
2025-02-07 17:58 應(yīng)對(duì)特朗普沖擊波 -
馬斯克再被阻擊
2025-02-07 17:57 應(yīng)對(duì)特朗普沖擊波 -
喊停又喊停,特朗普“上任N把火”處處碰壁
2025-02-07 17:46 應(yīng)對(duì)特朗普沖擊波 -
中印尼續(xù)簽雙邊本幣互換協(xié)議,規(guī)模為4000億元人民幣
2025-02-07 16:56 人民幣國(guó)際化 -
習(xí)近平會(huì)見(jiàn)韓國(guó)國(guó)會(huì)議長(zhǎng)禹元植
2025-02-07 16:31 -
中國(guó)正對(duì)蘋(píng)果公司開(kāi)展反壟斷調(diào)查?外交部回應(yīng)
2025-02-07 16:20 -
美航空專(zhuān)家急了:不賣(mài)中國(guó),他回頭自己造了就丸辣!
2025-02-07 16:05 中美關(guān)系 -
外交部:對(duì)巴拿馬不再續(xù)簽“一帶一路”諒解備忘錄深表遺憾
2025-02-07 16:05 -
又一起……美國(guó)阿拉斯加一飛機(jī)失聯(lián)
2025-02-07 15:41 航空安全 -
馬斯克揮刀,砍到伊萬(wàn)卡蛋糕了…
2025-02-07 14:34 -
“DeepSeek粉碎西方遏華幻想,中國(guó)正鯨吞世界”
2025-02-07 14:01 中美關(guān)系 -
不降反增!8年折騰了個(gè)寂寞…
2025-02-07 12:11 應(yīng)對(duì)特朗普沖擊波 -
“中美貿(mào)易摩擦,我們歐洲恐成大輸家”
2025-02-07 11:32 歐洲亂局 -
他揚(yáng)言:將審查中國(guó)是否遵守
2025-02-07 11:07 應(yīng)對(duì)特朗普沖擊波 -
聯(lián)合國(guó)人權(quán)理事會(huì):美國(guó)無(wú)法“退出”
2025-02-07 10:59 應(yīng)對(duì)特朗普沖擊波
相關(guān)推薦 -
-
?;鸬谝灰?,印巴互相指責(zé) 評(píng)論 76王毅分別同印巴雙方通話(huà) 評(píng)論 190印巴停火,特朗普邀功 評(píng)論 593巴防長(zhǎng):核選項(xiàng)不在考慮中,但是… 評(píng)論 97印度稱(chēng)“不想升級(jí)”,巴方想“就此打住” 評(píng)論 430最新聞 Hot
-
伊朗官員:美國(guó)不真誠(chéng)
-
?;鸬谝灰?,印巴互相指責(zé)
-
為什么選出美國(guó)籍教皇?梵蒂岡消息人士:還不是因?yàn)樘乩势?/a>
-
普京提議:15日,俄烏直接談
-
王毅分別同印巴雙方通話(huà)
-
印度稱(chēng)“不想升級(jí)”,巴方想“就此打住”
-
英法德波領(lǐng)導(dǎo)人訪(fǎng)問(wèn)基輔,將與澤連斯基共同討論停火問(wèn)題
-
印軍否認(rèn)S-400防空系統(tǒng)被摧毀
-
印度前高官:勸巴基斯坦,中國(guó)的話(huà)好使
-
空中爆炸!巴軍通報(bào)7日空戰(zhàn)細(xì)節(jié),含擊落“陣風(fēng)”錄音
-
要松口了?印官員稱(chēng)將“適時(shí)”公開(kāi)
-
印度32座機(jī)場(chǎng)暫停對(duì)所有民用航班運(yùn)營(yíng)
-
英官員承認(rèn):美英貿(mào)易協(xié)議這條款,沖中國(guó)來(lái)的
-
巴外長(zhǎng):印度讓巴基斯坦別無(wú)選擇
-
巴基斯坦稱(chēng)使用“梟龍”戰(zhàn)機(jī)擊毀印度S-400防空系統(tǒng)
-
搞錢(qián)色交易、貪欲膨脹,深圳市政協(xié)原副主席王幼鵬被“雙開(kāi)”
-