-
肖仰華:國(guó)內(nèi)大模型真正的短板并非數(shù)據(jù)和算力,而在"煉制"工藝
-
周毅是故意的還是不小心?
最后更新: 2024-05-08 21:24:12【文/觀察者網(wǎng) 周毅 編輯 張廣凱】
微軟再一次拋出“王炸”。
5月23日,在西雅圖的微軟Build 2023開(kāi)發(fā)者大會(huì)上,微軟CEO納德拉正式宣布,正在為Windows 11添加人工智能助手“Windows Copilot”,用戶可以在Windows系統(tǒng)中使用聊天機(jī)器人。
在ChatGPT領(lǐng)域,中國(guó)此前已有阿里通義千問(wèn)、百度文心一言、京東靈犀等多款產(chǎn)品。
在AIGC的新風(fēng)口下,如何看待中國(guó)企業(yè)的挑戰(zhàn)和機(jī)遇?
5月22日,2023數(shù)字經(jīng)濟(jì)(東湖)論壇在武漢舉辦。在論壇上,復(fù)旦大學(xué)教授、上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室主任肖仰華對(duì)觀察者網(wǎng)表示,與國(guó)際同行相比,模型、數(shù)據(jù)和算力并不是中國(guó)最大的劣勢(shì),真正的短板在于對(duì)大模型"煉制"工藝的掌握,包括數(shù)據(jù)配方、數(shù)據(jù)清洗和參數(shù)設(shè)置等等。
肖仰華表示,大模型"煉制"工藝從根本上決定了大模型的效果。但是和OpenAI等企業(yè)相比,我們?nèi)杂幸欢ǖ臅r(shí)間差距。但是中國(guó)也有自己的優(yōu)勢(shì),比如舉國(guó)體制。我們可以成立產(chǎn)業(yè)聯(lián)盟多線并進(jìn),縮短試錯(cuò)周期。
圖源2023數(shù)字經(jīng)濟(jì)(東湖)論壇
肖仰華還提醒,我們不能因?yàn)槌醋鰿hatGPT一個(gè)熱點(diǎn),而忽略了具身智能等其他賽道。
值得重視的短板:先進(jìn)工藝
在肖仰華看來(lái),以ChatGPT為代表的生成式人工智能技術(shù)(AIGC),將成為推動(dòng)我國(guó)數(shù)字經(jīng)濟(jì)進(jìn)步,實(shí)現(xiàn)高質(zhì)量發(fā)展的重要引擎。在ChatGPT之前,人工智能處于不成熟的產(chǎn)業(yè)階段;ChatGPT的出現(xiàn)將人工智能帶入快速發(fā)展、快速變現(xiàn)的重工業(yè)發(fā)展階段。
但在類ChatGPT等大模型領(lǐng)域,中國(guó)尚處于起步階段,需要進(jìn)一步規(guī)劃和統(tǒng)籌。
肖仰華認(rèn)為,大模型產(chǎn)業(yè)發(fā)展的取決于數(shù)個(gè)因素。
首先是模型。模型好比功夫中的“內(nèi)功”,模型越大,潛力越強(qiáng);其二是算力,這是大模型的核心競(jìng)爭(zhēng)力,大模型競(jìng)爭(zhēng)歸根結(jié)底是算力的競(jìng)爭(zhēng);其三是數(shù)據(jù)。只有高質(zhì)量的數(shù)據(jù),才能喂養(yǎng)出高水平的大模型。不過(guò),它們都不是中國(guó)大模型產(chǎn)業(yè)的真正短板所在。
圖源微軟
“我國(guó)的大模型產(chǎn)業(yè),在數(shù)據(jù)上有優(yōu)勢(shì),在算力上有基礎(chǔ),模型本身也不存在什么秘密,我們真正缺的是先進(jìn)工藝。”肖仰華說(shuō)。
他解釋道,“煉制”大模型的工藝過(guò)程至關(guān)重要,它包括數(shù)據(jù)配方、數(shù)據(jù)清洗、參數(shù)設(shè)置、流程設(shè)計(jì)和質(zhì)量控制等等。它從根本上決定了大模型的效果,是大模型產(chǎn)業(yè)發(fā)展的重要因素。當(dāng)前我國(guó)大模型產(chǎn)業(yè)發(fā)展缺乏先進(jìn)工藝過(guò)程,這是短期之內(nèi)難以跟上的,需要付出巨大代價(jià)進(jìn)行摸索。
數(shù)據(jù)配方,指的是根據(jù)模型的學(xué)習(xí)目標(biāo),確定不同領(lǐng)域、不同類型、不同模態(tài)數(shù)據(jù)的配比;數(shù)據(jù)清洗,指的是對(duì)原始語(yǔ)料進(jìn)行去噪、去重、過(guò)濾、規(guī)范化等操作,提高語(yǔ)料一致性、多樣性與完整性。
所謂的參數(shù)設(shè)置,是根據(jù)模型的架構(gòu)和規(guī)模,選擇合適的超參數(shù),如學(xué)習(xí)率、批次大小、優(yōu)化器、激活函數(shù)等,這些選擇將影響模型訓(xùn)練的效率和效果。
流程設(shè)計(jì),是根據(jù)模型的訓(xùn)練目標(biāo)和資源限制,設(shè)計(jì)各相關(guān)組件之間的流程排布、目標(biāo)設(shè)定、訓(xùn)練策略等,提高模型的泛化能力和適應(yīng)性。
質(zhì)量控制,指的是對(duì)模型的訓(xùn)練過(guò)程和結(jié)果進(jìn)行監(jiān)控和評(píng)估,通過(guò)準(zhǔn)確率、困惑度等關(guān)鍵指標(biāo)監(jiān)測(cè),通過(guò)對(duì)比不同模型或版本的表現(xiàn),以保障大模型訓(xùn)練的質(zhì)量和穩(wěn)定性。
肖仰華表示,上述的每一個(gè)具體模塊,國(guó)內(nèi)其實(shí)都知道怎么做,但是將它們整合在一起,總體效果和國(guó)外是存在差距的?!安皇悄茏鲞€是不能做的問(wèn)題,而是做出來(lái)的效果是70分與100分的差別。”肖仰華表示,我們要趕上最后這幾十分,要不斷試錯(cuò)、評(píng)測(cè)和改進(jìn)。
肖仰華對(duì)觀察者網(wǎng)表示,先進(jìn)工藝的掌握需要試錯(cuò),需要時(shí)間積累。OpenAI成立于2015年,在2018年投入大模型研發(fā),到今年整整用了5年時(shí)間,他們花了很多時(shí)間去試錯(cuò)和摸索。即使現(xiàn)在很多中國(guó)企業(yè)在努力追趕,但是這個(gè)“時(shí)間差”是一朝一夕難以趕上的。
OpenAI網(wǎng)站截圖
但是,中國(guó)也有優(yōu)勢(shì):舉國(guó)體制。
“我們可以把串行的試錯(cuò)變成并行的試錯(cuò),甚至可以10條技術(shù)路線同時(shí)試錯(cuò),”,肖仰華解釋道,當(dāng)一些人在驗(yàn)證某一個(gè)路線,那么其他人就不必重復(fù)驗(yàn)證該路線,可以轉(zhuǎn)而去驗(yàn)證求索B路線、C路線……這就是中國(guó)舉國(guó)體制的力量。
肖仰華提到,并行試錯(cuò)需要相關(guān)研發(fā)機(jī)構(gòu)形成聯(lián)盟,例如算力聯(lián)盟、數(shù)據(jù)聯(lián)盟和技術(shù)聯(lián)盟。如果大家能夠做到技術(shù)共享、協(xié)同研發(fā),就可以把試錯(cuò)的成本大大降低,并顯著縮短試錯(cuò)周期?!叭思倚枰?年,我們可以只用1年。迎頭追趕的策略是存在的,關(guān)鍵是我們能不能推動(dòng)這些聯(lián)盟的團(tuán)結(jié)?!?
- 責(zé)任編輯: 周毅 
-
王炸芯片,難再成蘋(píng)果救星
2024-05-08 18:18 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
ST陽(yáng)光:控股股東涉嫌內(nèi)幕交易被證監(jiān)會(huì)擬罰款2.32億元
2024-05-07 20:57 -
華為蘋(píng)果同日對(duì)決,背后還有中韓面板之爭(zhēng)
2024-05-07 17:23 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
歷史性一幕!iPhone在華市場(chǎng)份額跌出前五
2024-05-07 11:13 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
45億加碼“五五購(gòu)物節(jié)”,拼多多助力上?!捌础背鼍?/a>
2024-05-06 19:32 -
美國(guó)?Tiktok法案的起草人,引火燒身了
2024-05-06 18:47 觀網(wǎng)財(cái)經(jīng)-金融 -
舒適賽道紅利釋放,紅豆股份品牌轉(zhuǎn)型出成效
2024-05-06 13:33 -
“五一”近3億人次出游,較2019年同期增長(zhǎng)28.2%
2024-05-06 12:16 觀察者頭條 -
巴菲特股東大會(huì)要點(diǎn)來(lái)了!回應(yīng)減持蘋(píng)果、巨額現(xiàn)金儲(chǔ)備等
2024-05-05 08:28 -
武廣高鐵、滬杭客專等4條高鐵線漲價(jià),漲幅近20%
2024-05-04 14:13 高鐵世紀(jì) -
深圳將取消福田、南山之外區(qū)域住房限購(gòu)?深圳住建局回應(yīng)
2024-05-04 10:27 觀網(wǎng)財(cái)經(jīng)-房產(chǎn) -
庫(kù)克涉華最新發(fā)聲
2024-05-04 10:14 跨國(guó)企業(yè)在中國(guó) -
20張營(yíng)業(yè)執(zhí)照只有3家實(shí)存?央媒:?jiǎn)栴}在下頭,根子在上頭
2024-05-03 11:21 基層治理 -
上海推出商品住房“以舊換新”活動(dòng)
2024-05-03 09:39 觀網(wǎng)財(cái)經(jīng)-房產(chǎn) -
中俄東線天然氣管道最新進(jìn)展
2024-05-03 09:30 國(guó)企備忘錄 -
31省份“一季報(bào)”:蘇魯浙增速超6%,山西總量下滑
2024-05-02 21:39 宏觀經(jīng)濟(jì) -
美聯(lián)儲(chǔ)維持利率不變,納指兩連跌星巴克重挫
2024-05-02 07:42 觀網(wǎng)財(cái)經(jīng)-海外 -
南京公積金新政:包括宣城、馬鞍山在內(nèi)的南京都市圈9城互認(rèn)互貸
2024-05-01 19:50 觀網(wǎng)財(cái)經(jīng)-房產(chǎn) -
美國(guó)當(dāng)前經(jīng)濟(jì)數(shù)據(jù)中,也許藏著高官接連訪華的答案
2024-05-01 09:24 -
余承東不再擔(dān)任華為終端BG CEO
2024-05-01 08:53 觀網(wǎng)財(cái)經(jīng)-科創(chuàng)
相關(guān)推薦 -
-
“跟巴西建這條鐵路,中國(guó)非常感興趣” 評(píng)論 41真急了!“請(qǐng)求中國(guó)取消限制” 評(píng)論 466歐盟多國(guó)大停電,“我們需要中國(guó)技術(shù)” 評(píng)論 170中俄元首在主觀禮臺(tái)出席紅場(chǎng)閱兵式 評(píng)論 66英方拿到了,“簡(jiǎn)直像在平行宇宙,中國(guó)太超前了” 評(píng)論 100最新聞 Hot
-
巴基斯坦稱使用“梟龍”戰(zhàn)機(jī)擊毀印度S-400防空系統(tǒng)
-
搞錢(qián)色交易、貪欲膨脹,深圳市政協(xié)原副主席王幼鵬被“雙開(kāi)”
-
“跟巴西建這條鐵路,中國(guó)非常感興趣”
-
果然,英國(guó)被用來(lái)“立規(guī)矩”了
-
印度官員:印軍正做出回應(yīng)
-
印方:一高級(jí)官員在巴方炮擊中身亡
-
巴基斯坦發(fā)起“銅墻鐵壁”行動(dòng):已打擊20多處印度軍事設(shè)施
-
華春瑩:你好呀,丁真
-
克宮回應(yīng):支持30天?;穑猛咨瓢才拧凹?xì)節(jié)問(wèn)題”
-
特朗普:鮑威爾不愛(ài)我
-
“講真,印巴打仗我們管不著”
-
普京:welcome,盧卡申科:現(xiàn)在都用英語(yǔ)了?
-
X平臺(tái):印度要求封禁8000多個(gè)當(dāng)?shù)刭~戶,否則重罰
-
4月中國(guó)對(duì)東盟出口激增20.8%,美媒驚了
-
真急了!“請(qǐng)求中國(guó)取消限制”
-
嚴(yán)管執(zhí)行!中方再出手,美媒發(fā)愁
-