-
中國高校為何難出大模型?下一代AI仍依賴基礎科研的突破
ChatGPT誕生至今已過去9個多月,大模型在產(chǎn)業(yè)界和學界的最新進展有哪些?
在8月24日舉行的2023世界人工智能大會(WAIC)青年優(yōu)秀論文獎頒獎儀式暨青年科學家論壇上,談到大模型為何難以首先誕生在高校,同濟大學計算機系副主任何良華教授認為,學界之所以很難出現(xiàn)ChatGPT這樣的模型,主要是算力和數(shù)據(jù)的問題。
何良華說,大模型非常吃算力,高校也難以去購買大量的算力。而有了算力之后,要把參數(shù)訓練得比較成熟,需要海量的數(shù)據(jù),但是學界是拿不到這么多數(shù)據(jù)的。除了這兩個問題,還和學界自身的需求有關。“我們都期望在理論上做一些創(chuàng)新。比如我的學生如果跟我說現(xiàn)在需要幾千張卡(算力)來做一個事情,我所有的經(jīng)費給他也不夠,課題也難以立項。因為它既不是應用,又不是理論,找不到這樣一筆經(jīng)費,研究只能中斷?!?
和團隊率先在國內發(fā)布了具備 ChatGPT 能力語言模型MOSS的復旦大學計算機學院教授邱錫鵬表示,大模型更頂尖的研究機構在業(yè)界,這是一個不可回避的事實。從DeepMind再到OpenAI,都是如此。美國的很多著名高校,從研究實力上看已經(jīng)落后于這些頂級的研究院了。
邱錫鵬解釋,學校和研究院的差異還是在于自由的探索。對于很多研究院來講,長期的目標還是奔著盈利,包括國內很多企業(yè)之前也建了很多研究院,過不了幾年就發(fā)現(xiàn)可能面臨著盈利、變現(xiàn)的壓力,導致做的研究不是特別純粹。在他看來,OpenAI的團隊是一個以前沒有出現(xiàn)過的形態(tài),這種制度設計非常好,能使團隊既能堅持本心做研究,同時也沒有那么大的壓力。
“在學校的話還是要發(fā)揮學校的長處,做的研究沒有太多的盈利要求或面臨短期變現(xiàn)的壓力,也可以思考得更長遠。特別在如今高算力要求的情況下,在學術界和產(chǎn)業(yè)界的研究院之間,還是可以發(fā)揮學術界的優(yōu)勢?!彼f。
上??萍即髮W生物醫(yī)學工程學院常任助理教授錢學駿則認為,工業(yè)界做出的很多有影響力的工作,可能不是學界追求的主要目標?!皩W界可能更想(發(fā)明)一種思路上的創(chuàng)新(新想法、新應用),而不是通過大算力、大數(shù)據(jù),各方面的優(yōu)勢集中做出來了,對學界來說這些也不夠有優(yōu)勢,無法獲得大量數(shù)據(jù)。”
華為諾亞方舟實驗室AI研究員謝恩澤說,怎么構建高質量的數(shù)據(jù)集,可能是對于大模型能力一個很重要的補充。訓練大模型本身來說,用多大參數(shù)的模型、配多大的數(shù)據(jù)量,以及用多長時間,這些協(xié)同也是很重要的。而這些只有在少數(shù)幾個大廠才有機會接觸到這些資源。
今年以來,生成式人工智能的發(fā)展成為地方政府和科技大廠瞄準的關鍵詞??萍疾咳斯ぶ悄馨l(fā)展研究中心5月底發(fā)布的《中國人工智能大模型地圖研究報告》顯示,當前國內10億參數(shù)規(guī)模以上的大模型已發(fā)布79個。
在不久前的浦江基礎科學發(fā)展論壇上,清華大學人工智能研究院常務副院長孫茂松教授對第一財經(jīng)表示,我國乃至全球發(fā)展大模型最終的突破關鍵,是基礎科學的突破。
他說,對于大模型,當前的問題在于并不清楚OpenAI的機理是如何運作的,就連推出ChatGPT的OpenAI公司首席執(zhí)行官薩姆·奧特曼也表示,雖然做出了GPT但也不清楚發(fā)生的原理,“實際上就是對這個機理還不清楚”。他認為,現(xiàn)有的人工智能模型已經(jīng)能做到說話通順,但這個問題的內在實現(xiàn)邏輯仍然十分復雜。如果弄清楚了大模型里的規(guī)律、ChatGPT背后的機理,就有可能克服現(xiàn)有人工智能大模型的局限性,建立下一代人工智能的理論和模型。
- 原標題:中國高校為何難出大模型?下一代AI仍依賴基礎科研的突破
- 責任編輯: 連政 
-
水稻并非在中國單次起源,但80%基因來自中國
2023-08-23 06:58 -
印度“月船3號”月球探測器與“月船2號”軌道器建立通信連接
2023-08-21 22:05 航空航天 -
大藤峽工程最后一臺機組并網(wǎng)發(fā)電
2023-08-21 20:05 超級工程 -
印度公布登月著陸時間及具體步驟
2023-08-20 21:23 航空航天 -
俄“月球-25 ”號探測器與月球表面發(fā)生碰撞:已失聯(lián)
2023-08-20 17:09 航空航天 -
我國首個大型巡天空間望遠鏡正在研制
2023-08-19 15:16 -
國際首套!中國300兆瓦先進壓縮空氣儲能系統(tǒng)膨脹機順利下線
2023-08-17 15:37 能源戰(zhàn)略 -
英特爾顯卡成亞運會官方指定圖形處理器
2023-08-17 15:28 亞運經(jīng)濟 -
我國二氧化碳精準合成己糖技術取得新進展
2023-08-16 22:37 科技前沿 -
我科學家成功打印出“金屬力學超材料”
2023-08-16 07:51 科技前沿 -
天津大學成功研發(fā)5.5G/6G“技術心臟”
2023-08-16 06:54 5G -
吳艷華總師率團出席俄羅斯月球-25號探測器發(fā)射活動
2023-08-15 16:04 航空航天 -
三大運營商上半年營收萬億,云業(yè)務成增長亮點
2023-08-14 00:28 觀網(wǎng)財經(jīng)-科創(chuàng) -
全球人工智能發(fā)展,可能還會走上核武競爭的老路
2023-08-13 08:33 這就是中國 -
如果一家公司或者一個人,利用人工智能把整個世界毀滅……
2023-08-12 09:45 人工智能 -
碧桂園已籌備債務重整 近期啟動相關程序
2023-08-11 08:17 觀網(wǎng)財經(jīng)-房產(chǎn) -
“為了這組高清圖,我們前后花了10年時間”
2023-08-10 08:24 -
LK-99只是電阻很高的劣質材料?北大等團隊研究結果公布
2023-08-08 22:05 -
香港大學獲822.6毫克嫦娥五號月壤樣本
2023-08-08 14:12 香港 -
國產(chǎn)薄煤層采煤機打破世界紀錄
2023-08-08 07:45 科技前沿
相關推薦 -
最新聞 Hot
-
印度稱“不想升級”,巴方想“就此打住”
-
英法德波領導人訪問基輔,將與澤連斯基共同討論?;饐栴}
-
印軍否認S-400防空系統(tǒng)被摧毀
-
印度前高官:勸巴基斯坦,中國的話好使
-
空中爆炸!巴軍通報7日空戰(zhàn)細節(jié),含擊落“陣風”錄音
-
要松口了?印官員稱將“適時”公開
-
印度32座機場暫停對所有民用航班運營
-
英官員承認:美英貿(mào)易協(xié)議這條款,沖中國來的
-
巴外長:印度讓巴基斯坦別無選擇
-
巴基斯坦稱使用“梟龍”戰(zhàn)機擊毀印度S-400防空系統(tǒng)
-
搞錢色交易、貪欲膨脹,深圳市政協(xié)原副主席王幼鵬被“雙開”
-
“跟巴西建這條鐵路,中國非常感興趣”
-
果然,英國被用來“立規(guī)矩”了
-
印度官員:印軍正做出回應
-
印方:一高級官員在巴方炮擊中身亡
-
巴基斯坦發(fā)起“銅墻鐵壁”行動:已打擊20多處印度軍事設施
-