-
馬斯克宣布啟動全球最大AI集群,集成10萬個英偉達H100 GPU
最后更新: 2024-07-23 12:26:487月23日,據(jù)國外媒體報道,馬斯克在其社交媒體上宣布,旗下AI初創(chuàng)公司xAI已開始在位于田納西州的所謂孟菲斯超級集群(training cluster)上進行訓練,號稱這是“全球最強大的AI訓練集群”。
馬斯克在X平臺的宣布截圖華爾街見聞
據(jù)馬斯克介紹,這個集群由100,000個液冷H100 GPU組成,這些芯片是英偉達去年開始提供的。
馬斯克還表示,該集群在單個RDMA結(jié)構(gòu)(即遠程直接數(shù)據(jù)存取結(jié)構(gòu))上運行。據(jù)思科介紹,這種結(jié)構(gòu)可以在計算節(jié)點之間提供更高效、更低延遲的數(shù)據(jù)傳輸,而不會給中央處理器(CPU)帶來負擔。
馬斯克今年5月曾透露這一計劃 ,將英偉達H100串聯(lián)到一臺巨型的超級計算機中,并稱其為“算力超級工廠”。
當時,馬斯克匆匆忙忙地開始了Supercluster的工作,需要購買英偉達“Hopper”H100 GPU。這似乎表明,當時這位科技大亨沒有耐心等待 H200 芯片推出,更不用說即將推出的基于 Blackwell 的 B100 和 B200 GPU。盡管預(yù)計較新的 Nvidia Blackwell 數(shù)據(jù)中心 GPU 將在 2024 年底之前發(fā)貨。
馬斯克新浪科技
xAI的目標是到2024年12月訓練出“按每項指標衡量都是全球最強大的AI”。馬斯克表示,孟菲斯超級集群將為實現(xiàn)這一目標提供“顯著優(yōu)勢”。
不過,據(jù)外媒表示,不要對這一時間節(jié)點報太大期望,因為馬斯克以公開提出并錯過許多項目(如全自動駕駛汽車、無人駕駛出租車產(chǎn)品Robotaxi和將人類送往火星)的最后期限而聞名。
馬斯克周一還表示,特斯拉將在明年小規(guī)模生產(chǎn)用于內(nèi)部使用的Optimus機器人,并希望到2026年能大規(guī)模生產(chǎn)供其他公司使用。這比他之前承諾的時間表晚了。之前馬斯克宣稱到2024年底將在特斯拉工廠使用Optimus機器人,并在2025年交付給其他公司。
另外,Microsoft正在與OpenAI首席執(zhí)行官Sam Altman(阿爾特曼)合作開發(fā)一個價值1000億美元的AI訓練超級計算機,代號為Stargate。如果這一項目取得成功,xAI的孟菲斯超級集群可能不會長期保持全球最強大的AI訓練集群地位。
心智觀察所研究員潘攻愚認為,馬斯克一直標榜特斯拉是一家人工智能和機器人公司。特斯拉大型工廠三班倒一刻不停地進行數(shù)據(jù)搜集用于AI訓練,馬斯克需要近10萬塊H100用于特斯拉FSD自動駕駛服務(wù),為下半年推出Robotaxi做準備。不過如此大量的采購有兩個挑戰(zhàn),一個是能耗。目前H100全年總能耗已經(jīng)超過了格魯吉亞等小國全年所有的電量;一個是從訓練到推理的跳躍,畢竟H100用于推理的性價比并不高,會造成很多算力的“通貨膨脹”。
目前,英偉達的股價正在走出另一波調(diào)整,馬斯克的最新言論為其注入一針強心劑。截至當?shù)貢r間22日美股收盤,英偉達上漲4.76%,特斯拉則上漲5.15%。
心智觀察所研究員呂棟指出,AI既是“暴力美學”,也是工程比拼,需要算力、算法、數(shù)據(jù)的深度融合與經(jīng)驗積累。
一方面,隨著計算量不斷攀升,單卡算力角色弱化,大模型訓練亟需一個超級工廠,即“大且通用”的加速計算平臺,以縮短訓練時間,實現(xiàn)模型能力的快速迭代。隨著大模型參數(shù)量從千億邁向萬億,模型能力更加泛化,大模型對底層算力的訴求進一步升級,萬卡甚至超萬卡集群已成為競賽入場券。
另一方面,建設(shè)萬卡或超萬卡集群并非一萬張GPU卡的簡單堆疊,而是一項高度復(fù)雜的系統(tǒng)工程。算力集群不是一個計算GPU,怎么把它組織成算力網(wǎng)絡(luò),相互之間通訊效率怎么提高,怎么實現(xiàn)MFU(算力利用率)達到60%的最優(yōu)目標,這些都要靠網(wǎng)絡(luò)通訊、計算、存儲一起來解決。只有軟硬件結(jié)合,把整個集群算力發(fā)揮到最高,才能實現(xiàn)1+1>2的效果。
另外值得注意的是,在比拼算力和算法之外,如何將人工智能基礎(chǔ)設(shè)施化,賦能全行業(yè),中國正在做人工智能賦能實體經(jīng)濟的道路探索。
中國工程院院士、中國科學院計算技術(shù)研究所所長孫凝暉認為,算力基礎(chǔ)設(shè)施的中國方案需要具備“兩低一高”,即在供給側(cè),大幅度降低算力器件、算力設(shè)備、網(wǎng)絡(luò)連接、數(shù)據(jù)獲取、算法模型調(diào)用、電力消耗、運營維護、開發(fā)部署的總成本,讓廣大中小企業(yè)都消費得起高品質(zhì)的算力服務(wù),有積極性開發(fā)算力網(wǎng)應(yīng)用;在消費側(cè),大幅度降低廣大用戶的算力使用門檻,面向大眾的公共服務(wù)必須做到易獲取、易使用,像水電一樣即開即用,像編寫網(wǎng)頁一樣輕松定制算力服務(wù),開發(fā)算力網(wǎng)應(yīng)用。在服務(wù)效率側(cè),中國的算力服務(wù)要實現(xiàn)低熵高通量,其中高通量是指在實現(xiàn)高并發(fā)度服務(wù)的同時,端到端服務(wù)的響應(yīng)時間可滿足率高;低熵是指在高并發(fā)負載中出現(xiàn)資源無序競爭的情況下,保障系統(tǒng)通量不急劇下降。保障“算得多”對中國尤其重要。
當前,中國也正在掀起建設(shè)萬卡集群的熱潮,像華為、中國移動、摩爾線程等廠商都在布局萬卡集群。
- 責任編輯: 史岱君 
-
全固態(tài)電池新突破!中科大開發(fā)出新型硫化物固態(tài)電解質(zhì)
2024-07-23 10:12 -
三中全會剛開完,美企高管組團來華
2024-07-23 09:19 -
英偉達閹割版H20芯片也將對華禁售?
2024-07-22 18:11 觀網(wǎng)財經(jīng)-科創(chuàng) -
財政部:上半年全國稅收收入同比下降5.6%
2024-07-22 17:50 金融觀察 -
長江存儲再次在美國起訴美光
2024-07-22 17:04 觀網(wǎng)財經(jīng)-科創(chuàng) -
人工智能往事:大模型的理論基礎(chǔ),曾一度被判死刑
2024-07-22 16:56 -
中央金融紀監(jiān)工委,首次亮相
2024-07-22 16:49 高層人事 -
對美加征關(guān)稅商品第十五次排除延期清單公布
2024-07-22 16:27 中美關(guān)系 -
央行:下調(diào)常備借貸便利利率10個基點
2024-07-22 14:21 -
日本車企高管:對中國電動汽車快速發(fā)展“非常害怕”
2024-07-22 09:08 -
新一輪財稅改革任務(wù)清單公開,涉及個稅等20項重大改革
2024-07-21 19:09 觀網(wǎng)財經(jīng)-宏觀 -
今夏冰杯火了,杯子卻要進口?
2024-07-20 11:54 觀網(wǎng)財經(jīng)-消費 -
雷軍:周受資離職是當頭一棒
2024-07-20 07:55 觀網(wǎng)財經(jīng)-科創(chuàng) -
“很有含金量”,旅客帶1.805千克黃金首飾入境被海關(guān)查獲
2024-07-19 17:36 黃金游戲 -
當萬斯崛起時:PayPal黑幫如何改變了美國政治
2024-07-19 16:31 -
遭遇史上最激烈罷工,三星如何走出“中年危機”?
2024-07-19 16:11 -
OpenAI推出GPT-4o mini,號稱“最具成本效益的小模型”
2024-07-19 11:42 觀網(wǎng)財經(jīng)-科創(chuàng) -
被歐盟法院裁定為“守門人”,字節(jié)跳動:失望
2024-07-18 17:54 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
去年虧損近40億元,東風汽車集團仍難回歸A股
2024-07-18 17:22 觀出行 產(chǎn)業(yè)新聞 -
開售3個月,華為Pura70官宣降價
2024-07-18 13:32 觀網(wǎng)財經(jīng)-科創(chuàng)
相關(guān)推薦 -
最新聞 Hot
-
“特朗普夜不能寐,搞定全球問題比想象難得多”
-
靠岸中國貨船數(shù)“歸零”,美西港口官員驚到了
-
“出軌女下屬”,英國海軍一把手被免職
-
“聽加州的,否則美國最大經(jīng)濟體地位不?!?/a>
-
流浪53年后,蘇聯(lián)金星探測器墜落地球
-
伊朗官員:美國不真誠,一開始就設(shè)陷阱
-
停火第一夜,印巴互相指責
-
為什么選出美國籍教皇?梵蒂岡消息人士:還不是因為特朗普
-
普京提議:15日,俄烏直接談
-
王毅分別同印巴雙方通話
-
印度稱“不想升級”,巴方想“就此打住”
-
英法德波領(lǐng)導人訪問基輔,將與澤連斯基共同討論停火問題
-
印軍否認S-400防空系統(tǒng)被摧毀
-
印度前高官:勸巴基斯坦,中國的話好使
-
空中爆炸!巴軍通報7日空戰(zhàn)細節(jié),含擊落“陣風”錄音
-
要松口了?印官員稱將“適時”公開
-