-
繼DeepSeek后,阿里云通義千問也追上OpenAI
-
連政guanchazhewanxgun
中國不僅有DeepSeek,還有通義千問。
阿里云通義團(tuán)隊(duì)于大年初一發(fā)布旗艦?zāi)P汀癚wen2.5-Max”,已成為繼深度求索(DeepSeek)后,第二家可以比肩美國OpenAI公司o1系列的中國大語言模型。
近日,三方基準(zhǔn)測試平臺(tái)LMArena的大語言模型盲測榜單(“ChatBot Arena LLM”)最新排名顯示,“Qwen2.5-Max”以1332分排總榜第7名,超過了深度求索的“DeepSeek-V3”以及OpenAI的“o1-mini”。而在數(shù)學(xué)和編程方面,“Qwen2.5-Max”則排名第1,在Hard prompts方面排名第2。
“ChatBot Arena LLM”榜單由美國加州大學(xué)伯利克分校天空計(jì)算實(shí)驗(yàn)室與LMArena聯(lián)合開發(fā),通過用戶盲測的方式,覆蓋了對話、代碼、圖文生成、網(wǎng)頁開發(fā)等多維度能力評(píng)估,最終基于260萬票結(jié)果反映出197個(gè)模型在真實(shí)體驗(yàn)下的排名情況,也是業(yè)內(nèi)公認(rèn)的權(quán)威榜單。
該榜單最新的更新時(shí)間為當(dāng)?shù)貢r(shí)間的2月2日,其中OpenAI的多個(gè)版本模型占據(jù)高位,比如第3位的“ChatGPT-4o”,同時(shí)還有谷歌的“Gemini-2.0”、xAI的“Grok-2”等,但這些模型均為閉源模型。
而在開源模型方面,“DeepSeek-R1”一騎絕塵,與“ChatGPT-4o-latest”并列榜單第3,緊隨其后的就是排名第7的阿里云通義“Qwen-max-2025-01-25”(即Qwen2.5-Max),“DeepSeek-V3”和中國智譜模型“GLM-4-Plus-0111”則分別排名第8、第9,而階躍星辰的“Step-2-16K-Exp”模型則與“o1-Mini”并列第10。榜單前10名中有5個(gè)中國大語言模型,也體現(xiàn)出中國人工智能團(tuán)隊(duì)在全球范圍內(nèi)的強(qiáng)技術(shù)競爭力。
去年6月、9月,阿里云通義模型也曾兩度登頂全球最強(qiáng)開源模型的寶座,但由于未能追平超越閉源模型,討論熱度不及12月的DeepSeek-V3。今年1月29日凌晨1時(shí),阿里云通義團(tuán)隊(duì)正式對外發(fā)布“Qwen2.5-Max”,該模型采用超大規(guī)模混合專家(MoE, Mixture of Experts)架構(gòu),訓(xùn)練數(shù)據(jù)超過20萬億tokens,并在知識(shí)(測試大學(xué)水平知識(shí)的MMLU-Pro)、編程(LiveCodeBench)、全面評(píng)估綜合能力的(LiveBench)以及人類偏好對齊(Arena-Hard)等主流權(quán)威基準(zhǔn)測試上,展現(xiàn)出全球領(lǐng)先的模型性能。
值得注意的是,“Arena-Hard”項(xiàng)主要測試模型在復(fù)雜指令理解和多輪對話中的表現(xiàn),涵蓋了各種領(lǐng)域的知識(shí)和任務(wù),并且打分的時(shí)候要嚴(yán)格對齊人類偏好。其中,對游戲開發(fā)、數(shù)學(xué)證明等專業(yè)項(xiàng)會(huì)給予較高分?jǐn)?shù),而對類似全球餐廳推薦、送禮創(chuàng)意等答案會(huì)出現(xiàn)模棱兩可情況的問題給予較低權(quán)重,“評(píng)委”則通常也由國外模型擔(dān)當(dāng)。而這種情況下,“Qwen2.5-Max”在該基準(zhǔn)測試中仍能夠迅速分析問題,整合相關(guān)知識(shí),給出全面且準(zhǔn)確的回答,最終以89.4分超越全部對比模型(DeepSeek-V3、Llama-3.1-405B-Inst、GPT-4o-0806、Claude-3.5-Sonnet-1022)。
據(jù)阿里云稱,由于無法訪問“GPT-4o”和“Claude-3.5-Sonnet”等閉源模型的基座模型,通義團(tuán)隊(duì)將“Qwen2.5-Max”與目前領(lǐng)先的開源MoE模型“DeepSeek V3”、最大的開源稠密模型“Llama-3.1-405B”,以及同樣位列開源稠密模型前列的“Qwen2.5-72B”進(jìn)行了對比。在包括MMLU等所有11項(xiàng)基準(zhǔn)測試中,Qwen2.5-Max全部超越了對比模型。
對此,ChatBot Arena官方給出評(píng)價(jià):“(Qwen2.5-Max)在多個(gè)領(lǐng)域表現(xiàn)強(qiáng)勁,特別是專業(yè)技術(shù)向的(編程、數(shù)學(xué)、硬提示等)?!?
本文系觀察者網(wǎng)獨(dú)家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
- 責(zé)任編輯: 連政 
-
美國郵政暫停接收來自中國內(nèi)地和香港的入境包裹
2025-02-05 14:44 觀網(wǎng)財(cái)經(jīng)-海外 -
華為董事長:去年?duì)I收超8600億
2025-02-05 14:03 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
中國七大云廠商集中上線DeepSeek
2025-02-05 11:28 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
A股deepseek概念掀漲停潮,機(jī)器人板塊走強(qiáng)
2025-02-05 10:56 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
“硅谷有種常見病,認(rèn)為圈外所有創(chuàng)新都是作弊得來的”
2025-02-02 21:01 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
華為和DeepSeek聯(lián)手,硅基流動(dòng)首發(fā)被擠爆
2025-02-01 18:23 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
英特爾也加入了:針對DeepSeek進(jìn)行深度優(yōu)化
2025-02-01 15:21 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
韓國股市補(bǔ)跌:內(nèi)存芯片巨頭暴跌10%
2025-02-01 14:28 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
2024年末銀行理財(cái)支持實(shí)體經(jīng)濟(jì)資金規(guī)模超20萬億元
2025-02-01 13:27 金融觀察 -
-
-
蘋果最賺錢的一個(gè)季度,在華收入?yún)s遭滑鐵盧
2025-01-31 10:56 -
星巴克第一財(cái)季同店銷售下滑4%,中國同店銷售下降6%
2025-01-29 13:40 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
英國監(jiān)管機(jī)構(gòu)考慮調(diào)查亞馬遜和微軟云服務(wù)
2025-01-29 13:34 觀網(wǎng)財(cái)經(jīng)-海外 -
高盛警告:避險(xiǎn)基金已開始撤離對美國科技股的押注
2025-01-29 12:43 觀網(wǎng)財(cái)經(jīng)-海外 -
阿里云發(fā)布通義千問旗艦版模型Qwen2.5-Max
2025-01-29 10:54 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
美國科技股收復(fù)部分失地,昨夜中國資產(chǎn)大漲
2025-01-29 10:53 觀網(wǎng)財(cái)經(jīng)-海外 -
去年凈虧118億美元,波音放棄制定2025年財(cái)務(wù)目標(biāo)
2025-01-29 10:44 -
DeepSeek掀翻美股,憑什么?
2025-01-28 18:44
相關(guān)推薦 -
-
轉(zhuǎn)頭,特朗普就炮轟歐盟 評(píng)論 275“中美會(huì)談成果遠(yuǎn)超預(yù)期,是一個(gè)非常好的起點(diǎn)” 評(píng)論 251中美日內(nèi)瓦經(jīng)貿(mào)會(huì)談聯(lián)合聲明 評(píng)論 1112卡塔爾送大禮引爭議,特朗普:免費(fèi)的也罵? 評(píng)論 162何立峰:中美達(dá)成重要共識(shí) 評(píng)論 307最新聞 Hot
-
陣容龐大!關(guān)鍵時(shí)刻,拉美伙伴“力挺”中國
-
消息傳出,美企CEO“蹦下床打電話”:趕緊發(fā)貨!
-
轉(zhuǎn)頭,特朗普就炮轟歐盟
-
在獄中,杜特爾特以壓倒性優(yōu)勢當(dāng)選市長
-
“中方抵抗到底,成了”
-
巴外長警告:這個(gè)問題不解決,?;饘⑹芡{
-
中美利好消息傳來,“七巨頭”一夜回漲8000億美元
-
特朗普怒了:我又不是蠢貨,免費(fèi)的不要?!
-
特朗普:周四我可能飛去參加俄烏會(huì)談
-
印巴空戰(zhàn)后首次公開講話,莫迪只字不提美國
-
澤連斯基批準(zhǔn)美烏礦產(chǎn)協(xié)議
-
長和回應(yīng)港口交易:不合法決不交易
-
白宮國家經(jīng)濟(jì)委員會(huì)主任:美國正在重啟對華關(guān)系
-
中美會(huì)談結(jié)束,日本國債遭拋售
-
普京強(qiáng)忍淚水
-
中方“施壓”他退出反華組織?我使館駁斥
-