-
“AI界的拼多多”DeepSeek推出新款大模型,水平如何?
-
連政gczhewanxgun
開源和閉源AI的差距,進(jìn)一步被這家中國公司縮小了。
近日,被稱為“AI界拼多多”的中國人工智能初創(chuàng)公司深度求索(DeepSeek)發(fā)布了全新大模型DeepSeek-V3(下稱V3)并同步開源。該模型在Aider多語言編程測(cè)試排行榜中,已超越Anthropic的Claude 3.5 Sonnet大模型,僅次于榜首的OpenAI o1大模型。
開源No.1,多方面追平閉源大模型
DeepSeek是知名私募巨頭幻方量化旗下的人工智能公司,根據(jù)DeepSeek公布的測(cè)試結(jié)果,其運(yùn)行了多項(xiàng)基準(zhǔn)測(cè)試來比較性能,V3模型已明顯優(yōu)于包括Meta公司的Llama-3.1-405B和阿里云的Qwen 2.5-72B等一眾領(lǐng)先開源模型。在大多數(shù)基準(zhǔn)測(cè)試中,它甚至部分超越了OpenAI的閉源模型GPT-4o。
Deepseek-V3在多方面超越、追平各種開源、閉源大模型。Deepseek
首先是百科知識(shí)上,V3的知識(shí)類任務(wù)(MMLU, MMLU-Pro, GPQA, SimpleQA)水平相比前代 DeepSeek-V2.5 (下稱V2.5)顯著提升,接近當(dāng)前表現(xiàn)最好的模型 Claude-3.5-Sonnet-1022。長文本測(cè)評(píng)方面,在DROP、FRAMES 和 LongBench v2 上,V3 平均表現(xiàn)超越其他模型。
此外,V3 在算法類代碼場(chǎng)景(Codeforces),遠(yuǎn)遠(yuǎn)領(lǐng)先于市面上已有的全部非o1類模型,并在工程類代碼場(chǎng)景(SWE-Bench Verified)逼近 Claude-3.5-Sonnet-1022。
值得注意的是,V3在中文和數(shù)學(xué)相關(guān)基準(zhǔn)測(cè)試中表現(xiàn)尤為突出。
在美國數(shù)學(xué)競(jìng)賽(AIME 2024, MATH)和全國高中數(shù)學(xué)聯(lián)賽(CNMO 2024)上,V3大幅超過了所有開源閉源模型。在中文能力上,V3 與 Qwen2.5-72B 在教育類測(cè)評(píng) C-Eval 和代詞消歧等評(píng)測(cè)集上表現(xiàn)相近,但在事實(shí)知識(shí) C-SimpleQA 上更為領(lǐng)先。
訓(xùn)練成本極低
按照美媒Venture Beat的說法,雖然V3已成為市場(chǎng)上最強(qiáng)大的開源模型,但其訓(xùn)練成本卻非常非常低。
通過在上一代DeepSeek-V2上的成功驗(yàn)證,V3沿用了可以大幅降低顯存占用的MLA(多頭潛注意)和DeepSeekMoE(混合專家)架構(gòu),其具有6710億參數(shù),每次推理激活370億參數(shù),這種方法確保了高效的訓(xùn)練及推理。在訓(xùn)練階段,DeepSeek使用了多種硬件和算法優(yōu)化,包括FP8混合精度訓(xùn)練框架和用于管道并行的DualPipe算法,以降低訓(xùn)練成本。
V3基礎(chǔ)架構(gòu),DeepSeek創(chuàng)新的MLA被用于高效推理,DeepSeekMoE則用于經(jīng)濟(jì)訓(xùn)練。DeepSeek論文
DeepSeek聲稱,V3 實(shí)現(xiàn)了極高的訓(xùn)練效率。在約278.8萬個(gè)英偉達(dá) H800 GPU小時(shí)內(nèi)完成了V3的整個(gè)訓(xùn)練,假設(shè)GPU的小時(shí)租金為2美元,總成本就是約為557萬美元。這遠(yuǎn)低于通常用于預(yù)訓(xùn)練大語言模型動(dòng)輒上億美元的成本,比如Llama-3.1的預(yù)訓(xùn)練成本估計(jì)就超過5億美元。
DeepSeek還通過算法和工程上的創(chuàng)新,使V3的生成吐字速度從20TPS大幅提高至60TPS,相比V2.5模型實(shí)現(xiàn)了3倍的提升,在處理多模態(tài)數(shù)據(jù)和長文本時(shí)表現(xiàn)突出。而隨著性能更強(qiáng)、速度更快的V3更新上線,DeepSeek的模型API服務(wù)定價(jià)也調(diào)整為每百萬輸入tokens 0.5元(緩存命中)/2元(緩存未命中),每百萬輸出tokens 8元。
量化基金轉(zhuǎn)型人工智能
公開資料顯示,在DeepSeek背后是量化私募巨頭幻方(High-Flyer Quant),也是大廠外唯一一家儲(chǔ)備上萬張英偉達(dá) A100芯片的公司?;梅匠闪⒂?008年,總部位于中國杭州,專注于利用數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)技術(shù)進(jìn)行金融市場(chǎng)的量化分析和交易。
自2023年四季度以來,A股市場(chǎng)不斷下行,而利用數(shù)學(xué)模型和計(jì)算機(jī)程序等技術(shù)手段進(jìn)行投資決策的量化基金曾被作為“罪魁禍?zhǔn)住笔艿捷浾摰臎_擊,這也讓幻方旗下基金表現(xiàn)一直落后于滬深300指數(shù)4個(gè)百分點(diǎn)。
不過,隨著今年5月DeepSeek-V2發(fā)布,幻方量化卻成功轉(zhuǎn)型為人工智能先驅(qū),其超低價(jià)格甚至引發(fā)了國內(nèi)大模型的價(jià)格戰(zhàn),DeepSeek也被迅速冠以“AI界拼多多”之稱。這反映出百度和阿里巴巴等科技巨頭,盡管在生成式人工智能領(lǐng)域已處于領(lǐng)先地位,但仍需要面對(duì)著來自新玩家的激烈競(jìng)爭(zhēng)。
幻方創(chuàng)始人梁文鋒此前曾回應(yīng)稱,DeepSeek定價(jià)原則就是不貼錢,但也不賺取暴利。只是讓他也沒想到的是,DeepSeek的定價(jià)卻讓各大廠商紛紛降價(jià),然而DeepSeek自身反而卻是有利潤的。
“字節(jié)是第一個(gè)跟進(jìn)的,其旗艦?zāi)P徒档胶臀覀円粯拥膬r(jià)格,然后觸發(fā)了其它大廠紛紛降價(jià)”,梁文鋒解釋說,“因?yàn)榇髲S的模型成本比DeepSeek高很多,所以DeepSeek沒想到會(huì)有人虧錢做這件事,最后就變成了互聯(lián)網(wǎng)時(shí)代的燒錢補(bǔ)貼的邏輯?!?
梁文鋒認(rèn)為,更多的投入并不一定產(chǎn)生更多的創(chuàng)新,否則大廠可以把所有的創(chuàng)新包攬了。
本文系觀察者網(wǎng)獨(dú)家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
- 責(zé)任編輯: 連政 
-
-
-
-
世界銀行上調(diào)今年中國GDP增長預(yù)期
2024-12-27 09:43 中國經(jīng)濟(jì) -
民調(diào):只有19%的美國人認(rèn)為國家走在正確的道路上
2024-12-27 08:58 美國政治 -
政企辦公應(yīng)用鴻蒙化,為什么刻不容緩?
2024-12-27 08:11 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
山寨臺(tái)積電?韓產(chǎn)業(yè)界提議政府組建“韓積電”
2024-12-26 15:42 科技前沿 -
小米被曝正搭建GPU萬卡集群,大力投入大模型
2024-12-26 13:49 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
規(guī)避美國制裁?藥明康德出售海外高端治療業(yè)務(wù)
2024-12-26 13:09 大公司 -
余承東:華為明年有大家想不到的產(chǎn)品
2024-12-26 10:12 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
得益于AI?蘋果和臺(tái)積電的股價(jià)都在創(chuàng)歷史新高
2024-12-25 21:21 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
網(wǎng)友曝小米將大規(guī)模裁員,小米王化:造謠者百分百賠錢
2024-12-25 21:14 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
健身龍頭威爾仕閉店近八成:上千人討薪,有幸存門店連廁紙都斷供
2024-12-25 17:26 產(chǎn)業(yè)萬象 -
-
被曝逼商家“選邊站”,亞馬遜急了?
2024-12-25 15:45 觀網(wǎng)財(cái)經(jīng)-海外 -
中國云市場(chǎng)重回兩位數(shù)增長,阿里、華為、騰訊占70%份額
2024-12-25 10:51 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
1億元,中國郵政正式涉足無人機(jī)制造
2024-12-24 18:55 低空經(jīng)濟(jì) -
全球科技封鎖加劇,中國量子計(jì)算如何追趕?
2024-12-24 18:35 觀察者頭條 -
受賄1776余萬,工行原紀(jì)委書記劉立憲一審被判八年
2024-12-24 17:08 廉政風(fēng)暴
相關(guān)推薦 -
-
轉(zhuǎn)頭,特朗普就炮轟歐盟 評(píng)論 275“中美會(huì)談成果遠(yuǎn)超預(yù)期,是一個(gè)非常好的起點(diǎn)” 評(píng)論 251中美日內(nèi)瓦經(jīng)貿(mào)會(huì)談聯(lián)合聲明 評(píng)論 1112卡塔爾送大禮引爭(zhēng)議,特朗普:免費(fèi)的也罵? 評(píng)論 162何立峰:中美達(dá)成重要共識(shí) 評(píng)論 307最新聞 Hot
-
轉(zhuǎn)頭,特朗普就炮轟歐盟
-
在獄中,杜特爾特以壓倒性優(yōu)勢(shì)當(dāng)選市長
-
“中方抵抗到底,成了”
-
巴外長警告:這個(gè)問題不解決,?;饘⑹芡{
-
中美利好消息傳來,“七巨頭”一夜回漲8000億美元
-
特朗普怒了:我又不是蠢貨,免費(fèi)的不要?!
-
特朗普:周四我可能飛去參加俄烏會(huì)談
-
印巴空戰(zhàn)后首次公開講話,莫迪只字不提美國
-
澤連斯基批準(zhǔn)美烏礦產(chǎn)協(xié)議
-
長和回應(yīng)港口交易:不合法決不交易
-
白宮國家經(jīng)濟(jì)委員會(huì)主任:美國正在重啟對(duì)華關(guān)系
-
中美會(huì)談結(jié)束,日本國債遭拋售
-
普京強(qiáng)忍淚水
-
中方“施壓”他退出反華組織?我使館駁斥
-
看看特朗普這一家,在中東全是生意
-
全球股市普漲,金價(jià)大跌
-