-
阿里云開(kāi)源通義千問(wèn)140億參數(shù)模型
(編輯/呂棟)
9月25日,阿里云開(kāi)源通義千問(wèn)140億參數(shù)模型Qwen-14B及其對(duì)話模型Qwen-14B-Chat,免費(fèi)可商用。據(jù)介紹,Qwen-14B在多個(gè)權(quán)威評(píng)測(cè)中超越同等規(guī)模模型,部分指標(biāo)接近Llama2-70B。就在一個(gè)多月前,阿里云開(kāi)源70億參數(shù)模型Qwen-7B等,下載量已破百萬(wàn)。
Qwen-14B是一款支持多種語(yǔ)言的高性能開(kāi)源模型,相比同類模型使用了更多的高質(zhì)量數(shù)據(jù),整體訓(xùn)練數(shù)據(jù)超過(guò)3萬(wàn)億Token,使得模型具備更強(qiáng)大的推理、認(rèn)知、規(guī)劃和記憶能力。Qwen-14B最大支持8k的上下文窗口長(zhǎng)度。Qwen-14B-Chat是在基座模型上經(jīng)過(guò)精細(xì)SFT得到的對(duì)話模型。借助基座模型性能,Qwen-14B-Chat生成內(nèi)容的準(zhǔn)確度大幅提升。
Qwen-14B在十二個(gè)權(quán)威測(cè)評(píng)中全方位超越同規(guī)模SOTA大模型
阿里云表示,Qwen擁有出色的工具調(diào)用能力,能讓開(kāi)發(fā)者更快地構(gòu)建基于Qwen的Agent(智能體)。開(kāi)發(fā)者可用簡(jiǎn)單指令教會(huì)Qwen使用復(fù)雜工具,比如使用Code Interpreter工具執(zhí)行Python代碼以進(jìn)行復(fù)雜的數(shù)學(xué)計(jì)算、數(shù)據(jù)分析、圖表繪制等;還能開(kāi)發(fā)具有多文檔問(wèn)答、長(zhǎng)文寫作等能力的“高級(jí)數(shù)字助理”。
百億以內(nèi)參數(shù)級(jí)別大語(yǔ)言模型是目前開(kāi)發(fā)者進(jìn)行應(yīng)用開(kāi)發(fā)和迭代的主流選擇。阿里云透露,Qwen-14B進(jìn)一步提高了小尺寸模型的性能上限,在MMLU、C-Eval、GSM8K、MATH、GaoKao-Bench等12個(gè)權(quán)威測(cè)評(píng)中取得最優(yōu)成績(jī),超越所有測(cè)評(píng)中的SOTA(State-Of-The-Art)大模型,也全面超越Llama-2-13B,比起Llama 2的34B、70B模型也并不遜色。與此同時(shí),Qwen-7B也全新升級(jí),核心指標(biāo)最高提升22.5%。
Qwen-14B性能超越同尺寸模型
目前,開(kāi)源是國(guó)產(chǎn)大模型的主流選擇?!吨袊?guó)人工智能大模型地圖研究報(bào)告》顯示,超過(guò)一半國(guó)內(nèi)發(fā)布的大模型已實(shí)現(xiàn)開(kāi)源,并朝著通用類大模型和垂直領(lǐng)域的專業(yè)類大模型兩個(gè)方向加速迭代。除了通義千問(wèn)外,由王小川創(chuàng)立的人工智能創(chuàng)新科技公司百川智能也在一個(gè)月間將通用類開(kāi)源模型參數(shù)規(guī)模翻倍。其在今年6月推出70億規(guī)模參數(shù)的Baichuan-7B開(kāi)源模型后,又在7月開(kāi)源擁有130億的參數(shù)規(guī)模的Baichuan-13B模型。
專業(yè)類大模型則受行業(yè)數(shù)據(jù)、適用程度等制約,開(kāi)源模型參數(shù)規(guī)模差異較大。在搜索場(chǎng)景,知乎已于今年5月開(kāi)源有100億參數(shù)規(guī)模的CPM-Bee 10b。而在金融行業(yè),度小滿在9月才開(kāi)源擁有70B參數(shù)量級(jí)和上下文長(zhǎng)度可達(dá)8k以上的金融大模型“軒轅70B”。
有業(yè)內(nèi)人士指出,在一些垂直領(lǐng)域并不需要參數(shù)量很高、通用能力很強(qiáng)的模型,幾十到百億左右參數(shù)規(guī)模的模型,結(jié)合垂直領(lǐng)域數(shù)據(jù),就可以發(fā)揮很好的價(jià)值。對(duì)行業(yè)而言,開(kāi)源大模型可以幫助用戶簡(jiǎn)化模型訓(xùn)練和部署的過(guò)程,用戶不必從頭訓(xùn)練,只需下載預(yù)訓(xùn)練好的模型并進(jìn)行微調(diào),就可快速構(gòu)建高質(zhì)量模型。這正是開(kāi)源大模型推動(dòng)各行業(yè)發(fā)展的底層因素。
阿里云CTO周靖人表示,阿里云將持續(xù)擁抱開(kāi)源開(kāi)放,推動(dòng)中國(guó)大模型生態(tài)建設(shè)。阿里云還牽頭建設(shè)了中國(guó)最大的AI模型開(kāi)源社區(qū)魔搭ModelScope。過(guò)去兩個(gè)月內(nèi),魔搭社區(qū)的模型下載量從4500萬(wàn)飆升到8500萬(wàn),增幅接近100%。
- 責(zé)任編輯: 林鈴錦 
-
?余承東:鴻蒙原生應(yīng)用全面啟動(dòng)
2023-09-26 13:23 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
我國(guó)科研人員研制出仿生低碳新型建筑材料
2023-09-24 14:17 科技前沿 -
“AI使目前形勢(shì)變得更加復(fù)雜,中美必須開(kāi)展對(duì)話”
2023-09-23 15:37 中美關(guān)系 -
我國(guó)發(fā)起的蛋白質(zhì)組大科學(xué)計(jì)劃國(guó)際總部成立
2023-09-23 14:45 醫(yī)學(xué) -
清華全球碳中和年度進(jìn)展報(bào)告:中國(guó)得分全球第五
2023-09-23 08:10 綠水青山就是金山銀山 -
泰國(guó)與華為合作:共同開(kāi)發(fā)泰國(guó)盤古氣象大模型
2023-09-22 11:30 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
我國(guó)科學(xué)家制備出全分散微球材料,可從廢水中回收染料
2023-09-22 07:21 科技前沿 -
國(guó)產(chǎn)貓用疫苗實(shí)現(xiàn)零的突破
2023-09-22 07:09 醫(yī)學(xué) -
吉林一號(hào)高分04B星發(fā)射失利
2023-09-21 20:16 航空航天 -
中國(guó)空間站第四次太空授課活動(dòng)取得圓滿成功
2023-09-21 16:49 中西教育 -
“天宮課堂”第四課開(kāi)課
2023-09-21 15:45 航空航天 -
國(guó)內(nèi)首所空天信息大學(xué)獲批籌建!落地濟(jì)南
2023-09-21 14:18 中西教育 -
就在今天 ,百城市長(zhǎng)聚在一起探討大模型如何落地城市
2023-09-20 18:54 -
全球最大射電望遠(yuǎn)鏡陣列首臺(tái)中頻天線正式吊裝
2023-09-20 15:44 科技前沿 -
-
-
去年長(zhǎng)三角一市三省研發(fā)經(jīng)費(fèi)9386億元,占全國(guó)30.5%
2023-09-19 17:37 -
我國(guó)科研團(tuán)隊(duì)為高密度大容量存儲(chǔ)器件提供新思路
2023-09-19 07:44 科技前沿 -
我國(guó)科學(xué)家提出DNA數(shù)字存儲(chǔ)糾錯(cuò)新算法
2023-09-19 07:39 科技前沿
相關(guān)推薦 -
?;鸬谝灰?,印巴互相指責(zé) 評(píng)論 130王毅分別同印巴雙方通話 評(píng)論 212巴防長(zhǎng):核選項(xiàng)不在考慮中,但是… 評(píng)論 97印度稱“不想升級(jí)”,巴方想“就此打住” 評(píng)論 434最新聞 Hot
-
伊朗官員:美國(guó)不真誠(chéng)
-
?;鸬谝灰梗“突ハ嘀肛?zé)
-
為什么選出美國(guó)籍教皇?梵蒂岡消息人士:還不是因?yàn)樘乩势?/a>
-
普京提議:15日,俄烏直接談
-
王毅分別同印巴雙方通話
-
印度稱“不想升級(jí)”,巴方想“就此打住”
-
英法德波領(lǐng)導(dǎo)人訪問(wèn)基輔,將與澤連斯基共同討論?;饐?wèn)題
-
印軍否認(rèn)S-400防空系統(tǒng)被摧毀
-
印度前高官:勸巴基斯坦,中國(guó)的話好使
-
空中爆炸!巴軍通報(bào)7日空戰(zhàn)細(xì)節(jié),含擊落“陣風(fēng)”錄音
-
要松口了?印官員稱將“適時(shí)”公開(kāi)
-
印度32座機(jī)場(chǎng)暫停對(duì)所有民用航班運(yùn)營(yíng)
-
英官員承認(rèn):美英貿(mào)易協(xié)議這條款,沖中國(guó)來(lái)的
-
巴外長(zhǎng):印度讓巴基斯坦別無(wú)選擇
-
巴基斯坦稱使用“梟龍”戰(zhàn)機(jī)擊毀印度S-400防空系統(tǒng)
-
搞錢色交易、貪欲膨脹,深圳市政協(xié)原副主席王幼鵬被“雙開(kāi)”
快訊- 中美經(jīng)貿(mào)高層會(huì)談11日將繼續(xù)進(jìn)行
- “70后”董事長(zhǎng),被立案
- “卡皮巴拉”出逃40天,動(dòng)物園發(fā)懸賞公告
- 梁偉任上被查,兩天前還公開(kāi)露面
- 全球首發(fā)TPS霧化無(wú)創(chuàng)透皮技術(shù),MOYAL嵐至亮相美沃斯大會(huì)
- 女演員陷“辱華”爭(zhēng)議,待播劇《赴山?!坊蚴懿?/a>
- 91歲的日本明仁上皇被診斷為無(wú)癥狀心肌缺血
- 習(xí)近平將出席中國(guó)-拉美和加勒比國(guó)家共同體論壇第四屆部長(zhǎng)級(jí)會(huì)議開(kāi)幕式
-