国产亚洲精品久久久久久一区二区,国产成人亚洲综合,成年日韩片av在线网站

APP下載

掃一掃

下載觀察者APP

DeepSeek“開源周”，連續(xù)掏出兩大核心武器
- 張廣凱13764468101
分享到：

2025-02-25 11:47:31 字號：A- A A+ 來源：觀察者網(wǎng)

今天是DeepSeek“開源周”第二日，DeepSeek宣布開源DeepEP，第一個用于MoE模型訓(xùn)練和推理的開源EP通信庫。

昨天，DeepSeek則開源了代碼庫Flash MLA，這是針對Hopper GPU優(yōu)化的高效MLA解碼內(nèi)核，針對可變長度序列作了優(yōu)化。

MoE（混合專家架構(gòu)）和MLA（多頭潛在注意力機制）被認為是DeepSeek以低成本實現(xiàn)杰出表現(xiàn)的核心原因。

簡單理解，MoE架構(gòu)是由多個專注于垂直技能的專家模型分工協(xié)作來實現(xiàn)最終輸出結(jié)果，訓(xùn)練成本和推理成本更低。有消息稱，GPT-4就使用了MoE架構(gòu)，由8個220B模型組成。但MoE架構(gòu)的缺點之一是會增加通信成本。

DeepEP通信庫就是針對通信環(huán)節(jié)的優(yōu)化，其特點包括：高效、優(yōu)化的全員溝通；節(jié)點內(nèi)和節(jié)點間均支持 NVLink 和 RDMA；用于訓(xùn)練和推理預(yù)填充的高吞吐量內(nèi)核；用于推理解碼的低延遲內(nèi)核；原生 FP8 調(diào)度支持；靈活的 GPU 資源控制，實現(xiàn)計算-通信重疊。

MLA則是讓模型預(yù)測更遠位置的token，從而增強語義理解能力。DeepSeek的Flash MLA專為英偉達Hopper GPU打造了高效MLA解碼內(nèi)核，特別針對變長序列進行了優(yōu)化。
本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
|

舉報
- 違反法律法規(guī)
- 垃圾信息、廣告
- 色情、淫穢信息
- 人身攻擊
- 謠言、不實信息
- 冒充，冒用信息
- 破壞社區(qū)秩序
- 其他
- 涉未成年人有害信息
觀察者網(wǎng)舉報制度規(guī)范
確定取消
標(biāo)簽
- 責(zé)任編輯: 張廣凱
- DeepSeek帶動英偉達在華訂單大增？
  
  2025-02-25 11:11 觀網(wǎng)財經(jīng)-科創(chuàng)
- 經(jīng)濟數(shù)據(jù)引發(fā)美國科技股再跳水，熱門中概股大幅回落
  
  2025-02-25 11:07 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng)
- 國產(chǎn)GPU廠商被曝考慮赴港IPO，擬募資3億美元
  
  2025-02-25 10:12 觀網(wǎng)財經(jīng)-科創(chuàng)
- 今日頭條2024年攔截不實信息超500萬條，處置不友善內(nèi)容3億條
  
  2025-02-24 22:12 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng)
- 京東：外賣騎手五險一金的所有成本，全部由京東承擔(dān)
  
  2025-02-24 18:39 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng)
- 蘋果推出超低配iPhone16e的原因找到了？
  
  2025-02-24 18:26 手機
- ?公開指責(zé)字節(jié)旗下紅果短劇壟斷，愛奇藝因何焦慮？
  
  2025-02-24 18:21 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng)
- 茶咖日報｜霸王茶姬發(fā)起青年藝術(shù)共創(chuàng)計劃；喜茶攜手Adyen加速全球支付布局
  
  2025-02-24 18:05 觀網(wǎng)財經(jīng)-消費
- 首款為原生鴻蒙而生的手機3月發(fā)布，騰訊回應(yīng)余承東
  
  2025-02-24 16:27 觀網(wǎng)財經(jīng)-科創(chuàng)
- 喜茶海外首家LAB店落地紐約，美國門店已超20家
  
  2025-02-24 16:15 觀網(wǎng)財經(jīng)-消費
- 工信部副部長熊繼軍：加快完善我國開源生態(tài)體系建設(shè)
  
  2025-02-24 14:20 觀網(wǎng)財經(jīng)-科創(chuàng)
- 超百億加碼+深度創(chuàng)新，SHEIN鏈深耕服裝產(chǎn)業(yè)升級
  
  2025-02-24 13:47
- 事關(guān)AI，阿里宣布：將投3800億
  
  2025-02-24 10:46 人工智能
- 全球開發(fā)者先鋒大會在上海開幕，有哪些看點？
  
  2025-02-22 22:55 觀網(wǎng)財經(jīng)-科創(chuàng)
- 黃仁勛首度回應(yīng)DeepSeek沖擊
  
  2025-02-22 20:49 人工智能
- 沈向洋談DeepSeek：開源和閉源不是對立的商業(yè)模式
  
  2025-02-22 19:32 觀網(wǎng)財經(jīng)-科創(chuàng)
- 元寶下載量僅次于DeepSeek！騰訊股價創(chuàng)近4年來新高
  
  2025-02-22 18:27 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng)
- 道指跌超700點，中概股逆勢上漲
  
  2025-02-22 11:41
- 全球折疊屏出貨罕見大跌18%：華為超三星成第一，榮耀聯(lián)想進前五
  
  2025-02-21 21:58 觀網(wǎng)財經(jīng)-科創(chuàng)
- 僅僅10年前，中國游客還在東京秋葉原搶馬桶蓋
  
  2025-02-21 21:10 中國經(jīng)濟
搜索

   觀察者頭條查看全部

印巴的“火”停了，但水呢？評論 94

“聽加州的，否則美國最大經(jīng)濟體地位不?！?/a> 評論 83

?；鸬谝灰?，印巴互相指責(zé) 評論 189

王毅分別同印巴雙方通話評論 228

印巴停火，特朗普邀功評論 598

   風(fēng)聞 · 24小時最熱查看全部

   最新視頻查看全部
最新聞 Hot
快訊

97色成人综合网站,97色成人综合网站,高清freesexmovies性tv出水,大黑大巴大战欧洲美女图片,√天堂资源中文www

DeepSeek“開源周”，連續(xù)掏出兩大核心武器

DeepSeek帶動英偉達在華訂單大增？

經(jīng)濟數(shù)據(jù)引發(fā)美國科技股再跳水，熱門中概股大幅回落

國產(chǎn)GPU廠商被曝考慮赴港IPO，擬募資3億美元

今日頭條2024年攔截不實信息超500萬條，處置不友善內(nèi)容3億條

京東：外賣騎手五險一金的所有成本，全部由京東承擔(dān)

蘋果推出超低配iPhone16e的原因找到了？

?公開指責(zé)字節(jié)旗下紅果短劇壟斷，愛奇藝因何焦慮？

茶咖日報｜霸王茶姬發(fā)起青年藝術(shù)共創(chuàng)計劃；喜茶攜手Adyen加速全球支付布局

首款為原生鴻蒙而生的手機3月發(fā)布，騰訊回應(yīng)余承東

喜茶海外首家LAB店落地紐約，美國門店已超20家

工信部副部長熊繼軍：加快完善我國開源生態(tài)體系建設(shè)

超百億加碼+深度創(chuàng)新，SHEIN鏈深耕服裝產(chǎn)業(yè)升級

事關(guān)AI，阿里宣布：將投3800億

全球開發(fā)者先鋒大會在上海開幕，有哪些看點？

黃仁勛首度回應(yīng)DeepSeek沖擊

沈向洋談DeepSeek：開源和閉源不是對立的商業(yè)模式

元寶下載量僅次于DeepSeek！騰訊股價創(chuàng)近4年來新高

道指跌超700點，中概股逆勢上漲

全球折疊屏出貨罕見大跌18%：華為超三星成第一，榮耀聯(lián)想進前五

僅僅10年前，中國游客還在東京秋葉原搶馬桶蓋

“特朗普夜不能寐，搞定全球問題比想象難得多”

靠岸中國貨船數(shù)“歸零”，美西港口官員驚到了

“出軌女下屬”，英國海軍一把手被免職

“聽加州的，否則美國最大經(jīng)濟體地位不保”

流浪53年后，蘇聯(lián)金星探測器墜落地球

伊朗官員：美國不真誠，一開始就設(shè)陷阱

停火第一夜，印巴互相指責(zé)

為什么選出美國籍教皇？梵蒂岡消息人士：還不是因為特朗普

普京提議：15日，俄烏直接談

王毅分別同印巴雙方通話

印度稱“不想升級”，巴方想“就此打住”

英法德波領(lǐng)導(dǎo)人訪問基輔，將與澤連斯基共同討論?；饐栴}

印軍否認S-400防空系統(tǒng)被摧毀

印度前高官：勸巴基斯坦，中國的話好使

空中爆炸！巴軍通報7日空戰(zhàn)細節(jié)，含擊落“陣風(fēng)”錄音

要松口了？印官員稱將“適時”公開