觀察員
-
與清華合作，支持22種中文方言的語音大模型來了！
最后更新: 2025-04-02 20:54:34
3月26日，一篇名為Dolphin —— 一款專為東方語言設(shè)計的語音大模型（Dolphin: A Large-Scale Automatic Speech Recognition Model for Eastern Languages）的論文在arXiv （康奈爾大學(xué)圖書館運營的一個開放獲取的預(yù)印本平臺）上發(fā)表。
目前，Dolphin 的base與small版模型與推理代碼已經(jīng)全面開源。
據(jù)悉，該項目來自海天瑞聲和清華大學(xué)電子工程系語音與音頻技術(shù)實驗室的合作，兩者共同推出了支持40個東方語種，以及22種中文方言（含普通話）的語音識別系統(tǒng)。
在數(shù)據(jù)方面，該系統(tǒng)的訓(xùn)練數(shù)據(jù)總時長21.2萬小時，其中海天瑞聲高質(zhì)量專有數(shù)據(jù)13.8萬小時，開源數(shù)據(jù)7.4萬小時。
性能層面，通過與OpenAI推出的Whisper在同等尺寸模型的比較，根據(jù)參考三個多語言數(shù)據(jù)集（海天瑞聲、Fleurs、CommonVoice）的平均值得出：
Dolphin base版模型的WER（詞錯率）為 31.8%，而 Whisper large-v3 版模型的詞錯率為 52.3%。從這個角度看，盡管dolphin基礎(chǔ)版模型的規(guī)模不到 Whisper large-v3 版模型的十分之一，但在針對這些語言進行評估時，其詞錯率與 Whisper large-v3 模型相比相對降低了 39%，這凸顯了dolphin的性能優(yōu)勢。
具體技術(shù)上，Dolphin網(wǎng)絡(luò)結(jié)構(gòu)基于CTC-Attention架構(gòu)，E-Branchformer編碼器和Transformer解碼器，并引入了4倍下采樣層。
CTC-Attention架構(gòu)能夠提升模型的識別準確性和效率；Branchformer編碼器采用并行分支結(jié)構(gòu)，能夠更有效地捕捉輸入語音信號的局部和全局依賴關(guān)系，為模型提供了更豐富的特征表示；Transformer解碼器確保系統(tǒng)能夠提供高質(zhì)量的文本輸出；4倍下采樣層可以減少輸入特征的序列長度，從而加速計算過程，同時保留關(guān)鍵的語音信息，確保模型的識別效果不受影響。
此外，Dolphin還引入了兩級語種標(biāo)簽系統(tǒng)，第一個標(biāo)簽指定語種（例如<zh>、<ja>
），第二個標(biāo)簽指定地區(qū)（例如<CN>、<JP> ）。 這種分層方法使模型能夠捕捉同一種語言內(nèi)不同方言和口音之間的差異，以及同一地區(qū)內(nèi)不同語言之間的相似性，從而提高了模型區(qū)分密切相關(guān)的方言的能力，并通過在語言和地區(qū)之間建立聯(lián)系增強泛化能力。
海天瑞聲表示，通過共享技術(shù)成果，希望能夠吸引更多的開發(fā)者和研究機構(gòu)參與到東方語言語音識別的研究中來，共同推動技術(shù)進步。
本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
- 責(zé)任編輯: 張睿佳
-
增利不增收的青島啤酒，連續(xù)六年出現(xiàn)季節(jié)性虧損
2025-04-02 20:40 觀網(wǎng)財經(jīng)-消費 -
業(yè)績狂飆的老鋪黃金，股價卻即將承壓？
2025-04-02 20:03 觀網(wǎng)財經(jīng)-消費 -
AI拐點到來，大廠集體搶人
2025-04-02 19:49 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
個人電腦就能運行，更便宜的Agent要來了
2025-04-02 18:18 -
完成”瘦身”后，美的置業(yè)保留業(yè)務(wù)營收、利潤雙雙增長
2025-04-02 18:12 觀網(wǎng)財經(jīng)-房產(chǎn) -
騰訊會議“崩了”？官方回應(yīng)
2025-04-02 17:47 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
售價超7000元，Meta想用眼鏡取代iPhone
2025-04-02 17:16 觀網(wǎng)財經(jīng)-科創(chuàng) -
京東工業(yè)，再度沖刺港股IPO
2025-04-02 17:04 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
內(nèi)地行業(yè)龍頭排隊融資，香港IPO募資額反超印度
2025-04-02 16:30 觀網(wǎng)財經(jīng)-科創(chuàng) -
時隔50個交易日，A股兩市成交額再度跌破1萬億
2025-04-02 15:24 觀網(wǎng)財經(jīng)-科創(chuàng) -
全球VR市場三連跌，蘋果Vision Pro單季出貨暴跌43%
2025-04-02 13:56 觀網(wǎng)財經(jīng)-科創(chuàng) -
三星折疊機出貨暴跌33%，中國品牌集體大增，蘋果明年入局？
2025-04-02 13:39 觀網(wǎng)財經(jīng)-科創(chuàng) -
京東官宣：達達員工逐步升至20薪
2025-04-02 13:35 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
豫園股份2024年報透視：輕資產(chǎn)轉(zhuǎn)型撬動市值潛力，文化出海錨定長期價值
2025-04-02 13:10 -
阿里收購兩氫一氧，無招回歸釘釘
2025-04-02 11:19 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
乘“AI東風(fēng)”，良信股份欲掘金智算中心配電藍海
2025-04-02 10:14 觀網(wǎng)財經(jīng)-科創(chuàng) -
智能早報丨雷軍回應(yīng)SU7事故；宇樹再發(fā)新產(chǎn)品；蘋果遭11億巨額罰單
2025-04-02 08:41 產(chǎn)業(yè)萬象 -
中國成2024年歐盟汽車進口最大來源國
2025-04-02 08:19 -
日賺十億的全球店王SKP或?qū)⒁字?/a>
2025-04-01 20:29 觀網(wǎng)財經(jīng)-消費 -
茶咖日報｜瀾滄古茶今起停牌；鐘睒睒為云南茶葉發(fā)聲
2025-04-01 20:02 觀網(wǎng)財經(jīng)-消費
相關(guān)推薦 -
“中國知道，特朗普何時會眨眼” 評論 123
特朗普又“眨眼”：中方來談吧，簽個“特殊協(xié)議” 評論 527最新聞 Hot-
“特朗普已經(jīng)輸?shù)袅藢θA貿(mào)易戰(zhàn)”
-
“收到中方警告”，韓國業(yè)界：后果很嚴重
-
中企直說了：不會妥協(xié)，現(xiàn)在是美國人沒的選
-
“這就是中美的不同之處”
-
“中國知道，特朗普何時會眨眼”
-
美財長不痛快：IMF和世界銀行，與中國走太近
-
“前220名持幣大戶可與總統(tǒng)共進晚餐”，特朗普幣飆升60%
-
六大重磅團體罕見聯(lián)名抗議，“特朗普考慮豁免中國汽車零件”
-
“臟話滿天飛”，馬斯克與貝森特被曝激烈爭吵
-
在中美之間二選一？韓國表態(tài)
-
特朗普又“眨眼”：中方來談吧，簽個“特殊協(xié)議”
-
又發(fā)癲！“沒了中國，英國你能行？”
-
特朗普夸口：特魯多說了，沒美國就沒加拿大
-
“就算加100%關(guān)稅，中國口罩也比美國貨便宜”
-
暴跌71%！馬斯克嘆氣：我勸過特朗普，聽不聽由他
-
12州聯(lián)合起訴：特朗普，收手吧
-
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務(wù)條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報鏈接
- 舉報制度規(guī)范
- 《網(wǎng)站自律管理承諾書》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務(wù)許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務(wù)許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務(wù)經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
