觀察員
-
和大模型語音聊天視頻通話？Qwen2.5-Omni開源
3月27日，通義千問Qwen系列中的全新多模態(tài)大模型Qwen2.5-Omni宣布開源。
Qwen2.5-Omni作為通義系列模型中首個端到端全模態(tài)大模型，可以同時處理包括文本、圖像、音頻和視頻等多種輸入，并實時合成輸出文本與自然語音。
這意味著，用戶可以和Qwen進行語音聊天和視頻通話，有網(wǎng)友對此表示強烈欣喜。
事實上，在一系列同等規(guī)模的單模態(tài)模型權(quán)威基準(zhǔn)測試中，Qwen2.5-Omni在語音生成測評分?jǐn)?shù)上達到了與人類持平的能力，這為該模型在語音和視頻通話的可行性上提供了數(shù)據(jù)層面的支撐。
在具體技術(shù)上，Qwen2.5-Omni采用了通義團隊全新首創(chuàng)的Thinker-Talker雙核架構(gòu)、Position Embedding融合音視頻技術(shù)、位置編碼算法TMRoPE（Time-aligned Multimodal RoPE）。
雙核架構(gòu)Thinker-Talker讓Qwen2.5-Omni擁有了人類的“大腦”和“發(fā)聲器”。Thinker負(fù)責(zé)處理和理解用戶輸入的內(nèi)容，Talker則輸出相應(yīng)的語音標(biāo)記。通過兩者的配合完成了端到端的統(tǒng)一模型架構(gòu)，將實時語義理解與語音生成形成協(xié)同。
TMRoPE則通過時間軸對齊實現(xiàn)視頻與音頻輸入的精準(zhǔn)同步，使得模型能夠準(zhǔn)確地捕捉到不同模態(tài)數(shù)據(jù)在時間維度上的對應(yīng)關(guān)系，從而為生成連貫、準(zhǔn)確的內(nèi)容。
值得注意的是，Qwen2.5-Omni以7B的小尺寸讓全模態(tài)大模型在產(chǎn)業(yè)上的廣泛應(yīng)用成為可能。用戶在手機上，也能輕松部署和應(yīng)用Qwen2.5-Omni模型。
目前，開發(fā)者和企業(yè)可免費下載商用Qwen2.5-Omni。
本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
標(biāo)簽 Qwen- 責(zé)任編輯: 張睿佳
-
1.2億老年人聽力受損，專業(yè)服務(wù)機構(gòu)給出新對策
2025-03-27 14:00 觀網(wǎng)財經(jīng)-消費 -
中國AI+！自主研發(fā)船體清潔機器人亮相全球
2025-03-27 13:09 觀網(wǎng)財經(jīng)-科創(chuàng) -
張亞東辭任董事長，綠城中國進入“中交時代”
2025-03-27 10:47 觀網(wǎng)財經(jīng)-房產(chǎn) -
庫克閃現(xiàn)網(wǎng)易與丁磊見面，體驗網(wǎng)易游戲
2025-03-27 09:04 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
經(jīng)歷了“不平凡”的一年，農(nóng)夫山泉業(yè)績挺住了
2025-03-26 22:03 觀網(wǎng)財經(jīng)-消費 -
凈利177億，但快手慢下來了
2025-03-26 21:46 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
AI與國運：中華文明將引領(lǐng)AI時代
2025-03-26 21:41 -
兩件“國之重器”，同一個幕后功臣！
2025-03-26 21:38 觀網(wǎng)財經(jīng)-科創(chuàng) -
上海全球投資促進大會：萬億級產(chǎn)業(yè)矩陣“磁吸”全球資本
2025-03-26 21:34 觀網(wǎng)財經(jīng)-宏觀 -
茶咖日報｜2024年新茶飲耗茶量30萬噸，占茶葉內(nèi)銷總量1/8
2025-03-26 21:32 觀網(wǎng)財經(jīng)-消費 -
中國移動將與阿里共同建設(shè)運營AI數(shù)據(jù)中心
2025-03-26 19:33 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
減持兩家虧損企業(yè)，螞蟻瘦身入賬7.75億元
2025-03-26 17:58 -
菜刀變鐮刀？張小泉大漲后宣布控股股東預(yù)重整
2025-03-26 16:52 觀網(wǎng)財經(jīng)-消費 -
騰訊新游定檔，或成端游新玩法“大三元”格局
2025-03-26 16:47 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
-
“起大早趕晚集”的谷歌大模型，這次真的“遙遙領(lǐng)先”了？
2025-03-26 15:06 -
胖東來，徹底“透明”
2025-03-26 14:26 觀網(wǎng)財經(jīng)-消費 -
補稅+罰款，印度要求三星支付44億
2025-03-26 14:04 觀網(wǎng)財經(jīng)-科創(chuàng) -
騰訊元寶上線最新DeepSeekV3模型
2025-03-26 13:53 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
手機直連衛(wèi)星藍牙？藍凌星通完成數(shù)千萬元天使+輪融資
2025-03-26 13:52 觀網(wǎng)財經(jīng)-科創(chuàng)
相關(guān)推薦 -
最新聞 Hot
-
特朗普要“幫忙”，印度拒絕了
-
“他想在大馬士革建特朗普大廈”
-
中美日內(nèi)瓦經(jīng)貿(mào)會談聯(lián)合聲明
-
中方嚴(yán)管稀土出口，印度也“慌了”
-
“他有望在獄中贏得市長選舉”
-
石破茂再強硬表態(tài)：美國，還不降
-
美方吹風(fēng)會：中美都不想“脫鉤”，同意稅率下調(diào)115%
-
卡塔爾送大禮引爭議，特朗普：免費的也罵？
-
美國小企業(yè)苦苦掙扎：利潤蒸發(fā)甚至變?yōu)樨?fù)數(shù)，最糟的時刻還未到來
-
特朗普施壓后，澤連斯基表態(tài)：我去土耳其等普京
-
日車企利潤暴跌超20%，“與中國競爭加劇”
-
中美會談結(jié)束后，美國股指期貨應(yīng)聲上漲
-
“特朗普夜不能寐，搞定全球問題比想象難得多”
-
靠岸中國貨船數(shù)“歸零”，美西港口官員驚到了
-
“出軌女下屬”，英國海軍一把手被免職
-
“聽加州的，否則美國最大經(jīng)濟體地位不保”
-
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務(wù)條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報鏈接
- 舉報制度規(guī)范
- 《網(wǎng)站自律管理承諾書》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務(wù)許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務(wù)許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務(wù)經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
