-
商湯絕影打造智能駕駛新路標(biāo)——生成式智駕R-UniAD,讓安全更有確定性,超越人類駕駛極限
·強(qiáng)化學(xué)習(xí)+世界模型,絕影構(gòu)建VLAR技術(shù)架構(gòu),突破端到端瓶頸
·R-UniAD創(chuàng)新鏈路:挖掘復(fù)雜場景、4D仿真復(fù)現(xiàn)、強(qiáng)化學(xué)習(xí)、泛化驗(yàn)證
·近實(shí)時在線交互的4D世界模型“絕影開悟2.0”,生成式智駕R-UniAD的核心基石
·絕影輔助駕駛目前已合作4家車企,上車7款車型,基于地平線征程?6、英偉達(dá)DIRVE AGX Thor平臺打造的方案將在今年上車東風(fēng)、奇瑞等車企伙伴
隨著輔助駕駛普及的不斷深入,公眾越來越關(guān)注駕駛系統(tǒng)的安全性,期待輔助駕駛帶來更安全也更流暢的智慧出行體驗(yàn)。只是許多輔助駕駛方案在遇到新場景時難以妥善處理,事故時有發(fā)生,暴露出當(dāng)前技術(shù)方案的諸多瓶頸。
想要提高安全性,端到端模型需要海量高質(zhì)量數(shù)據(jù)訓(xùn)練,然而,即使是百萬量產(chǎn)車回流的數(shù)據(jù)量,極端場景有效信息提取率不足1%。
不僅如此,因?yàn)槎说蕉说姆妒绞悄7聦W(xué)習(xí),遇到?jīng)]有見過的新場景,它的駕駛決策存在很大的不確定性,安全邊界模糊,給駕駛安全帶來風(fēng)險,更難以超越人類的駕駛能力。
因此,商湯絕影發(fā)布了生成式智駕R-UniAD技術(shù)方案,將強(qiáng)化學(xué)習(xí)引入到智能駕駛,讓端到端智駕與世界交互的不斷深入,通過生成的方式真實(shí)還原并深度理解駕駛環(huán)境,從而主動預(yù)測并處理復(fù)雜狀況,驗(yàn)證輔助駕駛的安全邊界,讓駕駛安全更有確定性、更加值得信賴,并且超越人類的駕駛極限,為智能駕駛行業(yè)樹立了新路標(biāo)。
商湯絕影構(gòu)建VLAR架構(gòu),突破端到端數(shù)據(jù)、安全、性能三大瓶頸
人工智能技術(shù)的發(fā)展和進(jìn)步推動著智能駕駛的演進(jìn)。一開始的智駕都是規(guī)則式的,主要通過物理模型和邏輯預(yù)定義等方式來實(shí)現(xiàn)輔助駕駛的基礎(chǔ)功能執(zhí)行,但面對復(fù)雜場景略顯乏力。隨著神經(jīng)網(wǎng)絡(luò)的引入和AI大模型的出現(xiàn),商湯絕影2022年發(fā)布了行業(yè)首個感知決策一體化的智駕通用模型UniAD,并榮獲CVPR 2023最佳論文,引領(lǐng)了智能駕駛行業(yè)的創(chuàng)新潮流,智駕進(jìn)入到端到端時代,模型學(xué)會類人交互,性能表現(xiàn)大幅提升。
隨著端到端路線探索和實(shí)踐的持續(xù)深入,它開始觸及瓶頸。首先,端到端是通過海量的高質(zhì)量人類駕駛數(shù)據(jù)學(xué)習(xí)和訓(xùn)練,比如特斯拉就以超700萬輛量產(chǎn)車形成的數(shù)據(jù)回流來訓(xùn)練端到端模型,但人類的日常駕駛中,極難遇到像車禍等極端場景,這導(dǎo)致了僅有不超過1%的數(shù)據(jù)可用于最終訓(xùn)練,高價值數(shù)據(jù)的稀缺性成為制約端到端訓(xùn)練的一大瓶頸。
另一方面,由于端到端的本質(zhì)是對人類駕駛行為的最佳模仿,遇到?jīng)]有見過的新場景,端到端方案的駕駛決策存在很大的不確定性,為駕駛安全帶來風(fēng)險,同時,基于模仿學(xué)習(xí)的技術(shù)范式可以做到接近人類但難以突破人類能力上限。因此,性能和安全性也成為了端到端發(fā)展的兩大瓶頸。
今年年初,DeepSeek-R1基于純強(qiáng)化學(xué)習(xí)的關(guān)鍵創(chuàng)新引發(fā)了廣泛的關(guān)注,基于強(qiáng)化學(xué)習(xí)的大模型技術(shù)路線可以遷移到端到端輔助駕駛算法的訓(xùn)練與研發(fā)之中。2025年2月,商湯絕影發(fā)布了行業(yè)首個與世界模型協(xié)同交互的端到端技術(shù)方案R-UniAD,通過世界模型生成在線交互的仿真環(huán)境,以此進(jìn)行端到端模型的強(qiáng)化學(xué)習(xí)訓(xùn)練,行業(yè)開始邁向生成式智駕。
本屆上海車展上,商湯絕影全面展示了R-UniAD技術(shù)方案,基于世界模型和強(qiáng)化學(xué)習(xí)兩大核心技術(shù),構(gòu)建集“視覺-語言-行動-強(qiáng)化學(xué)習(xí)”于一體的VLAR技術(shù)架構(gòu),實(shí)現(xiàn)生成式智駕的核心突破。
基于世界模型和強(qiáng)化學(xué)習(xí),絕影構(gòu)建集“視覺-語言-行動-強(qiáng)化學(xué)習(xí)”于一體的VLAR技術(shù)架構(gòu)
商湯絕影的R-UniAD是「多階段強(qiáng)化學(xué)習(xí)」端到端技術(shù)方案,具體分為三個階段,首先是依靠冷啟動數(shù)據(jù)通過模仿學(xué)習(xí)進(jìn)行云端的端到端輔助駕駛大模型訓(xùn)練;然后基于強(qiáng)化學(xué)習(xí),讓云端的端到端大模型與世界模型協(xié)同交互,持續(xù)提升端到端模型的性能;最后云端大模型通過高效蒸餾的方式,實(shí)現(xiàn)高性能端到端輔助駕駛小模型的車端部署。
這三個階段的核心在于第二階段的“強(qiáng)化學(xué)習(xí)與世界模型”,也就是VLAR技術(shù)架構(gòu)。在VLAR技術(shù)架構(gòu)的支持下,R-UniAD能夠重構(gòu)萬千世界,讓實(shí)采Corner Case數(shù)據(jù)需求降低2個量級;同時依托云端超100萬案例和1024場景類型,構(gòu)建更加精確、全面的虛擬測試場景,充分探索安全邊界,賦予了輔助駕駛有確定性的安全感,最終通過不斷地強(qiáng)化學(xué)習(xí)訓(xùn)練出來的模型,相較于人類駕駛員的碰撞率降低1個量級,實(shí)現(xiàn)遠(yuǎn)超人類的駕駛能力。
R-UniAD如何讓安全更有確定性:挖掘復(fù)雜場景、4D仿真復(fù)現(xiàn)、強(qiáng)化學(xué)習(xí)、泛化驗(yàn)證
因?yàn)楦黝愂┕し雷o(hù)設(shè)施搭配不同的空間布局,組合繁雜多變,所以施工占道場景是輔助駕駛領(lǐng)域的棘手難題,也是交通事故頻發(fā)的重要場景。上海車展發(fā)布會上,商湯絕影現(xiàn)場演示了針對“施工占道剎停”場景,R-UniAD如何依托“VLAR”增強(qiáng)模型能力。
首先,以“施工占道剎?!甭窚y視頻作為輸入,即自車因?yàn)闆]有識別錐桶封路,在施工區(qū)域進(jìn)行急剎。
接下來是R-UniAD對這個場景基于“絕影開悟”世界模型進(jìn)行4D仿真復(fù)現(xiàn)。第一步是把案例視頻進(jìn)行解耦,分為3D的動態(tài)前景與靜態(tài)背景;第二步,使用物理引擎、3DGS等重建和渲染技術(shù)對場景進(jìn)行復(fù)現(xiàn);第三步,用“絕影開悟”世界模型對場景細(xì)節(jié)進(jìn)行修復(fù),讓場景變得更加逼真。
完成這三步的流程,傳統(tǒng)方案需要數(shù)天時間,R-UniAD僅需幾個小時就能完成,而且場景更為精細(xì)可控,一致性達(dá)到了95%,相比單一的3DGS技術(shù)提高了1.5倍。
然后就是進(jìn)行針對性強(qiáng)化學(xué)習(xí)的訓(xùn)練。在閉環(huán)仿真工具鏈中設(shè)置對“施工占道剎?!卑咐攒囓壽E的Reward計算維度和分值,包括最大最小加速度、是否到達(dá)終點(diǎn)、是否違反交通規(guī)則、是否碰撞等維度,并根據(jù)規(guī)則進(jìn)行組合計算。端到端模型就在仿真環(huán)境中自行駕駛,系統(tǒng)根據(jù)自車軌跡給予相應(yīng)Reward分值反饋。
在初期訓(xùn)練中,自車因?yàn)闆_入對向車道或者同向車道被扣分,如果能夠及時剎停變道,就會得到高分。端到端模型不斷生成該場景下各種可能駕駛策略,并與世界模型生成的環(huán)境交互,通過數(shù)千次強(qiáng)化學(xué)習(xí)訓(xùn)練,經(jīng)過不斷評分反饋,端到端模型會找到最優(yōu)路徑,能預(yù)判施工占道,絲滑變道繞行。
最后,經(jīng)過泛化訓(xùn)練后,再遇到類似前方障礙物場景,端到端模型也能及時變道,并顯著提升對此類施工場景的泛化交互能力。
生成式智駕R-UniAD讓安全更有確定性
強(qiáng)化“施工占道場景”的應(yīng)對能力只是生成式智駕R-UniAD能力顯化的冰山一角。在VLAR技術(shù)架構(gòu)的助力下,商湯絕影能夠針對更多復(fù)雜長尾場景、極端工況,進(jìn)行4D仿真復(fù)現(xiàn)、強(qiáng)化學(xué)習(xí)、泛化驗(yàn)證,讓端到端模型比人類“看更多”、“學(xué)更快”、“開更好”,讓輔助駕駛的安全更有確定性,超越人類駕駛極限。
“絕影開悟”世界模型2.0,生成式智駕R-UniAD的核心基石
世界模型是生成式智駕的基石所在。2024年,在2024年11月“絕影實(shí)力AI DAY”上,商湯絕影發(fā)布了行業(yè)標(biāo)桿級別的“絕影開悟”世界模型,并已經(jīng)應(yīng)用于真值數(shù)據(jù)的生產(chǎn)。
去年“絕影開悟”世界模型主要聚焦2D視頻生成技術(shù)的打磨,今年上海車展,“絕影開悟”升級為2.0版本,進(jìn)化為近實(shí)時在線交互的4D世界模型,能夠?qū)崿F(xiàn)“4D空間自由交互”,推動智能體邁向通用空間智能,成為商湯絕影決勝智駕戰(zhàn)場的重磅武器。
絕影開悟世界模2.0
“絕影開悟2.0”具備三大能力,首先是“面向量產(chǎn)的數(shù)據(jù)生成”,它具有多樣性場景的可控生成的能力,為模型訓(xùn)練提供了海量且豐富的訓(xùn)練數(shù)據(jù)。而且,它還能一鍵生成極端高風(fēng)險場景。
例如,Cut-in 場景是行車時極為常見但非常重要的場景,“絕影開悟2.0”能夠從100多個維度組合生成萬千Cut-in場景,包括白天、黃昏、凌晨、夜晚等不同光照類型;晴天、陰天、雨天等不同天氣;從高速到城市道路等不同道路等級;不同的車型,不同的Cut-in距離和車輛速度等等。
此外,極端風(fēng)險場景(如車禍、道路塌陷等)難以采集,成本也非常高昂。“絕影開悟2.0”只需輸入一段提示詞,就可以生成極端風(fēng)險場景,讓端到端模型可以在安全的虛擬環(huán)境中,讓系統(tǒng)反復(fù)學(xué)習(xí)和應(yīng)對這些危險場景,從而在實(shí)際駕駛中更好地預(yù)判和規(guī)避風(fēng)險。
細(xì)致的分類,可控的生成,有助于模型更好應(yīng)對特定場景,對提升輔助駕駛的安全性和可靠性有著重要意義。
其次,“絕影開悟2.0”能夠?qū)崿F(xiàn)“復(fù)雜場景自由復(fù)現(xiàn)”,根據(jù)不同需求,任意修改和調(diào)整場景中的各種要素,既可以替換特定車輛、插入新的車輛,或者刪除不需要的車輛,也能改變道路的布局、車輛的速度,創(chuàng)造稀缺復(fù)雜場景,從而豐富訓(xùn)練場景的多樣性。
最后,“絕影開悟2.0”具備近實(shí)時交互能力,比行業(yè) SOTA 提升 5 倍之多,讓仿真訓(xùn)練過程更加高效和逼真,車輛的決策和反饋能夠幾乎在瞬間得到響應(yīng);同時感知結(jié)果接近真實(shí)精標(biāo)數(shù)據(jù)98%,能避免因數(shù)據(jù)風(fēng)格差異帶來的 Sim-to-Real 遷移時能力退化問題,為端到端模型打造了“云端虛擬訓(xùn)練場”。
厚積薄發(fā),商湯絕影全力推進(jìn)輔助駕駛量產(chǎn)交付
商湯絕影的生成式AI技術(shù)和產(chǎn)品持續(xù)創(chuàng)新,商業(yè)化落地也全面開花,量產(chǎn)交付正在加速推進(jìn)。
在“絕影2025上海車展發(fā)布會”上,東風(fēng)汽車集團(tuán)研發(fā)總院智能化技術(shù)首席總工程師張振林透露,他們和絕影團(tuán)隊正在攜手推動UniAD一段式端到端方案的量產(chǎn)落地,“除了端到端的合作,未來東風(fēng)汽車也將持續(xù)加大在智能化領(lǐng)域的研發(fā)投入,與絕影在開悟世界模型、DriveAGI等方面展開深度合作。”
在輔助駕駛領(lǐng)域,商湯絕影的量產(chǎn)方案目前已合作4家車企,上車7款車型,2025年更將厚積薄發(fā),全力推進(jìn)輔助駕駛方案的量產(chǎn)交付。今年3月底,絕影和廣汽聯(lián)合打造的行業(yè)首批基于地平線征程?6M的輔助駕駛方案正式量產(chǎn)上市。2025年,絕影還有更多基于地平線征程?6打造的輔助駕駛方案量產(chǎn)落地奇瑞等眾多車企伙伴,在英偉達(dá)DIRVE AGX Thor平臺部署的絕影UniAD一段式端到端量產(chǎn)方案也將于2025年第四季度量產(chǎn)交付東風(fēng)汽車。
商湯絕影輔助駕駛的量產(chǎn)成果,并將于2025年全力推進(jìn)輔助駕駛方案的量產(chǎn)交付
不止如此,絕影基于地平線征程?6打造的量產(chǎn)方案得到中汽研的認(rèn)證,是首個獲得中汽研《CATARC 標(biāo)志認(rèn)證實(shí)施規(guī)則–“征程之星”領(lǐng)航輔助駕駛認(rèn)證》的輔助駕駛產(chǎn)品。
此外,本次上海車展期間,無論是基于地平線征程?6打造的高速輔助駕駛、城區(qū)輔助駕駛,還是一段式端到端量產(chǎn)方案的城區(qū)泛化,商湯絕影都在展館外開放了實(shí)車體驗(yàn)。
生成式智駕R-UniAD讓商湯絕影的輔助駕駛模型通過與世界模型生成的無限場景進(jìn)行不斷地強(qiáng)化學(xué)習(xí)與交互,在每一次的行駛中成長、進(jìn)步。豐富的量產(chǎn)經(jīng)驗(yàn),讓絕影具備強(qiáng)大的工程化能力。兩者相互融合,助力絕影打造真正安全、可靠的輔助駕駛方案,和車企伙伴一起,為用戶創(chuàng)造更加安全可信賴的出行體驗(yàn)。
注:本文所提及的“智駕”、“智能駕駛”等,指L2級輔助駕駛。
關(guān)于商湯絕影——激發(fā)AGI創(chuàng)造力,讓智能汽車向超級智能體進(jìn)化
商湯絕影是加速智能汽車駛?cè)階GI時代的戰(zhàn)略合作伙伴。
依托商湯大裝置深厚的算力儲備、原生的汽車垂類大模型、領(lǐng)先的軟硬件架構(gòu)和全棧數(shù)據(jù)生產(chǎn)管線四大技術(shù)基座,商湯絕影將最前沿的人工智能技術(shù)與汽車產(chǎn)業(yè)深度融合,構(gòu)建了駕-艙-云三位一體的通用人工智能(AGI) 技術(shù)架構(gòu),打造了智能駕駛、智能座艙和 AI 云的多元產(chǎn)品體系,致力于為每一個人提供靈活自適應(yīng)、深度個性化、安全可信賴、有人文關(guān)懷的未來出行方式。
商湯絕影的業(yè)務(wù)以中國為起點(diǎn),布局全球,已在中國(上海、北京、深圳、廣州)、德國、日本等地設(shè)立研發(fā)中心。
截至2024年12月,商湯絕影已與本田、比亞迪、長城、廣汽、紅旗、極氪、奇瑞、蔚來等超過30家國內(nèi)外車企攜手合作,覆蓋超130款車型,累計交付總量超360萬輛。
- 原標(biāo)題:商湯絕影打造智能駕駛新路標(biāo)——生成式智駕R-UniAD,讓安全更有確定性,超越人類駕駛極限
- 責(zé)任編輯: 萬肇生 
-
馬斯克稱中國用戶對FSD最苛刻;蘋果收巨額罰單;宇樹將參加機(jī)器人運(yùn)動會
2025-04-24 08:55 觀網(wǎng)財經(jīng)-科創(chuàng) -
2025年超長期特別國債今起發(fā)行
2025-04-24 06:46 -
茶咖日報|墨西哥人給“美式咖啡”改名,以表對特朗普不滿
2025-04-23 21:50 觀網(wǎng)財經(jīng)-消費(fèi) -
這個新成立的人工智能聯(lián)盟,華為、OPPO、vivo擔(dān)任輪值理事長
2025-04-23 18:45 觀網(wǎng)財經(jīng)-科創(chuàng) -
“國補(bǔ)”最大受益者?小米手機(jī)時隔10年再成中國出貨第一
2025-04-23 17:03 觀網(wǎng)財經(jīng)-科創(chuàng) -
液晶面板量價齊升,京東方一季度預(yù)盈超16億
2025-04-23 15:34 觀網(wǎng)財經(jīng)-科創(chuàng) -
“電商平臺全面取消僅退款”上熱搜
2025-04-23 14:29 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
科大訊飛去年營收233億,董事長稱堅守底座模型
2025-04-23 14:14 觀網(wǎng)財經(jīng)-科創(chuàng) -
董明珠又點(diǎn)小米:格力電車跑了十幾年,從沒有火災(zāi)事故
2025-04-23 11:07 -
“特斯拉有足夠?qū)嵙?yīng)對特朗普的任何決定”
2025-04-23 09:16 觀網(wǎng)財經(jīng)-金融 -
美股收復(fù)昨日失地;董明珠100%高票連任;馬斯克稱特斯拉將完全自動駕駛
2025-04-23 08:49 產(chǎn)業(yè)萬象 -
華為發(fā)布高速L3商用解決方案
2025-04-23 07:35 觀網(wǎng)財經(jīng)-科創(chuàng) -
-
門店減少2600多家、業(yè)績降至3年最低,這屆年輕人為啥不愛啃鴨脖?
2025-04-22 21:37 觀網(wǎng)財經(jīng)-消費(fèi) -
外賣大戰(zhàn)升級,?京東、美團(tuán)股價雙雙下跌
2025-04-22 17:24 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
董明珠連任格力電器董事
2025-04-22 16:59 今日財經(jīng) -
從會做題到會看病,如何訓(xùn)出真正好用的醫(yī)療智能體?
2025-04-22 16:57 -
“京東外賣崩了”沖上熱搜,官方稱已全面恢復(fù)
2025-04-22 15:43 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
“酒類流通第一股”業(yè)績遇冷,華致酒行凈利潤率僅剩0.47%
2025-04-22 14:46 觀網(wǎng)財經(jīng)-消費(fèi) -
京東外賣崩了,官方致歉
2025-04-22 14:37
相關(guān)推薦 -
真急了!“請求中國取消限制” 評論 65歐盟多國大停電,“我們需要中國技術(shù)” 評論 110中俄元首在主觀禮臺出席紅場閱兵式 評論 57英方拿到了,“簡直像在平行宇宙,中國太超前了” 評論 88最新聞 Hot
-
真急了!“請求中國取消限制”
-
嚴(yán)管執(zhí)行!中方再出手,美媒發(fā)愁
-
俄副總理:中俄“西伯利亞力量-2”項目談判取得進(jìn)展
-
“歐洲在華企業(yè)偷著樂:機(jī)會來了”
-
歐盟多國大停電,“我們需要中國技術(shù)”
-
普京閱兵式演講,特別提到中國
-
“對華閹割版,又要降級”
-
“全球都將研究,中國與西方最強(qiáng)大武器直接對決”
-
英方拿到了,“簡直像在平行宇宙,中國太超前了”
-
微軟:從中企學(xué)到,誰先一步拿下,誰就難被取代
-
美國農(nóng)民發(fā)愁:雞爪、魚頭...除了中國,好難找到買家
-
首位“美國教皇”利奧十四世是誰?
-
許紅兵,主動投案
-
美國官員:殲-10擊落陣風(fēng),沒用F-16
-
特朗普:對華關(guān)稅145%到頂了,要降
-
美大使污蔑“中國不是好盟友”,我駐巴拿馬使館駁斥
-