-
“卷王”階躍星辰又卷出新花樣,但姜大昕的理想道阻且長
-
萬肇生Guanchazhewanxgun
(文/萬肇生 編輯/張廣凱)
近日,“多模態(tài)卷王”階躍星辰,又雙叒叕開源了一款大模型 —— Step1X-3D。
據(jù)階躍星辰介紹,3D大模型Step1X-3D是該團(tuán)隊(duì)繼圖像、視頻、語音、音樂等模態(tài)后,在多模態(tài)方向的最新成果。Step1X-3D 模型總參數(shù)量達(dá)4.8B,其中幾何模塊1.3B,紋理模塊3.5B,通過數(shù)據(jù)基礎(chǔ)與3D 原生兩階段架構(gòu),可生成高保真、可控的3D內(nèi)容。
Step1X-3D生成的3D模型
同市面上其他3D生成大模型相比,Step1X-3D實(shí)現(xiàn)了對(duì)超500萬原始數(shù)據(jù)進(jìn)行嚴(yán)格篩選與處理,建立了包含200萬高質(zhì)量、標(biāo)準(zhǔn)化的訓(xùn)練樣本庫,有效克服了行業(yè)數(shù)據(jù)稀缺與質(zhì)量參差的瓶頸。Step1X-3D還通過增強(qiáng)型網(wǎng)格-SDF 轉(zhuǎn)換技術(shù)等方法,讓水密幾何轉(zhuǎn)換成功率提升了20%。
在3D結(jié)構(gòu)及紋理細(xì)節(jié)方面,Step1X-3D 采用先進(jìn)的 3D 原生兩階段架構(gòu),解耦幾何與紋理表征。其中,幾何生成模型基于 FLUX MMDiT 結(jié)構(gòu)和 Rectified flow 算法直接對(duì) 3D 表示生成進(jìn)行建模,而紋理生成模型基于預(yù)訓(xùn)練的 Diffusion model,通過單視圖和 3D 幾何信息指導(dǎo),生成多視角一致的紋理信息。
Step1X-3D 的原生 3D 架構(gòu)
Step1X-3D的VAE-Diffusion整體架構(gòu)在設(shè)計(jì)上與主流 2D 生成模型(如 Stable Diffusion)保持了高度一致性,從而能夠無縫引入并應(yīng)用成熟的 2D 控制技術(shù),比如輕量化的 LoRA 微調(diào)。因此用戶可以對(duì)生成 3D 資產(chǎn)的多種屬性進(jìn)行調(diào)控,讓創(chuàng)作更精準(zhǔn)地符合用戶意圖。
階躍星辰介紹,團(tuán)隊(duì)自建了一個(gè)包含110個(gè)多樣化測(cè)試用例的綜合測(cè)試,對(duì)該模型進(jìn)行了評(píng)估,結(jié)果顯示Step1X-3D 在多項(xiàng)關(guān)鍵維度上均表現(xiàn)出色。
不同大模型的圖生3D模型效果對(duì)比
其中,在衡量內(nèi)容與輸入語義一致性的核心指標(biāo)CLIP-Score上,Step1X-3D 取得了當(dāng)前所有對(duì)比模型中的最高分,為開源社區(qū)提供了極具競(jìng)爭(zhēng)力的3D生成方案。
綜合來看,Step1X-3D的開源,再一次體現(xiàn)了階躍星辰獨(dú)特的發(fā)展路徑。
作為“大模型六小虎”中成立最晚的一個(gè),階躍星辰最初并不被廣泛看好,一度只是被視為大模型的“最后一張船票”。但憑借基座模型的扎實(shí)功力和多模態(tài)領(lǐng)域的特色,如今的階躍星辰已然站穩(wěn)腳跟,目前已對(duì)外發(fā)布了20多款自研基座模型,并且由于幾乎每個(gè)月都在發(fā)布新模型,也被稱為“多模態(tài)卷王”。
至于為什么要堅(jiān)持多模態(tài)路線,階躍星辰創(chuàng)始人姜大昕近日接受媒體采訪時(shí)認(rèn)為,多模態(tài)正是實(shí)現(xiàn)AGI的必經(jīng)之路。人工智能發(fā)展的過程中,要先有多模態(tài)融合和推理模型,才會(huì)有之后成熟的Agent。但當(dāng)多模態(tài)理解生成一體化技術(shù)突破后,它的意義不僅在于改進(jìn)現(xiàn)有Agent,還會(huì)在具身智能泛化和世界模型構(gòu)建方面帶來全新應(yīng)用。
值得一提的是,在當(dāng)下火熱的具身智能賽道,3D數(shù)據(jù)稀缺正成為最大瓶頸之一,不少具身智能企業(yè)不得不自己研發(fā)從2D到3D的數(shù)據(jù)生成技術(shù)。階躍星辰在3D生成領(lǐng)域的進(jìn)展,或許也能找到更多的商業(yè)化空間。
不過,從生成3D圖像到構(gòu)建完整的物理仿真世界,還有很長的路要走。
姜大昕日前坦言,目前多模態(tài)模型還僅僅相當(dāng)于大語言模型2017年以前的階段。
姜大昕指出,當(dāng)下的大模型還處于理解和生成兩條路線獨(dú)立發(fā)展、互相促進(jìn)的情況,還沒有突破理解生成一體化。多模態(tài)模型遠(yuǎn)未出現(xiàn)類似2017年谷歌“Transformer”級(jí)別的突破性框架誕生,“Transformer是2017年出來的,GPT-1是2018年”。
姜大昕指出,理解生成一體化又是一項(xiàng)非常綜合的挑戰(zhàn),不但需要強(qiáng)大的語言和視覺進(jìn)行理解和推理,還需要有生成能力。這也是為什么階躍星辰一開始就布局非常完整的多模態(tài)路線,包括語音、圖像、視頻、音樂等多個(gè)方向。
“每條技術(shù)路線都經(jīng)過幾個(gè)月甚至半年的積累才發(fā)布一個(gè)模型,只是當(dāng)你同時(shí)看這么多方向時(shí),會(huì)覺得我們頻繁發(fā)布新成果”,姜大昕表示,“我們也希望這樣(集中力量攻克理解生成一體化),但不是我們不夠聚焦,而是完成這項(xiàng)任務(wù)本身就需要多方面能力的支撐”。
本文系觀察者網(wǎng)獨(dú)家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
- 責(zé)任編輯: 萬肇生 
-
商務(wù)部:著力提高退稅商店覆蓋面,擴(kuò)大入境消費(fèi)
2025-05-16 14:42 -
-
歷經(jīng)五次IPO的綠茶餐廳終于上市,但市場(chǎng)并不買賬
2025-05-16 12:50 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
-
2025中國社會(huì)責(zé)任投資高峰論壇:金融的社會(huì)價(jià)值如何體現(xiàn)?
2025-05-15 22:39 金融觀察 -
雷軍:小米自研手機(jī)SoC芯片“玄戒O1”,將于5月下旬發(fā)布
2025-05-15 20:57 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
阿里發(fā)布Q4財(cái)報(bào),淘天全面超預(yù)期
2025-05-15 20:03 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
網(wǎng)易Q1凈收入288億元同比增加7.4%,新游戲表現(xiàn)亮眼
2025-05-15 18:35 大公司 -
美國全球封殺華為昇騰芯片?“無理且自大”
2025-05-15 17:36 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
美國對(duì)華技術(shù)限制能成功嗎?“最終慘的是美企”
2025-05-15 16:06 金融觀察 -
昔日“步行街巨頭”真維斯在澳洲破產(chǎn),中國真維斯加碼電商
2025-05-15 15:44 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
-
華為Pura80或延后至6月發(fā)布,博主稱將搭載超大底潛望鏡頭
2025-05-15 13:16 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
華為將推出折疊電腦
2025-05-15 10:11 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
中拉熊貓債研討會(huì)在京召開,熊貓債是什么?有何作用?
2025-05-14 20:18 -
-
被傳上市之際,小馬智行無人駕駛測(cè)試車起火
2025-05-14 18:50 產(chǎn)業(yè)萬象 -
加大投放?字節(jié)即夢(mèng)AI兩天內(nèi)迅速登頂蘋果中國區(qū)免費(fèi)榜
2025-05-14 18:21 產(chǎn)業(yè)萬象 -
相關(guān)推薦 -
-
美企急電:快取消越南、印尼訂單,轉(zhuǎn)回中國 評(píng)論 65“無論承認(rèn)與否,硅谷精英變成‘中國必勝論’擁躉” 評(píng)論 77拿中國說事,美高官想攔下這筆交易 評(píng)論 95中哥走近,美國又跳出來 評(píng)論 61歐盟“更硬”了:稅率得大幅低于中英 評(píng)論 234最新聞 Hot
-
美企急電:快取消越南、印尼訂單,轉(zhuǎn)回中國
-
“日本決定要更硬氣,不然…”
-
跪了?“還沒”
-
終于談上了,俄方要求美土離場(chǎng)
-
“無論承認(rèn)與否,硅谷精英變成‘中國必勝論’擁躉”
-
9500車位、全球最大!首航赴歐洲,“彰顯中國雄心”
-
黃楊鈿甜佩戴高價(jià)耳環(huán)引網(wǎng)友質(zhì)疑,經(jīng)紀(jì)公司回應(yīng)
-
槍殺安倍嫌犯將于10月首次公審
-
俄烏土耳其談判將安排兩輪對(duì)話:土美烏先聊,土俄烏再談
-
特朗普:給F-35加個(gè)引擎,叫F-55
-
拿中國說事,美高官想攔下這筆交易
-
中哥走近,美國又跳出來
-
歐盟“更硬”了:稅率得大幅低于中英
-
特朗普點(diǎn)名庫克:忍了蘋果在中國很多年,你居然又往印度跑?!
-
美政府有人不滿:又想拉黑中企,還要不要跟中國談了?
-
“10名干部違規(guī)吃喝1人酒后死亡”被通報(bào),信陽市委表態(tài)
-