-
全球首個端到端抓取大模型發(fā)布,國產(chǎn)機器人攻克大瓶頸?
-
連政gczhewanxgun
最后更新: 2025-01-10 14:13:45在剛剛結(jié)束的 NVIDIA CES 2025 發(fā)布會上,全場唯一的輪式人形機器人托舉起了英偉達(dá)新一代顯卡產(chǎn)品 RTX5090 引發(fā)關(guān)注。而該機器人正是來自北京銀河通用機器人有限公司的Galbot。
與此同時,在英偉達(dá)位于美國拉斯維加斯 Fountainebleu 展臺上,Galbot 機器人還首次進行了真機演示。觀眾在現(xiàn)場24小時無人值守的便利店場景中,通過iPad模擬下單,即可體驗機器人在便利店中取貨、送貨的便捷服務(wù)。
Galbot 憑借高效、流暢的工作展示,也讓其背后的銀河通用具身大模型技術(shù)和創(chuàng)新成果走向臺前。1月9日,銀河通用對外正式發(fā)布GraspVLA,號稱全球首個端到端具身抓取基礎(chǔ)大模型(Foundation Model)。
據(jù)銀河通用介紹,GraspVLA 的訓(xùn)練包含預(yù)訓(xùn)練和后訓(xùn)練兩部分,其中預(yù)訓(xùn)練完全基于合成大數(shù)據(jù)。即無需大規(guī)模真實數(shù)據(jù)、僅通過合成數(shù)據(jù)達(dá)到基礎(chǔ)模型的預(yù)訓(xùn)練過程,和進一步通過小樣本微調(diào)使基礎(chǔ)“通才”快速成長為指定場景“專家”的能力,解決了世界范圍內(nèi)具身通用機器人當(dāng)前發(fā)展的兩大瓶頸—— 數(shù)據(jù)瓶頸和泛化瓶頸。
此外,針對特別需求,GraspVLA 的后訓(xùn)練則僅需小樣本學(xué)習(xí)即可遷移基礎(chǔ)能力到特定場景,維持高泛化性的同時,還能形成符合產(chǎn)品需求的專業(yè)技能。
僅通過合成大數(shù)據(jù)的預(yù)訓(xùn)練
就可以實現(xiàn)充分泛化
具體而言,銀河通用提出了 VLA(視覺-語言-動作模型) 達(dá)到基礎(chǔ)模型,所需滿足的七大泛化情況,并以GraspVLA進行展示。
光照泛化。咖啡廳、便利店、生產(chǎn)車間、KTV 等不同光照條件下,光線的冷暖、強弱變化,包括漸變和驟變,以及在極端黑暗環(huán)境下移動目標(biāo)物體時,模型都應(yīng)該具備準(zhǔn)確找到并正常抓取物體的能力。
文內(nèi)圖片展示包括2倍、3倍或5倍速。“銀河通用”公眾號
背景泛化。實際環(huán)境中,機器人工作場景不盡相同,模型需要面對不同材質(zhì)、不同紋理的桌面和操作臺,甚至動態(tài)變化的背景畫面。
平面位置泛化。模型還需要面對將物體在桌面上隨意平移、旋轉(zhuǎn)的情況。
空間高度泛化。即使面對物體擺放高低錯落的工作臺,模型也應(yīng)該可以從容抓取。
動作策略泛化。模型應(yīng)實時進行推理決策,不僅會移動跟隨目標(biāo),對于物體豎放、倒放等不同擺放方式,還可根據(jù)物體和夾爪的位姿自動調(diào)整策略,選擇最安全合理的抓取方式,處理復(fù)雜情況。
動態(tài)干擾泛化。真實工作場景復(fù)雜多變,機器人在執(zhí)行任務(wù)時常常會受到干擾。在工作過程中,即使往工作空間中隨意添加干擾物體,甚至發(fā)生撞擊并使目標(biāo)物體隨機移位,模型也需要可以穩(wěn)定地完成任務(wù)。
物體類別泛化。銀河通用稱,在上述測試中,所有物體、場景、擺放方式均未進行任何訓(xùn)練,GraspVLA 僅通過仿真合成數(shù)據(jù)學(xué)習(xí)到的語義和動作能力,就實現(xiàn)了在真實世界中零樣本泛化測試。
此外,通過把仿真合成的動作數(shù)據(jù)和海量互聯(lián)網(wǎng)語義數(shù)據(jù)巧妙地聯(lián)合訓(xùn)練,對于沒有學(xué)習(xí)過動作數(shù)據(jù)的物體類別,GraspVLA 也能把已掌握的動作能力泛化遷移:
通過少量真實數(shù)據(jù)的后訓(xùn)練
即可滿足特定場景特殊需求
另一方面,經(jīng)過合成大數(shù)據(jù)的預(yù)訓(xùn)練,GraspVLA 已經(jīng)天然滿足大多數(shù)應(yīng)用需求,但是在產(chǎn)品和特定場景中常常有一些特殊需求,因此模型需要擁有對新需求的快速適應(yīng)及遷移能力。
銀河通用介紹,以商超場景為例,用戶希望模型按照順序取出同類商品。為滿足用戶需求,針對一箱怡寶礦泉水,僅需采集少量(少于一個人遙操一天)的真實數(shù)據(jù),就能讓 GraspVLA 理解并滿足按序抓取的需求。
GraspVLA在經(jīng)過怡寶一人/天采集數(shù)據(jù)的后訓(xùn)練,就可以舉一反三,將這種少樣本習(xí)得的行為自動遷移到其他品牌的飲品(農(nóng)夫山泉、東方樹葉),按擺放順序分別抓取了瓶身顏色不同,瓶蓋大小不一的同類商品。這展現(xiàn)了天量合成大數(shù)據(jù)預(yù)訓(xùn)練達(dá)成的基礎(chǔ)模型。
工業(yè)場景中,往往有大量行業(yè)專用的特殊零件。雖然模型僅需預(yù)訓(xùn)練就可以抓起任意零件,但難以直接根據(jù)語言指令抓起對應(yīng)物體,比如指定“抓取車窗控制器”,但模型抓起了接線座。
為了提升模型識別罕見零件的能力,僅需采集少量軌跡進行快速后訓(xùn)練。GraspVLA 就可以迅速掌握諸如接線座(Wiring Base)、三角板(Triangular Panel)、黑色軟管(Black Hose)等特殊工業(yè)名詞,能從任意擺放的密集場景中精準(zhǔn)找出對應(yīng)零件。
在家庭場景中,人們對機器人的行為會有特定的偏好,例如抓取杯子時不要碰到杯子內(nèi)壁。同樣通過采集少量帶偏好的抓取軌跡,GraspVLA 即可學(xué)會按照自然語義抓取。
對此,銀河通用表示,這種預(yù)訓(xùn)練全合成大數(shù)據(jù)方案在人力和資金投入上成本更低,時間效率更高,可持續(xù)發(fā)展性更好,也是 VLA 模型商業(yè)化應(yīng)用中必備的能力。
本文系觀察者網(wǎng)獨家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
- 責(zé)任編輯: 連政 
-
鴻蒙原生版微信正式上架,騰訊公布開發(fā)歷程
2025-01-09 21:35 觀網(wǎng)財經(jīng)-科創(chuàng) -
云巨頭警告:美國AI禁令,可能將GPU市場拱手讓給中國
2025-01-09 17:49 觀網(wǎng)財經(jīng)-科創(chuàng) -
北斗短信、無人機基站等,現(xiàn)身地震搶險救援和通信保障
2025-01-09 17:14 觀網(wǎng)財經(jīng)-科創(chuàng) -
全球三分之二iPad、超億臺手機都是“川渝造”
2025-01-09 17:02 觀網(wǎng)財經(jīng)-科創(chuàng) -
中國航司正迅速填補西方空缺
2025-01-09 16:57 航空航天 -
債務(wù)是中性的,既不是魔鬼也不是靈丹妙藥
2025-01-09 15:50 問診2025中國經(jīng)濟 -
小米、聯(lián)想、華為小折疊擠進全球前五,蘋果也快入局了?
2025-01-09 15:14 觀網(wǎng)財經(jīng)-科創(chuàng) -
-
外媒:外賣平臺主動反超時,可降低內(nèi)卷程度,提升騎手工資
2025-01-09 14:16 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
-
微信被美國移出“惡名市場名單”,多家中國企業(yè)仍在列
2025-01-09 11:10 -
去年全球手機面板出貨突破22億片,創(chuàng)歷史新高
2025-01-09 10:58 觀網(wǎng)財經(jīng)-科創(chuàng) -
離岸人民幣匯率連跌3個月,央行出手:600億!
2025-01-09 10:27 香港 -
全球首款卷軸屏電腦亮相,起售價2.6萬
2025-01-08 20:13 觀網(wǎng)財經(jīng)-科創(chuàng) -
重大突破!中國企業(yè)首創(chuàng)RGB三維控色液晶顯示技術(shù)
2025-01-08 19:36 觀網(wǎng)財經(jīng)-科創(chuàng) -
淘寶也上線了“送禮物”功能,三大平臺角逐社交電商
2025-01-08 17:08 電子商務(wù) -
國家發(fā)改委:京東即將接入支付寶
2025-01-08 16:05 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
很快將演示核聚變突破?奧爾特曼又畫大餅
2025-01-08 16:03 大公司 -
傳上汽和華為明天官宣合作,雙方尚未回應(yīng)
2025-01-08 15:11 觀網(wǎng)財經(jīng)-科創(chuàng) -
全球六大手機品牌均未在美國CES發(fā)新品
2025-01-08 15:04 觀網(wǎng)財經(jīng)-科創(chuàng)
相關(guān)推薦 -
-
印度稱“不想升級”,巴方想“就此打住” 評論 26“跟巴西建這條鐵路,中國非常感興趣” 評論 76真急了!“請求中國取消限制” 評論 494歐盟多國大停電,“我們需要中國技術(shù)” 評論 182最新聞 Hot
-
印度稱“不想升級”,巴方想“就此打住”
-
英法德波領(lǐng)導(dǎo)人訪問基輔,將與澤連斯基共同討論?;饐栴}
-
印軍否認(rèn)S-400防空系統(tǒng)被摧毀
-
印度前高官:勸巴基斯坦,中國的話好使
-
空中爆炸!巴軍通報7日空戰(zhàn)細(xì)節(jié),含擊落“陣風(fēng)”錄音
-
要松口了?印官員稱將“適時”公開
-
印度32座機場暫停對所有民用航班運營
-
英官員承認(rèn):美英貿(mào)易協(xié)議這條款,沖中國來的
-
巴外長:印度讓巴基斯坦別無選擇
-
巴基斯坦稱使用“梟龍”戰(zhàn)機擊毀印度S-400防空系統(tǒng)
-
搞錢色交易、貪欲膨脹,深圳市政協(xié)原副主席王幼鵬被“雙開”
-
“跟巴西建這條鐵路,中國非常感興趣”
-
果然,英國被用來“立規(guī)矩”了
-
印度官員:印軍正做出回應(yīng)
-
印方:一高級官員在巴方炮擊中身亡
-
巴基斯坦發(fā)起“銅墻鐵壁”行動:已打擊20多處印度軍事設(shè)施
-