-
根據(jù)圖片識人、識物,釘釘AI升級多模態(tài)能力
-
周毅是故意的還是不小心?
多模態(tài)、長文本與RPA(機器人流程自動化)技術,在AI應用的落地上又有新進展。
3月28日,釘釘AI助理迎來重要升級,正式上線圖片理解、文檔速讀和工作流等產(chǎn)品能力。此次升級后,釘釘AI助理將擁有更強的視覺推理能力和長文本速讀能力。在AI助理對話框,用戶發(fā)送長文件、在線文檔、網(wǎng)頁鏈接、視頻內(nèi)容,即可進行多輪交互和智能問答。
資料顯示,基于通義千問Qwen-VL-Max視覺理解模型,釘釘AI助理能夠準確描述和識別圖片信息,并進行信息推理、擴展創(chuàng)作、文字提取和翻譯等;在收到用戶發(fā)來的視頻后,AI助理會根據(jù)視頻內(nèi)容生成字幕,提取關鍵詞,并生成一份智能摘要,對于最高2GB的視頻內(nèi)容,僅需3分鐘即可完成智能解讀。
喚醒這些功能也并不復雜:用戶在釘釘IM消息框或點擊魔法棒按鈕即可進入AI助理對話框。
從初步測試來看,釘釘新版AI助理,已經(jīng)具備較為成熟的圖片識別和智能對話能力。
如下圖(左)所示,根據(jù)我們提供的照片,釘釘AI助理幾乎瞬間認出了小貓的品種,并對該品種貓咪的特征和照片背景進行了簡單描述;在沒有任何文字提醒,以及照片內(nèi)沒有文字提示的情況下,釘釘AI助理準確識別了拍攝于上海迪士尼的城堡照片(如下圖右)。
釘釘實測圖片(下同)
多模態(tài)能力的加入,讓AI助理更具實用性,例如翻譯信息、提取文字等。
我們隨手拍攝并上傳了一張耳塞外包裝(純英文說明)圖片。在識別產(chǎn)品品牌、功能等常規(guī)信息之外,釘釘AI助理在外包裝明顯破損的情況下,對英文說明進行了簡單分析和翻譯,并提取了關鍵詞。令人感到意外的是,在密集的英文印刷中,AI識別出了模糊的NRR信息(降噪等級),并提示用戶對此進行關注。
對于表情包和網(wǎng)絡梗圖,釘釘AI助理也展示出一定的識別和推理能力。
綜合來看,基于通義千問Qwen-VL-Max視覺理解模型,釘釘AI助理能做的事情明顯變多了。
公開資料顯示,Qwen-VL-Max整體性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等測評中超過業(yè)界所有開源模型,在文檔分析(DocVQA)、中文圖像相關(MM-Bench-CN)等任務上超越GPT-4V,位于世界第一梯隊水平。
不過,AI助理也不是全能的。從實測來看,未來它仍有大量提升空間。例如對影視劇中穿戴墨鏡的人物,以及身著古裝服飾的人物,釘釘AI有時無法精準識別。此外,對于“一個月才幾百塊,你玩什么命啊”這樣較為晦澀的網(wǎng)梗,AI的理解能力也有待繼續(xù)完善。
更新后,AI助理強化了文檔速讀和視頻速讀能力:用戶上傳相關的文件和視頻,即可得到一份內(nèi)容總結。
值得一提的是,根據(jù)不同需要,AI助理能生成各細分領域的助手,用戶還能通過鏈接等形式和他人分享。例如“我的歌曲助手”:用戶只需輸入音樂和唱法風格等“訴求”,在約5分鐘左右的時間里,AI就會自動生成歌曲,并發(fā)送至指定郵箱——初步來看,這些歌曲和音樂其實都有不錯的完成度。
據(jù)公開資料,此次更新后,釘釘對“工作流”玩法也進行了升級。用戶可以通過工作流,對AI執(zhí)行任務的流程進行拆解和編排,主動接管完成相應操作,并打通外部系統(tǒng)數(shù)據(jù)和API能力,例如搭建能自動寫腳本并生成視頻的創(chuàng)作AI助理等。為降低用戶的使用門檻,釘釘官方還將提供多種工作流模板。
本文系觀察者網(wǎng)獨家稿件,未經(jīng)授權,不得轉(zhuǎn)載。
- 責任編輯: 周毅 
-
華為去年營收7042億,凈利潤增長144%
2024-03-29 17:00 觀網(wǎng)財經(jīng)-科創(chuàng) -
“中國消耗這2000億度電,給全球貢獻了10萬億度清潔能源”
2024-03-29 14:50 博鰲論壇 -
萬科高管自愿降薪至每月稅前1萬元,曾年薪千萬
2024-03-29 11:14 -
投入百億真金白銀,淘寶加碼內(nèi)容電商
2024-03-29 10:36 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
光大銀行營收凈利雙降、股價大跌,行長:經(jīng)營基本面穩(wěn)定
2024-03-28 21:50 觀網(wǎng)財經(jīng)-金融 -
菜鳥歸巢,阿里進入“分拆上市”冷靜期
2024-03-28 21:32 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
遭網(wǎng)易《蛋仔派對》地圖作者起訴,騰訊《元夢之星》回應
2024-03-28 18:55 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
中國在全球率先商用5.5G,首批百城名單公布
2024-03-28 17:20 觀網(wǎng)財經(jīng)-科創(chuàng) -
去年扣非虧損收窄,京東方砸630億繼續(xù)增產(chǎn)OLED
2024-03-28 15:18 觀網(wǎng)財經(jīng)-金融 -
219克“堆料冠軍”背后,中國折疊屏競爭正走向白熱化
2024-03-28 13:47 觀網(wǎng)財經(jīng)-科創(chuàng) -
今年中央財政預計收入總額超16萬億元,“細賬”公開
2024-03-27 16:03 觀網(wǎng)財經(jīng)-宏觀 -
百億級股權交易,央企華潤將成中國最大芯片封測廠實控人
2024-03-27 15:57 觀網(wǎng)財經(jīng)-金融 -
淘寶清倉B站,阿里巴巴再“瘦身”
2024-03-27 14:41 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
沈輝接任高鑫零售CEO,原CEO林小海回歸阿里
2024-03-27 09:58 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
阿里37.5億美元收購菜鳥剩余股權,撤回上市申請
2024-03-26 19:26 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
再次掉頭向下,2月國內(nèi)手機出貨急跌超30%
2024-03-26 18:10 觀網(wǎng)財經(jīng)-科創(chuàng) -
?大戶存款首破十萬億,招行收入為何14年來首次下滑?
2024-03-26 17:53 觀網(wǎng)財經(jīng)-金融 -
8年財務造假累計逾10億,上市公司及相關人員擬被罰超2000萬
2024-03-26 15:27 觀網(wǎng)財經(jīng)-金融 -
字節(jié)旗下飛書宣布裁員:組織不夠精干效率在變低
2024-03-26 15:20 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
外媒炒中國政府采購“禁用”英特爾和AMD,真實情況如何?
2024-03-26 13:43 觀網(wǎng)財經(jīng)-科創(chuàng)
相關推薦 -
-
印巴的“火”停了,但水呢? 評論 103王毅分別同印巴雙方通話 評論 229最新聞 Hot
-
“特朗普夜不能寐,搞定全球問題比想象難得多”
-
靠岸中國貨船數(shù)“歸零”,美西港口官員驚到了
-
“出軌女下屬”,英國海軍一把手被免職
-
“聽加州的,否則美國最大經(jīng)濟體地位不?!?/a>
-
流浪53年后,蘇聯(lián)金星探測器墜落地球
-
伊朗官員:美國不真誠,一開始就設陷阱
-
?;鸬谝灰梗“突ハ嘀肛?/a>
-
為什么選出美國籍教皇?梵蒂岡消息人士:還不是因為特朗普
-
普京提議:15日,俄烏直接談
-
王毅分別同印巴雙方通話
-
印度稱“不想升級”,巴方想“就此打住”
-
英法德波領導人訪問基輔,將與澤連斯基共同討論停火問題
-
印軍否認S-400防空系統(tǒng)被摧毀
-
印度前高官:勸巴基斯坦,中國的話好使
-
空中爆炸!巴軍通報7日空戰(zhàn)細節(jié),含擊落“陣風”錄音
-
要松口了?印官員稱將“適時”公開
-