極客網(wǎng)·極客觀察8月8日，大模型風(fēng)起云涌，正在從虛擬世界進(jìn)入現(xiàn)實(shí)世界。谷歌DeepMind日前推出 Robotic Transformer 2（簡(jiǎn)稱(chēng)RT-2）大語(yǔ)言模型，讓人類(lèi)可以通過(guò)純語(yǔ)言命令優(yōu)化機(jī)器人控制，邁出了重要一步。

【資料圖】

不同于此前的大模型，這是一個(gè)“視覺(jué)-語(yǔ)言-動(dòng)作”（vision-language-action，簡(jiǎn)稱(chēng)VLA）模型。業(yè)界認(rèn)為，谷歌此舉是想打造可以適應(yīng)人類(lèi)環(huán)境的通用機(jī)器人，類(lèi)似于機(jī)器人瓦力或者C-3PO。

谷歌RT-2無(wú)需針對(duì)特定任務(wù)專(zhuān)門(mén)訓(xùn)練

當(dāng)人類(lèi)需要學(xué)習(xí)某項(xiàng)任務(wù)時(shí)，往往會(huì)通過(guò)閱讀和觀察來(lái)實(shí)現(xiàn)。RT-2有點(diǎn)類(lèi)似，它用到了大語(yǔ)言模型（也就是驅(qū)動(dòng)ChatGPT的技術(shù)）。RT-2從網(wǎng)上尋找文本和圖片，然后訓(xùn)練模型，即使沒(méi)有針對(duì)特定任務(wù)專(zhuān)門(mén)訓(xùn)練過(guò)，RT-2也可以識(shí)別模式和動(dòng)作。

舉個(gè)例子，按谷歌的說(shuō)法，在沒(méi)有經(jīng)過(guò)特別訓(xùn)練的前提下，RT-2可以識(shí)別并扔掉垃圾。RT-2會(huì)理解垃圾是什么，了解如何處理，然后完成一系列動(dòng)作。RT-2甚至知道食品包裝紙或香蕉皮也是垃圾。

谷歌工程師甚至說(shuō)，向RT-2下達(dá)一條命令，讓它撿起已經(jīng)滅絕的動(dòng)物，RT-2機(jī)器人可以從三個(gè)雕像中找出恐龍。

放在以前，如果想讓AI處理垃圾——無(wú)論是識(shí)別垃圾、撿起垃圾還是扔掉，都要專(zhuān)門(mén)訓(xùn)練。RT-2不太一樣，它從網(wǎng)絡(luò)數(shù)據(jù)中獲得大量知識(shí)，已經(jīng)知道垃圾是什么，能夠識(shí)別垃圾，不需要專(zhuān)門(mén)訓(xùn)練。

又比如要讓AI機(jī)器人撿起蘋(píng)果，先要訓(xùn)練機(jī)器人，讓它知道蘋(píng)果的一切，比如蘋(píng)果是如何生長(zhǎng)的，它的物理特點(diǎn)有什么；不只如此，還要在環(huán)境中識(shí)別蘋(píng)果，不能將蘋(píng)果和紅球混淆；還有最重要的，AI要知道如何將蘋(píng)果撿起來(lái)。

谷歌RT-2是打造通用機(jī)器人的一大步

一般來(lái)說(shuō)科學(xué)家會(huì)用大量人工獲取的數(shù)據(jù)點(diǎn)來(lái)訓(xùn)練機(jī)器人AI，為了覆蓋每一種可能場(chǎng)景，訓(xùn)練時(shí)會(huì)消耗大量時(shí)間和成本?，F(xiàn)實(shí)世界紛繁多變，機(jī)器人助手如果想變得實(shí)用，必須正確應(yīng)對(duì)那些不太可能編程的場(chǎng)景。

在開(kāi)發(fā)RT-2時(shí)，DeepMind深入挖掘變形AI模型的優(yōu)點(diǎn)，這種模型擁有很強(qiáng)的概括能力。RT-2借鑒了谷歌早期開(kāi)發(fā)的AI，比如PaLI-X和PaLM-E。有了RT-2模型，機(jī)器人可以處理攝像頭圖像，對(duì)應(yīng)該執(zhí)行的動(dòng)作進(jìn)行預(yù)測(cè)。

谷歌發(fā)現(xiàn)，如果是訓(xùn)練過(guò)的任務(wù)，RT-2試驗(yàn)6000多次后效果便與RT-1一樣好。如果是沒(méi)有訓(xùn)練過(guò)的任務(wù)，RT-2的表現(xiàn)比RT-1好一倍。簡(jiǎn)單來(lái)說(shuō)，谷歌認(rèn)為RT-2在學(xué)習(xí)新場(chǎng)景新任務(wù)時(shí)表現(xiàn)更好，雖然它仍不完美。

DeepMind的目標(biāo)是打造通用機(jī)器人，但谷歌也承認(rèn)還有很多研究工作要做，不過(guò)RT-2應(yīng)該是正確的研究方向。如果RT-2真的能變得完美，人類(lèi)可以向機(jī)器人下達(dá)“文字命令”，讓機(jī)器人按指令行動(dòng)。

谷歌RT-2可以像人類(lèi)一樣將學(xué)到的知識(shí)用于新場(chǎng)景

RT-2最大的突破在于，它從網(wǎng)絡(luò)數(shù)據(jù)中學(xué)習(xí)基本概念和構(gòu)想，然后將學(xué)到的知識(shí)用來(lái)指揮機(jī)器人完成動(dòng)作，讓機(jī)器理解甚至“說(shuō)出”它們的操作語(yǔ)言。

要讓機(jī)器人在多變的環(huán)境中執(zhí)行通用任務(wù)，它必須管理好復(fù)雜抽象任務(wù)。如果是之前沒(méi)有遇到的過(guò)的環(huán)境，更是需要機(jī)器人正確應(yīng)對(duì)。

聊天機(jī)器人純粹在虛擬世界運(yùn)行，機(jī)器人不一樣，它存在于真實(shí)世界。機(jī)器人要理解抽象概念，在實(shí)際、物理環(huán)境中應(yīng)用。

在RT-2出現(xiàn)之前，機(jī)器人依賴(lài)復(fù)雜系統(tǒng)堆棧來(lái)運(yùn)行，也就是高級(jí)推理系統(tǒng)與低級(jí)操作系統(tǒng)聯(lián)合作戰(zhàn)，讓機(jī)器人正常運(yùn)轉(zhuǎn)，這種方法有些笨重！RT-2簡(jiǎn)單一些，它將復(fù)雜推理與動(dòng)作輸出整合到一個(gè)模型。

RT-2的最大特點(diǎn)在于：它從語(yǔ)言和視覺(jué)訓(xùn)練數(shù)據(jù)中學(xué)習(xí)概念，將概念變成機(jī)器人動(dòng)作，即使是之前沒(méi)有訓(xùn)練過(guò)的任務(wù)，它的處理能力也更強(qiáng)。簡(jiǎn)言之，RT-2可以像人類(lèi)一樣，將以前學(xué)到的概念應(yīng)用于新場(chǎng)景。

谷歌的研究似乎在告訴人類(lèi)，AI正在以更快的速度影響機(jī)器人。開(kāi)發(fā)多功能通用型機(jī)器人是人類(lèi)的一個(gè)夢(mèng)想，希望RT-2能帶來(lái)突破。（小刀）

蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng) 讓機(jī)器人像人一樣學(xué)習(xí) 谷歌RT-2 AI模型到底是什么？ 電信市場(chǎng)受挫，英特爾網(wǎng)絡(luò)與邊緣業(yè)務(wù)收入大跌三分之一 AI沖擊好萊塢？盡管充滿爭(zhēng)議，但答案已經(jīng)顯現(xiàn) ChatGPT能力退化惹爭(zhēng)議 AIGC應(yīng)用還值得信任嗎？ 行業(yè)大模型2小時(shí)開(kāi)箱即用？華為FusionCube A3000做到了 獨(dú)一無(wú)二！馬斯克不想讓你知道的5個(gè)商業(yè)秘密 Chiplet究竟是什么？為什么說(shuō)Chiplet能幫助中國(guó)芯片突圍？ 英特爾Gaudi2 AI芯片想靠中國(guó)市場(chǎng)挑戰(zhàn)英偉達(dá)，能成功嗎？ 隨著馬斯克推動(dòng)特斯拉在墨西哥設(shè)廠，中國(guó)汽車(chē)產(chǎn)業(yè)鏈紛紛加碼美洲市場(chǎng) 從iDME到板級(jí)EDA，華為云按下工業(yè)軟件自主創(chuàng)新加速鍵

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。