本文轉(zhuǎn)載自：騰訊科技，編輯：郭曉靜。獵云網(wǎng)已獲授權(quán)。

人類與一個有靈魂的機器人發(fā)生故事，這個機器人“生活”在人類世界，艱難地體會著人類的喜怒哀樂……機器人的故事，是科幻劇最喜歡展現(xiàn)的一個題材，然而在真實世界中，我們卻很難看到一個真正意義上能與人類交互的機器人。

我們在現(xiàn)實生活中，見到的大多還是在生產(chǎn)線上進行重復勞動的機器人，或者是邁著笨拙步伐，差點被絆倒的雙足機器人，還有一些僅能做展示性任務(wù)（比如跳舞的機器狗）的機器人。

● 為什么讓一個機器人不被絆倒有這么難？

● 大語言模型的爆發(fā)是否能給機器人一個足夠強大的大腦，讓人類所期待的具身超級智能成為現(xiàn)實？

● 人類語言的產(chǎn)生晚于世界的誕生，大語言模型，真的能建立一個真正的世界模型嗎？

近日在【2023年騰訊技術(shù)周】AIGC大咖面對面活動中，騰訊首席科學家、騰訊AI Lab及騰訊Robotics X實驗室主任張正友博士做了主題為《邁向具身智能以及對大模型和AGI的一些思考》的分享。

在這次分享中，張正友博士提到，機器人要從自動化進階到智能化，需要實現(xiàn)反應式自主和有意識自主去應對變化的、不確定的環(huán)境，需要一個新的控制范式，類似于人類的認知模式。他借鑒了心理學領(lǐng)域的理念，將人的思考分為兩個系統(tǒng)，即：自動的、快速的、直覺的第一系統(tǒng)，以及需要專注思考的推理、復雜計算等費腦力行為的第二系統(tǒng)。由此，他提出，完善的機器人系統(tǒng)也需要由不同層級來處理不同級別的決策，或理解不同層級的感知信息。

受到這一理論的啟發(fā)，他認為，AI和人未來將會是多模態(tài)的交互方式，而且AI是主動的，它能夠感知周圍的環(huán)境。目前的大語言模型還不能稱之為完整的世界模型，多模態(tài)大模型肯定是通往AGI的必經(jīng)之路，但有很多工作要做，而且很可能不是現(xiàn)在的多模態(tài)大模型。

以下為演講原文：

機器人的趨勢，要從自動化變成智能化。很多生產(chǎn)線上的機器人都是重復性地做一些預編程好的動作，而且做得非常精準。我們今天討論的是智能機器人，要實現(xiàn)自主，能夠在環(huán)境不確定時自動調(diào)整規(guī)劃它自己的系統(tǒng)，來應對沒有預測到的情況。

騰訊的機器人實驗室是 2018 年成立的，出發(fā)點是 AI 一定要跟人協(xié)作，這是最主要的目的。所以我們做這個機器人是為了人機共存、共創(chuàng)、共贏的未來。實驗室成立時我們提出了 A2G 理論，是這七個方向，ABCDEFG 剛好對應英語前面的字母，A 是 AI，機器人必須能看、能說、能聽、能思考。B是機器人本體，要探索什么樣的本體最適合人的環(huán)境，最簡單的想法是人形機器人，但我認為還可能有更好的形態(tài)，所以我們要探索這個本體B，Body。C 是 Control，精準控制。ABC 屬于最基礎(chǔ)的能力，上面一層是 D，Developmental learning，發(fā)育學習。

因為機器人要在環(huán)境中不斷地跟人和環(huán)境交互，在交互中可能是成功的，可能失敗的，成功就要做得更好，失敗就要從失敗中學習，不斷地演進，就像一個小孩能不斷發(fā)育成長。E，EQ，因為是機器人在人機環(huán)境里跟人交互，必須要理解人的情感，同時要把它自己理解的東西呈現(xiàn)給人，人才能知道到底機器人有沒有理解，所以這是雙向的情感理解，擬人化。F 是 Flexible manipulation，靈巧操控，要掌握包括使用工具，為人類完成物理任務(wù)，否則這個機器人只是一個聊天的機器人。G 是 Guardian Angel 守護天使。這個機器人不光只是單獨的一個本體，還需要跟部署在環(huán)境里的智能傳感器和其他機器人、通過云跟家人和世界互聯(lián)，使得機器人成為人類的保護天使。

這是我們 Robotics X 實驗室一開始成立定的幾個方向，今天主要講 C 到 D。

01完善的機器人系統(tǒng)需要借鑒人類的思維模式：分層級進行“快與慢”的理解與決策

講到自主，有兩類：一是反應式的自主。比如走路時絆了一跤，可以很快恢復平衡，不會絆倒。有意識的自主，比如各位要去開個門或者我要從上面下來，都要有一些規(guī)劃。

為了實現(xiàn)這樣的自主，傳統(tǒng)范式是通過感知，感知環(huán)境后做一個計劃，計劃后面的行動，行動再到感知。傳統(tǒng)范式有很大的致命性問題，因為它不可能解決反應式的自主，因為不可能那么快。你說我絆倒后還要在腦子里思考怎么樣恢復平衡，我沒時間思考。

為此，我提出了一個新的范式叫 SLAP 范式。這個名字 S 是感知、L 是學習、A 是 Action、P 是 Planning。很重要的一部分是學習，學習滲透到感知、行動、和計劃。還有一個重要的部分是感知和行動緊密的連在一起。只有這樣才能感知到突發(fā)事件，比如絆了一下馬上就能夠行動來保持平衡，同時對常規(guī)行動不需要進入上一層的規(guī)劃或計劃。

這個東西就可以跟人的認知相比較，這是系統(tǒng) 1 和系統(tǒng) 2，諾貝爾獎獲得者卡尼曼在《思考，快與慢》這本書總結(jié)出來的，這本書提到心理學領(lǐng)域?qū)⑷说乃伎挤譃閮深悾簊ystem 1，自動的、快速的、直覺的；system 2，需要專注思考的推理、復雜計算等費腦力的活動。他說人的大腦95%的時間都是在系統(tǒng) 1 里運作的。這非常快，是憑直覺、不需要很多思考的。當你需要或碰到難題時，才會上升到系統(tǒng) 2，這個花的時間大概只有 5%，就是更理性地思考、推理。我們講的反應式自主，對應了系統(tǒng) 1。上面的 Plan，也就是有意識的自主就對應了系統(tǒng) 2。

系統(tǒng) 1、系統(tǒng) 2 前面還有一個就是感知，因為沒有感知不可能做系統(tǒng) 1、系統(tǒng) 2。針對系統(tǒng) 1，就是剛才提到的，快的、并行的、不需要花力氣的、大部分可能不是語言方面的東西。系統(tǒng) 2 是比較慢的思考，而且是需要花精力的，是很靈活的，有時候可能是一個規(guī)則來負責的，它負責內(nèi)容、感知。有一個想象，如果完成的和你預測的一樣，那很快就可以實現(xiàn)了，這是系統(tǒng)1的工作。當你預測和真正實現(xiàn)的東西有差別，才會上升到系統(tǒng) 2。

我覺得現(xiàn)在 Language model 還沒有做到最好，因為 Language model 到目前為止還是用系統(tǒng) 1 的方式做系統(tǒng) 2，因為它是靠預測，不管你的問題難還是容易，幾乎是同樣的時間給你回答。但事實上真正解決問題不是這樣的，容易的問題很快就可以答。復雜的問題要上升到一定高度，現(xiàn)在大家也有些在研究，比如反思。這都是針對目前 Language model 有些問題采取新的研究方式。

一個完善的機器人系統(tǒng)，同樣需要借鑒人這種認知模式，由不同層級來處理不同級別的決策，或理解不同層級的感知信息；而每一層級的理解和決策，都將由一個深度神經(jīng)網(wǎng)絡(luò)來完成。就像人有小腦和大腦，小腦能自動或者快速地維持身體平衡、調(diào)節(jié)肌張力、控制步態(tài)和身體姿勢、協(xié)調(diào)隨意運動，而大腦既控制我們的運動和感覺也進行邏輯思維、語言、識別和理解等高級認知活動。

02騰訊通過三層架構(gòu)，實現(xiàn)真正自主的機器人決策控制

回到今天我要講的機器人部分。剛才講的為什么是反應式自主，有些是有意識的自主，因為人在發(fā)育過程中最早是一個動物，動物盡管沒有語言，還是需要處理目前這個世界的。小腦幾乎是所有動物都有的，小腦是非常自動快速的幾乎沒意識的部分，可以實現(xiàn)幫助動物活下來，包括人類活下來，只是需要決策時才會上升到大腦部分。

在這個情況下，我們機器人控制里也分層，第一層是本體的感知控制，我們也有神經(jīng)網(wǎng)絡(luò)到后面去實現(xiàn)。第二個，對環(huán)境的感知，還有一層就是策略的決策。分層后實現(xiàn)了機器人智能控制。

再具體一點，目前的機器人控制分三層：

1、第一層是 PLC，行為控制系統(tǒng)，接受本體的感知包括關(guān)節(jié)的角度，上層控制指令，比如往前、往后、往左、往右，輸出的是機器人控制的力矩。

2、第二層是 ELC，環(huán)境交互的控制系統(tǒng)，接受環(huán)境的感知信息。比如我們要下樓梯或者上樓梯、開門，環(huán)境給我信息后我要去規(guī)劃，去實現(xiàn)和環(huán)境相關(guān)的一些任務(wù)。

3、最上面是 SLC，策略控制系統(tǒng)。比如一只狗一定要把另外一只狗追上，這樣的策略怎么樣控制，它可以把任務(wù)信息、外部環(huán)境感知信息和本體感知信息都整合起來，輸出到控制指令。

這個好處是我們已經(jīng)把認知到行為三層能力進行分解，分解后每一個層都可以獨立去訓練，到最后可以端到端稍微微調(diào)一下，但通過分層的訓練，效率、穩(wěn)定性都非常高。

03生成式模型在機器人控制領(lǐng)域的應用

在 Primitive-Level Control 層面，展現(xiàn)出人類和動物的行為時，我們不會用規(guī)則、hard coding 的方法，我們用了目前比較流行的生成式模型，生成式模型用在這個控制里非常合適，因為前面一堆 Token 或者其他東西預測下面的東西，下面的東西就是一個運動控制指令，這是非常合適的模型。

我們機器人用的生成式模型跟現(xiàn)在自然語言用的生成式模型的差別在哪里？我們從一開始就是多模態(tài)的，Language model 是用文字預測文字，我們這里面輸入的是內(nèi)部關(guān)節(jié)角度各方面的東西，到最后是要變成一個電機力矩去控制機器狗。我們采集了真狗在跑步機上不斷跑的數(shù)據(jù)，上面貼了很多點，一個 MoCap 動捕系統(tǒng)看它的軌跡運動方向，當然我們不知道狗到底用了多少力，所以力矩沒有，只是表面的運動信息。

有了表面運動信息后，可以把這些信息 retarget 到機器人的骨骼上，因為機器人跟真狗差別非常大。然后構(gòu)造了基于 MLP 的 Encoder 來壓縮數(shù)據(jù)特征。我們使用了高質(zhì)量的離散編碼來表達真狗的運動形態(tài)。接下來是 Decoder，解碼隱變量，輸出電機控制。整個過程用強化學習去訓練，使得機器人到最后學到的動作和真的動作形態(tài)很接近。最后部署時，去掉 encoder 就可以部署上去了。雖然我們是在虛擬環(huán)境中訓練的，但能 zero-shot 部署到真機。

這里比較了一些其他方法，比如單腳離地時間、站立時間，邁步的長度、高度之類的，每一個都是不同的標準，比如第一列是單腳離地的時間。大家看到每列圖有五個不同方法的比較，第一個是統(tǒng)計出來的真狗數(shù)據(jù)，第二個是我們自己方法學到的數(shù)據(jù)，剩下的四個是其它方法。經(jīng)過我們的方法，和真實的數(shù)據(jù)幾乎是一樣的分布變化，其他的差別就比較大。另外，盡管我們允許的力矩是從正 15 到負 15 牛米(Nm)，但最后學到的策略輸出的力矩均值只需要 5Nm 上下。

大家看到機器狗 Max 從自動學到的模型里采樣，然后它自動在跑，也不知道它往哪個方向，到最后拉不住了就放掉，它在里面不同的動作，都是自動學習得到的。

剛才真狗的數(shù)據(jù)只是在跑步機上走，后面要讓它爬樓梯、跳欄，各種各樣的環(huán)境它怎么去處理。這里面沒有采集真狗的數(shù)據(jù)，我們在虛擬世界里加各種各樣的臺階或者障礙物，讓它去繼續(xù)學習。這里面包括環(huán)境層面的控制 ELC?，F(xiàn)在已經(jīng)訓練好第一層的 PLC，就不需要再學，只需要學從強化學習怎么樣成功地避過障礙物或者爬樓梯，學的效率非常高。

我們可以在這里面學各種各樣的環(huán)境，學到各種各樣的 ELC 的網(wǎng)絡(luò)，學到不同環(huán)境的 ELC 后，可以通過蒸餾的方法把它變成一個大的 ELC 來應對所有的環(huán)境。從右下圖的對比實驗可以看到，相比不經(jīng)過預訓練從頭學習，我們通過預訓練 PLC，就能很快速的學習到應對不同環(huán)境的能力。

我們解決了匍匐前進、自然步伐上臺階、跨欄、飛躍障礙物組合，成功率接近 100%。

這個視頻展示了 Max 通過 ELC 學習后應對不同環(huán)境的能力。

當你學會單個狗的智能控制和運動后，就能適配不同的環(huán)境。下一步，如果針對不同的任務(wù)，比如一只狗追逐另一只狗，它能不能學會。這里面相對來講就比較簡單了，因為我們做學習的團隊原來做《星際爭霸2》AI 的，他們訓練出的 AI bot 打敗了國服和美服的宗師級選手，這個對他們來講是小 Case。通過學習，只需要輸出方向和速度，有了方向和速度自動驅(qū)動下面兩層 ELC 和 PLC。

高質(zhì)量的 PLC 和 ELC 可以大幅度加速策略層面的學習。這里面設(shè)置了游戲、任務(wù)，里面有兩個機器狗，有一個 Flag，最初是一個 Chaser，一個Evader，Evader 接觸 Flag 后角色轉(zhuǎn)變，F(xiàn)lag 重新出現(xiàn)一個隨機位置，Chaser 追到 Evader 游戲結(jié)束。

在沒有真狗數(shù)據(jù)的情況下，完全靠它自己學習的，比如追逐者估計自己沒有機會追上逃避的人了，就會放棄追，在那里等，等看到新的出來就可以去抓。追的時候快要抓到逃避的狗了，就能夠跳起來抓另外一條狗。這里面還可以任意添加障礙物，盡管在策略訓練過程中沒有障礙物的。因為 PLC 里已經(jīng)學過了。

我們現(xiàn)在看看狗追狗游戲的效果。視頻里為了安全，狗的速度故意被限制得比較慢，場地只有 4.5m * 4.5m 大小，但事實上真的狗可以走得更快一點。

總結(jié)一下，我們分層的控制是能夠持續(xù)積累更新的，無論是最底層的控制知識還是對環(huán)境的感知知識還是策略的知識。層級之間有一定的解耦，這樣更新每一個層級基本上不會影響到其他層級已有的知識。比如剛才講的環(huán)境需要補充，只要重新學一個新的環(huán)境里的 ELC 網(wǎng)絡(luò)，就把它蒸餾到一個大的綜合的 ELC 里就夠了。

這里也展示機器狗摔倒恢復的能力，也是他自動學會的，一般很難把狗推倒，而且推倒后它馬上就站起來了。這個就是反應式自主，這是靠規(guī)劃很難規(guī)劃出來的。當 SLC 更換任務(wù)訓練策略時，ELC 和 PLC 都不需要改動。

同樣的方法也可以用到人和人拳擊，訓練數(shù)據(jù)只是一個人的拳擊動作，但兩個人對打，它是自動學會的，看起來還是比較真實。所以我們的從認知到行為的分層架構(gòu)有很強的拓展性。

04對文本大模型、AGI的思考

第一代大規(guī)模的 AI 系統(tǒng)應該是搜索引擎，就是我們?nèi)颂嵋恍┎樵儯╭uery），AI 系統(tǒng)會檢索一些相關(guān)的鏈接，人自己要去決定到底看哪個鏈接，如果這些鏈接不行，需要退出來，再去選另外一個鏈接，所以人在這里面起到非常重要的作用，AI 還是一個非常被動的形態(tài)。

第一代大規(guī)模的 AI 系統(tǒng)應該是搜索引擎，就是我們?nèi)颂嵋恍┎樵儯╭uery），AI 系統(tǒng)會檢索一些相關(guān)的鏈接，人自己要去決定到底看哪個鏈接，如果這些鏈接不行，需要退出來，再去選另外一個鏈接，所以人在這里面起到非常重要的作用，AI 還是一個非常被動的形態(tài)。

第二代就是最近生成式 AI，同樣的場景下，我們?nèi)藛栆粋€問題，就不需要去看鏈接了，系統(tǒng)會直接給你一個回答，回答可以是文，也可以是圖，也可以是視頻，這個就是我們講的大語言模型 LLM 比如 ChatGPT，但這里面 AI 還是被動的，需要人去問問題，才給回答，這還是一個被動的形態(tài)。

接下來的研究方向，應該是進入到第三代的我們可以稱之為交互式 AI，也就是，AI 和人是一個多模態(tài)的交互方式，不光是文本，還有語音、圖像和視頻，而且它是主動的，能夠感知周圍的環(huán)境，可以主動提問題，這樣，AI 就變成一個能夠行動的實體了，就會變成一個主動式的 AI，是一個智能體了，是能夠幫助我們完成任務(wù)，我們?nèi)祟愔恍枰ケO(jiān)督和評估任務(wù)，最后可以給 AI 做一些反饋。

所以，智能體要做什么呢？首先要能感知環(huán)境，要能夠自主地規(guī)劃和決策，要能自主地采取行動，要具有適應能力，而且要具有從經(jīng)驗中、交互中學習的能力，還要具有和其他智能體合作的能力。在 AGI 沒出現(xiàn)之前，人類是目前最強大的智能體。

智能體有三種形態(tài)，第一種是軟件的 Agent，它是沒有固定形態(tài)的，雖然也能完成各類任務(wù)，第二個是虛擬的形態(tài)，像虛擬人、NPC，它這里面也可以完成各種各樣的任務(wù)。

第三個是有具身的形態(tài)，具身Agent（智能體）那就是機器人，它的優(yōu)勢是因為是具身的，能夠完成很多物理的任務(wù)，包括老年陪伴、護理，幫我們提東西，攙扶老人各種各樣的物理任務(wù)，這個是AI發(fā)展的趨勢，到最后智能體要成為 AGI。

大語言模型（LLM）的出現(xiàn)，讓我們都非常激動，認為是 AGI 的星星之火，有人說 LLM 是一個世界物理模型，能夠表示時間和空間，我有一些不同的看法，跟大家商討。我覺得 LLM 從目前來看還是不能實現(xiàn)復雜的推理，所以這個推理是很難的問題。因為現(xiàn)在 LLM 是用 Autoregressive 和 Transformer 的方式，它是預測下一 Token，所以我認為它更像 System 1。因為不管問題復雜還是簡單，扔進去以后，差不多同樣速度給你回答了，沒有上升到另外一個層次去思考，這是它缺乏的。

當然很多人都認為它有推理能力，但是我認為它的推理能力更多是在套模板，就像我們學很多東西是類推的推理能力，Analogical Reasoning。即使像 Chain of Thought (CoT) 思維鏈這樣子一個技術(shù)，也只是幫助把一個稍微復雜的問題分解來做簡單的一步步推理，所以它這個邏輯推理不太行的，實現(xiàn)不了復雜推理，我認為下一步從研究的角度來講真正要提高的話，要去思考怎么樣去設(shè)計另外一個架構(gòu)來實現(xiàn) System 2，包括調(diào)用工具、內(nèi)生編程、想象力、可視化各方面的東西。

另外，因為 AGI 如果沒有一個世界模型是不可能實現(xiàn)的，AGI 肯定要有一個世界模型，所以很多人就在討論，基于文本的 LLM 是不是一個世界模型？我認為它至少不是一個完整的世界模型。

人類起源于 600 萬年前，現(xiàn)代人類也是二三十萬年前出現(xiàn)的，語言只是 5 萬年前出現(xiàn)的，文字才5000年前出現(xiàn)，人類在文字出現(xiàn)之前，或者至少在語音出現(xiàn)之前，沒有世界模型嗎？肯定都有世界模型的，所以，即使沒有文本，沒有語言，也是可以建立世界模型的。

LLM 能不能把世界全部都描述出來？它肯定是有部分的世界模型，因為很多文字是用來描述世界環(huán)境的，但是我覺得它不完全是，只能說是部分的世界模型。

我們看一個人和人溝通的場景。7-38-55 溝通模型是一個加州大學心理學教授 Mehrabian 在 1971 年寫了一本書叫《Silent Messages》里提出來的，人和人之間的交互，傳遞的信息，靠文字或者是 Word 傳遞信息只占 7%。其他部分，聲音占 38%，然后人的肢體語言、人的表情，人的視線，也就是 Body Language 占 55%，所以完全靠文本，從另一個角度講要想實現(xiàn) AGI 是不夠的。

當然我們講的要多模態(tài)大模型，肯定是要通往 AGI 的必經(jīng)之路。文本當然大家都很清楚，文本里面有不 grounded 問題，比方說我這里舉一個例子，蘋果利用文本去描述這個蘋果是非常復雜的，到底是水果，還是公司？水果你要描述它來非常復雜，假如加上圖像，就比較容易了，如果加上這種味覺的傳感器，那就更容易來描述這個蘋果了。

這個多模態(tài)大模型肯定很重要，下面一個現(xiàn)在大家做多模態(tài)的是怎么做的？這是我的觀察，因為 LLM，就是基于文本 Transformer 非常成功，所以現(xiàn)在做圖像的很多都是去套這個 Transformer，然后圖像就 Patch 化，變成分塊。但是你 Patch 化以后，盡管你可以用 Transformer 套進去，但是很多信息就丟掉了。圖像不是靠 Patch 羅列出來的，對我們?nèi)祟悂碇v，是一個 2D，假如雙目的話是 3D 的，它里面是有很多信息，包括 Bottom-Up、Top-Down 這種機制在里面，使得我們對世界的理解非常魯棒，非?？焖儆行?。

現(xiàn)在基本上把其它模態(tài)和文本模型對齊，會丟失一些信息。所以這個多模態(tài)大模型還有很多可以研究、探討的地方，值得大家去做。

具身智能的多模態(tài)大模型還是有很多不同的，因為像不是具身的多模態(tài)大模型，是為了滿足世界各個地方人的需求，所以它從某種角度來講它必須要一個很大的世界模型。但是對具身智能來講，當把一個機器人部署到一個環(huán)境里面，它的環(huán)境還是很有限的，所以我們希望它是部署到這個環(huán)境里面能夠做得好，我們需要的不是一個非常大的世界模型，是一個小的世界模型。

這里面普適性的大世界模型和特殊性的小世界模型之間是什么樣的關(guān)系？假如完全從底層做出小世界模型，這是以前的做法，比較難，做的效果不好。怎么樣從一個大的模型，到最后部署的時候又把它變成小的模型，而且效果越來越好，這里面?zhèn)€性化、記憶、自演進這些都是要去思考的一些東西。

還有一個點，具身智能是物理定義約束的，不是隨便想象的，重力各方面，機械，這些都是要去思考的。

具身智能里，絕大部分的變化是可以預知的，因為受物理定律的影響，是可以預知的，雖然有不定性，而且這是一個閉環(huán)的系統(tǒng)。然后視覺部分是一個第一人稱的視角，就是具身智能，不是第三人稱。在網(wǎng)站上各種各樣的多模態(tài)圖像、視頻是第三人稱視角，如何把這些內(nèi)容有效的應用于具身智能是一個值得研究的課題。

還有一點，具身智能必須有自我覺知的能力，像人能夠想象，在還沒有做這個任務(wù)之前，做這個行動之前，能夠想象我這個行為能夠帶來什么樣的結(jié)果，在執(zhí)行之前思考，這樣才能盡可能保證行動的可靠性，所以這里面具身智能有很多值得思考的地方。

最后想要講的，就是說大模型的出現(xiàn)讓我們很激動， 但通向 AGI 的道路是曲折的，前途是光明的，謝謝大家！