作者丨臨風

編輯丨海腰

圖源丨covariant官網

設想一下，假如給用于分揀的機械臂施“變聰明”的魔法，它就能和人類以自然語言交流，完成挑揀工作，區分垃圾和物品，還能自覺地卸貨、上貨，好似不知疲倦的廠工拿一份工資幹2個人的活兒。

Covariant（以前叫Embodied Intelligence），硅谷機器人初創公司，致力于將機器人版ChatGPT帶入人們的工作和學習生活中，研發適用于各類場景的通用型人工智能。其核心産品是Covariant Brain，即機器人大腦軟件，可以適配在不同的硬件之中，現在主要部署在工業機械臂之上。Covariant從物流倉儲、快遞分揀自動化入手，協助人類完成繁重和勞累的工作，後續長期願景是研發通用型基礎模型。

它的創立者團隊是伯克利知名教授、深度強化學習先驅Pieter Abbeel及他的3位華人博士生Peter Chen（陳曦）、Rocky Duan（段岩）和Tianhao Zhang（張天浩）。值得一提的是，前3位都是OpenAI前員工，來自其解散的機器人團隊。

圖源：covariant官網，從左至右爲：段岩、張天浩、Pieter Abbeel、陳曦

他們的投資人陣容可稱作AI科學界的“團建”，包含谷歌高級研究員Jeff Dean，斯坦福教授李飛飛，深度學習三巨頭之二Yann LeCun、Geoffrey Hinton，伯克利傑出教授Michael Jordan，MIT AI實驗室主任Daniela Rus等。去年，比爾蓋茨在他們的C輪融資裏湊了個熱鬧。

圖源：比爾蓋茨領英分享

Geoffrey Hinton覺得自己投少了，發推表示十分後悔，“我應該多投資100倍。”

圖源：推特

至今，Covariant融資5輪，融資總額2.22億美元。最近一次C+輪融資發生在2023年4月，Index Ventures、Radical Ventures領投，Amplify Partners、Gates Frontier Fund等跟投，融資7500萬美元，此前資方包括淡馬錫、Radical Ventures、Amplify Partners、Samsung NEXT、峰瑞資本等。

從團隊實力一瞧便知，他們不會輕易畫餅。3月12日，Covariant發布了機器人領域的通用基礎模型RFM-1，這個機器人模型給機械臂裝上了“大腦”，使其理解、識別物理世界，人類可與其用自然語言交流。RFM-1可接受數據訓練完成更多工作。27日，它學會反思改進、提出策略，就像ChatGPT走進現實。

與Figure.ai、特斯拉、Agility等同樣在工廠打工的機器人公司不同，Covariant從純軟件和純人工智能出發，研發控制機器人的“大腦”。CEO Peter Chen（下文統稱爲“陳曦”）認爲，這能使他們比其他公司更深入地研究人工智能。

他們的核心産品Covariant Brain賦予機器人看、思考、行爲的能力，因爲學習得夠多，它們可以像小雞啄米一樣“拿（吸）起”任何物品，且不論尺寸、形狀、包裝、大小、質地、紋樣如何。

就像生成式AI可以即時寫營銷文案一樣，Covariant通過采用單一通用人工智能模型，賦予機器人組合更高的生産力，使其能夠在現場揀選、分類、放置幾乎所有物品。

由于AI系統的強大，Covariant Brain的合作方包括Knapp、ABB、Bastian、Fortna等知名倉庫和物流公司。“隨著挑揀任務越來越棘手，每一次我們都預計他們會在下一個産品上失敗，但一切都非常順利”，KNAPP創新副總裁Peter Puchwein評價道。

圖源：covariant官網

先來看Covariant已有的倉儲應用場景。其一是Robotic Putwall（分揀牆），這個系統用于批量揀選和退貨處理。它能自動對混合SKU裝箱做分揀。2022年10月，B2C電商Radial裝配了12台Covariant的Putwall機器人，據稱，全面運行時每個機器人平均每月可進行約10萬次揀選。

圖源：covariant Putwall簡介

其二，Robotic Induction，Covariant的機器人投放系統能實現自動化入庫操作，自主將物品投入單元分揀機、袋式分揀機、自動導向車、自動裝袋機等設備，識別每種産品後確定最佳抓取點和抓取速度，將物品分類、分組至包裝站。此類系統與KNAPP的機械分揀合作，爲GXO部署智能化電商倉庫。

來源：covariant Induction簡介

第三種，Goods-to-Person Picking，針對的是更需腦力的場景——揀選。傳統倉儲場景類，往往是人類在穿梭車、自動導向車和其他自動存取檢索系統中移動並挑選貨物。Covariant則將這個工作變爲“貨物—機器人”的揀選，把大部分重複勞動包圓了。美國藥品分銷商McKesson的倉庫揀貨嚴格，因藥品包裝複雜，專業勞動力短缺需要大量智能揀選，KNAPP、Covariant合作的機械臂能識別不同包裝、特征各異、體型較小的藥品。

圖源：covariant Goods-to-Person Picking簡介

圖源：KNAPP智能Pick-it-Easy機器人在美國McKesson制藥公司負責揀貨工作

第四類是Robotic Kitting，做配套工作，適用于占地面積小的包裝工作，做聯合包裝、套餐配餐或訂閱服務的自動化組裝。

還有一類是Depalletization，自動卸剁，也就是將混合的SKU解托到傳送帶上，確保倉儲和揀選區的及時補充。據稱，一家大型家居裝修零售商部署了多個Covariant的卸剁系統提高效率。

圖源：covariant官網

結合用例可知，Covariant從2017年開始將機器人部署到世界各地客戶需要的真實現場，進行數據收集。ChatGPT需要學習大量數據，Covariant的機器人也一樣。爲保證構建高性能機器人基礎模型，做源于真實環境的物理交互。

此外，數據的收集能幫機器人深入理解物理世界的罕見事件，發現在實驗室環境中很少遇到的特殊情況。其主要收集多角度視頻、靜態圖像、站點和任務描述、電機編碼器和壓力傳感器等數據。

倉儲、物流場景中的傳統機械臂，笨重緩慢，要拾取特定物品按規定路線走。Covariant則讓機器人親臨現場，直接挑戰高難度，身經百戰。他們一直讓自己的系統操作“拿取”高遮擋情形下的可變形物體，從圓柱形的杯子到不規則的小黃鴨，擺放混亂、緊密不一，這完全考驗機器人自己推理不同材料的吸力強度，當機器同步率到99%時，已經能與人類勞動力水平相當。

今年三月，在Covariant Brain AI平台部署機器人收集大量數據的基礎上， RFM-1機器人基礎模型成功推出，陳曦表示，該模型基本上是一個大語言模型，但專爲機器人語言設計。

據官網，Covariant Brain由RFM-1驅動，並在全球倉庫中最大的多模態機器人數據集上進行訓練，一天就能讓機器人撿起任何SKU或貨物。RFM-1則是經過80億參數訓練的Transformer模型，它的發布意味著Covariant朝著准確模擬和能物理世界複雜條件下操作的泛化人工智能模型邁出結實的一步。

研究介紹，RFM-1是一個多模態任意序列模型，經過文本、圖像、視頻、機器人動作等系列數字傳感器讀數的訓練。它通過將所有模態轉換爲一個共同的空間，並執行自回歸的下一個標記預測。

通俗來說，RFM-1做圖像到圖像的學習，理解人類的文本指令，觀察餵給它的圖像，將場景圖像和目標抓取物配對，以視頻形式反饋模擬結果。據“機器之能”分析，可以將RFM-1視爲一個視頻生成器，輸入拾取某物的命令，系統會使用訓練數據（形狀、顔色、大小）來識別與描述最匹配物體，然後生成視頻，預測自己拿起物體時會發生什麽，並確定最佳行動方案。

圖源：covariant官網，RFM-1簡介，圖1（左上），圖二（右上），圖三（左下），圖四（右下）

例如，RFM-1根據圖1（初始動作）和圖2（規定物品），生成圖3（模擬的拾取動作視頻），圖4則是它現實世界中的實際選擇。要注意一點，RFM-1的動作是推理、預測未來幾秒鍾物品框的變化而幫助決策，而不是在機械地拿。

圖源：covariant官網。此圖爲RFM-1生成的圖像顯示，假設從起始手提袋（左）中選取特定物品（中），則預測手提袋的外觀（右）

不僅如此，任何人都能用自然語言與機器人協作，不需要編程和工程背景。如下圖，操作員可以用簡單的幾句英語讓機器人拿起紅蘋果和浴室用品。

如果遇到了難題，RFM-1會主動向人類提問，操作員可以用自然語言告訴它操作技巧。如下圖，機械臂在抓取網球時找不准著力點，它會主動問人類該怎麽辦，操作員提供指導後，它能准確根據建議繼續操作。

在博客文章中，Covariant提到了RFM-1還具有局限性，尚未部署給客戶，目前還期望收集到的數據能加速定位到RFM-1的故障模式並幫助它學習。

因爲受限于上下文長度，它還以相對較低的分辨率和幀率運行，RFM-1雖然已經可以捕捉大型物體的變形，但無法模擬小物體/快速移動，即要想讓它擰螺絲、削皮可能還是有難度。

3月27日，Covariant發文稱RFM-1有重大更新，機器人可以通過反思最近行爲想出遇到難題時的改進行爲。例如它在抓取全新物品襪子時，抓了幾次都失敗了，于是反思自己，然後進行內部對話，認爲自己可以通過吸取紙殼來抓取襪子。

不過，Covariant離目標還很遠。他們認爲，RFM-1是一個通用的機器人大腦，不排除它會介入任何具身的設備裏（包括人形機器人）。而要做到這一點，他們的數據收集速度至少要提升10倍。

陳曦透露，他們將隨著RFM-1的成熟開放API給其他機器人公司，“未來會有大量的機器人開發者和公司接入我們的API，我們希望成爲他們的GPT平台。”

陳曦表示，“除了ChatGPT，市面上有很多自然語言處理的AI，用在搜索、翻譯、垃圾郵件上。方法是針對每個用例，使用較小的數據子集訓練特定的AI。基礎模型的方法應該是，在更多的數據上訓練大型泛化模型，這樣AI也就能更加泛化。”

這個想法和致力于通往AGI道路的OpenAI基本一致，因爲其團隊四名成員有3名都來自OpenAI放棄的機器人團隊。Covariant成立于2017年，由一位大牛Pieter Abbeel帶領陳曦（Peter Chen）、段岩（Rocky Duan）、張天浩（Tianhao Zhang）三位華人博士出走創業，這四個人關系密切，都來自加州伯克利大學人工智能實驗室 (BAIR)。

圖源：covariant，從左至右，張天浩，段岩，陳曦，Pieter Abbeel

團隊中，最負盛名的是Pieter，吳恩達的第一個博士生，斯坦福大學計算機科學博士。他創立了伯克利機器人學習實驗室，是BAIR的聯合主任，並在2017年成爲伯克利的終身教授。他的研究以機器人和機器學習爲主，合著論文約357篇。據Pieter個人網頁，主要研究方向包括AI、強化學習和機器人方向，早在2008年他的博論就探討了教會機器人從演示中學習（學徒學習）和反複試錯學習（強化學習）應用于機器控制中。可以看出，Pieter的研究對Covariant Brain的影響舉足輕重。

圖源：Pieter Abbeel個人網頁，https://people.eecs.berkeley.edu/~pabbeel/

Pieter在2021年獲得ACM計算獎。學術界外，Pieter在業界人脈廣泛，他是播客The Robot Brains主持人，采訪過Ilya Sutskever、Andrej Karpathy、Geoff Hinton等科學家及創投人士。

他的身份非常多元，科學家、連續創業者（Covariant、Gradescope）、媒體主持人及VC合夥人。Pieter在OpenAI成立的第二年加入，成爲其機器人團隊的一員。同時加入的還有天才少年段岩和陳曦。

除了Pieter外，其余三位華人可能都是30歲左右的90後小夥。

陳曦，CEO，2016年攻讀伯克利博士，BAIR研究員，與Pieter一樣專注強化學習、元學習、無監督學習方向，發刊30余篇，引用超2萬次。

圖源：福布斯

段岩，CTO，本碩博伯克利，2年讀完博士，在EDX做了3個月軟件工程實習生。21歲時成爲OpenAI最早的雇員之一，入選2024福布斯“30under30精英”，行業相關研究引用超15000次。Pieter評價他“比任何很有生産力的人多10倍生産力”。

圖源：段岩個人網頁，http://rockyduan.com/

張天浩，聯創，本科伯克利雙學位，2016年起攻讀博士學位。他曾擔任過MongoDB的軟件工程實習生和微軟的研究實習生。目前和陳曦一樣處于休學狀態。

圖源：張天浩個人網頁，http://tianhaozhang.com/

2017年5月，OpenAI就發布過用于模擬控制機器人的開源軟件，創建了系統用在物理機器人身上，而且其系統算法能從失敗中汲取教訓強化學習。2年後，他們首次展示了機器人運作，效果不太好。據Venturebeat，2021年底，OpenAI聯創Wojciech Zaremba透露了解散機器人團隊的決定。因爲從實際的商業情況來看，機器人是一個資本密集型領域，對初創來說路不好走。

當然，OpenAI並未完全放棄機器人，至少在2024年3月，裝入OpenAI GPT4v視覺語言模型支撐的Figure 01已經能一邊聊天一邊收拾桌面垃圾了。同一時間，Covariant推出的RFM-1也學會了靠自己“拿起”柔軟的襪子。兩家AI“大腦”各有所長，棲身于靈活的物理器械中發揮效用。

圖源：TheAIGRID，Figure 01主動清掃桌面

在Pieter的播客節目中，段岩談到了從OpenAI離開，開始Covariant的原因，他並不否認OpenAI團隊的高效，在那裏他們的重點推動基本學習算法，接受挑戰性任務。

一天，他曾和陳曦在一家中餐館裏討論，如何將機器人學習水平推向一個新的水平，他們認爲：“僅開發和改進算法已經遠遠不夠，更重要的是獲得正確的數據。數據，不僅包括注釋類，還需包括機器人執行的各種任務。”

道理很簡單，縮減學界和業界之間的鴻溝，便是靠實踐出真知。段岩的觀念是，要讓AI機器人真正發揮作用，得做橫向擴展。“我們需要在商業環境中大規模部署機器人，結合經驗以改善學習系統——這是在實驗室學術環境中無法接觸到的數據。”

隨著機器人團隊核心成員出走創業，2021年後OpenAI也將研究重心轉向了易獲取數據的其他基礎模型之上。Covariant走向了AI機器人的研究，沉寂多年收集數據，歸來便是王炸。

2018年，Covariant開發了Covariant Brain及第一個用于自動化倉儲和揀選放置的AI機器人解決方案，等待一個應用時機。

第一個轉折點到來，Covariant借此獲得部署機會。據Fortune報道，工業機器人制造商ABB在2019年舉辦抓取一場競賽來評估潛在合作夥伴，看AI是否足以成熟地運用至機器人自動化領域中。ABB邀請了20家機器人公司（10家歐洲公司，10家美國公司），競賽中他們安排了26種物品做複雜的揀選、包裝和分揀挑戰，包括蘋果、翻蓋式物品、玩具等，其中一半賽前保密。Covariant是其中唯一一家成功完成所有挑戰的公司。拿下大客戶ABB，Covariant並很快將合作方案部署在電商旅行服務提供商Active Ants（隸屬于Bpost）。

圖源：ABB

Covariant成爲ABB、Bpost面向客戶的標准方案工具的首選提供商，大客戶紛至沓來。他們與KNAPP的揀選機器人Pick-it-Easy密切合作，又鏈接到了GXO、McKesson及Obeta等北美、澳洲、德國的知名企業。

圖源：covariant官網

大型物流公司一直以來對AI自動化分揀有市場需求。據數據，零售商和物流廠商的自動化手動任務（揀選、包裝、裝載、卸貨）占履約成本的60%。KNAPP的Peter Puchwein做了19年自動化倉庫，在他看來，AI機器人可以挑選95%-99%的貨品，完勝只有10%的非AI機器人。Peter不信AI初創公司剪輯後的展示視頻效果。2020年前後，他們公司的工程師走遍世界各地尋找最好的揀選機器人，最終選擇了Covariant，測試了三四個月才確定把這類機器推向市場。

Peter打了一個比方來說明性價比，假如一個工人年薪4萬美元，那他們不知疲倦的KNAPP機器人解決方案只要3萬美元，這讓客戶根本“無法拒絕”。

而且，那時的Covariant稱，他們的分揀已經達到10000種不同的物品，准確率超99%，意味著幾乎與人類勞動力對齊。

隨著應用場景增多，Covariant逐步推出新功能，到2022年與Capacity合作時，它已經以超過500PPH（每小時處理500訂單）履服數千訂單，其中不到0.1%需要人工幹預。需要注意，PPH是學術界、工業界和標准機構衡量機器人抓取的主要基准和指標，此時Covariant的PPH已非常接近人類（400-600次/小時）。

盡管如此，陳曦認爲，用MPPH來考驗機器人抓取的系統性能已經成爲一個過時指標，“我們更多地衡量的是系統的可靠性，即每小時幹預次數，也就是人類需要參與的頻率。”他的觀點獲得RightHand Robotics的CTO Lael Odhner認可。

後期，Covariant不斷拓寬企業合作之路。2022年，Bpost旗下的 Radial集成了12台Putwall，PPH達到425次。2023年，歐洲最大在線零售商Otto與其達成戰略合作，部署100多個AI機器人處理訂單揀選。

圖源：covariant官網，與Otto合作機器人

Covariant全球拓展業務，每隔兩年設立新的全球辦公室。據官網，Covariant從2019年到2021年已設立深圳、倫敦辦公室。

總的來看，Covariant目前正用“大腦”與大型機器人制造商如KNAPP合作，以收集數據和經驗不斷促進AI系統升級，同時這也是其主要商業模式。

是不是覺得，讓這麽厲害的AI大腦來撿東西有點“大材小用”？

Radical Ventures合夥人Jordan Jacobs解釋了這項挑戰：“開發一個AI系統准確操作機械臂，從一堆雜亂貨物中識別出目的物，顛倒、側傾、弄正，這是非常困難的事。”

教AI機器人撿東西，確實是看似非常容易的任務，但卻是世界上多數大廠和研究室困擾多年的問題。1歲嬰兒能做到的事，對機械臂來說卻非常困難。一是要讓它自己抓得起來，二是要讓它抓得起大多數物品，這其中有執行器的控制、夾具摩擦問題，傳感器感知的解釋和嘈雜數據的影響。

如，2016年，谷歌運行14個機械臂互相學習抓東西；同年，亞馬遜在機器人揀選大賽獲得冠軍，是因爲他的機器人每小時100件的速度揀選産品（人類速度是400件/小時）。

圖源：The verge，上谷歌，下亞馬遜

不僅如此，機器人幫大廠倉儲物流“撿東西”是順應需求。美國勞工統計局（BLS）報告稱，倉庫和倉儲行業全國1.7萬個地點雇用超過100萬名工人，而每年5%的倉庫工人至少發生一次工傷事故。在2021年，該行業成爲人員流動率排名第二的行業。更多數據表明，美國公司每年因工傷損失620億美元。

機器人賽道也有龐大市場。馬斯克在去年5月發布自家機器人Optimus時說，未來人形機器人有長期價值，樂觀預測下有望達到百億台。有研報認爲，到2023年，工業機器人全球市場收入近438億美元。此外，人形機器人有望印證“AI軟切硬”的邏輯，成爲AI+的終極應用，在2021-2030年間全球市場規模CAGR將達到71%，最值得關注的類別有機器視覺、工業機器人、服務機器人等。麥肯錫報告認爲，到2030年全球約有4億工作崗位被自動化機器人替代。

由此也可以看見Covariant的隱憂，即使擁有再厲害的“大腦”，也需考慮身體的研發。有分析表示，當前Covariant與大客戶的直接合作需要和KNAPP這類機械臂廠商裝上AI大腦，但KNAPP本身也是有高度自動化機械的解決方案提供者，若受限于軟件端，做二級供應商，則對商業議價有一定影響。此外，初創階段的Covariant渠道難敵已有物流機器人公司的亞馬遜。

在2021年OpenAI解散機器人團隊時，Zaremba補充：“如果我們是一家機器人公司，我們會繼續下去。我非常相信機器人團隊的方法和方向，但從實現的目標來看，我們還缺少一些組件。”他們暗示了投入回報率偏低的機器人業務在市場不具利好。

但這與Covariant不可同日而語，那時OpenAI他們的成品沒有實地數據的收集，也沒有商業化落地。陳曦設想，未來人工智能將成爲機器人應用爆炸式增長的催化劑。單一的基礎模型（通用人工智能平台）可以支撐機器人跨地域、任務工作，使其智能、自主地執行任務，與狹義人工智能不同，它只能按預定義方式尋找模式，通用人工智能的開發意味著能處理環境中的異常情況。

陳曦希望，未來Covariant能爲數以百萬計、數以千萬計、數以億計甚至數十億的機器人提供大腦，“它不僅是單一的機器人應用，也不僅僅是硬件。”