UC Berkeley Ken Goldberg 传授：具身数据范围掉队十万年，你仍旧信赖数据全能吗？| ICRA 2026 雷峰网(公家号：雷峰网)讯 数以十亿计的资金涌入具身智能行业，与此同时，这些呆板人真正完成的有用事情却寥寥可数。落地压力的逼近之下，VLA 等无模子方案及传统 Model-Based 线路之间的不合是云云强烈，以至在某种水平上，甚至带上了意识形态的色采。

这成了本届国际呆板人与主动化集会（ICRA）现场最惹人存眷的话题。于集会第二天，UC Berkeley 传授 Ken Goldberg 发表了题为《Can GOFE and Code-as-Policy Close the 100,000-Year “Data Gap” in Robot Manipulation?》的演讲，发表了他对于具身数据收罗、数据飞轮、GAP 体系，以和有关具身落地种种的见解。雷峰网·AI科技评论于现场发还报导。

已往几年，跟着 ChatGPT、视觉语言动作模子（VLA）及人形呆板人热潮鼓起，依赖海量数据、深度进修及年夜模子驱动的 Model-Free 线路险些成为行业主旋律，人们无比信赖 Scaling Law 将再次带咱们抵达具身智能的 GPT 时刻，以致真实的通用呆板人。

对于此，Ken Goldberg 提出了魂灵之问：何时？

“假如根据人类平均浏览速率计较，浏览完今天练习年夜型语言模子所利用的全数数据，约莫需要10万年。而换算到呆板人范畴，咱们今朝堆集的数据总量，年夜概只相称在几年的范围。”

具身智能数据鸿沟的抽象会商暗地里，是一组可骇的对于比数据。Ken Goldberg 信赖，这已经经充足成为咱们对于“数据全能论”连结警惕的充实理由。而海量数据的背面是工程，于一条更靠得住的具身落地路径上，工程架构、模块设计及物理建模仍旧不成替换。

于演讲中，Ken Goldberg 回首了本身团队闻名的 Dex-Net 项目。从使用几率模子评估抓取乐成率，到构建年夜范围仿真数据集，再到练习神经收集完成真实世界抓取，这个近十年前的测验考试对于在今天的具身智能仍有启迪，那就是数据与工程要领的深度联合，效果远胜纯真的数据堆砌。当下对于数据飞轮的会商一样可以纳入这一框架，年夜范围贸易部署，起首存眷的一定是让呆板人做出有效的工作，这离不开对于工程层面的存眷。

数据还有是工程？对于在这个困扰行业已经久的问题，Ken Goldberg 认为谜底也许不是二选一。当前炙手可热的 VLA 模子拥有惊人的泛化潜力，却轻易于情况发生细微变化时掉效。传统工程体系虽然缺少通用性，但靠得住性见长的特色却让两者看起来像是天作之合。

让年夜语言模子不直接节制呆板人，而是天生可注释、可验证的计较图，再由多个智能体协同构建及优化体系。这就是 Ken Goldberg 于仿真、世界模子、遥操作以外，提出的一种全新交融思绪。

如下是 Ken Goldberg 于 ICRA 2026 年夜会发表的演讲精编稿，AI 科技评论基在原英文演讲内容举行了不改原意的翻译编纂：

《Can GOFE and Code-as-Policy Close the 100,000-Year “Data Gap” in Robot Manipulation?》

主讲人：Ken Goldberg, UC Berkeley

01

今天我想讲的是“两种文化的故事”。

年夜概7岁的时辰，我常常熬夜看《Jetsons》。有些人可能还有记患上，那是一部很棒的动画片。内里有一个呆板人，她会做所有家务，然后陪孩子们玩。我其时感觉太棒了，从小我就一直想拥有如许的呆板人。事实上，我父亲及我真的一路造过一个呆板人。那是给他的铬电镀公司做的，一个呆板人吊运机。它实在从来没有真正乐成运行过，不外说真话，咱们其时做的许多工具都没乐成。

正如 Alex 提到的那样，我小时辰同时对于科学及艺术感兴致。跟着春秋增加，我愈来愈意想到这二者之间存于着一道鸿沟。这让我想起 C. P. Snow 所描写的“两种文化”——科学家及艺术家对待世界的方式大相径庭。

厥后我去了卡内基梅隆年夜学，投入到了科学研究中，专注在解决问题。我至今仍旧记患上某个时刻，当所有工作忽然串联起来时的觉得。那种觉得真的很奇奥，恍如宇宙中有某种气力于鞭策这一切发生。与此同时，晚上我还有会偷偷于试验室里用呆板人创作艺术作品。我的导师 Matt Mason 厥后发明了这件事，由于我把油漆洒于了地板上，以是不能不认可本身于干甚么。

成果他说：“好吧，继承做下去。”他很是撑持我。这件事让我很是开心。

几年后，咱们完成为了一个叫做 Telegarden 的项目。于互联网成长的初期阶段，咱们把呆板人接入收集，人们可以于线操控呆板人来照料花圃。再厥后，我及 Katie Kuan 互助完成为了一个项目。她卒业在斯坦福年夜学呆板人学博士项目，同时也是一名职业舞者。咱们一路做了一场跳舞演出，固然舞蹈的不是我，而是一台小呆板人。可以说，我一直试图于科学与艺术这两种文化之间搭建桥梁。

但正如 Alex 所说，还有有别的两种文化，是我厥后逐渐研究其实不断思索的：呆板人学内部的文化，以和呆板人学外部的文化。有人曾经恶作剧说，一台呆板人叫 Robotics（呆板人学），十台月球呆板人就是 Roger Biller 说的 Automation（主动化）。

我曾经介入开办《IEEE Transactions on Automation Science and Engineering》，它是《IEEE Transactions on Robotics》的增补。如今这两个期刊都成长患上很好。此刻咱们还有有一个新的构造叫做 CASER，这是 Jim Hutchinson 定名的委员会，目的是摸索主动化与呆板人之间的协同效应。这个事情至今仍于继承，他们周四也有集会。

好了，说到“两种文化”，今天我真正想会商的是别的一组文化。这是我于 ICRA 社区中看到的两种文化：一种是 Model-Based（基在模子），另外一种是 Model-Free（无模子）。

我认为前者可以追溯到牛顿时代。这是咱们于年夜学里进修了好久，而且今天依然于传授的内容。它组成了呆板人操作（manipulation）的焦点基础，也支撑着诸如《Algorithmic Foundations of Robotics》等集会及年夜量学术结果。

然而到了2012年，环境发生了变化。以深度进修为代表的 Model-Free 要领取患了庞大冲破。最早是深度进修，然后是 Transformer，再厥后是 Diffusion Model。到了2021年，人们又最先从头会商人形呆板人。

各人可能还有记患上，第一款“人形呆板人”就是于 Tesla AI Day 上发布的。固然，它并无真正骗过任何人。不外 Elon Musk 其时承诺：“将来 Tesla Bot 会来到这里。”那是2021年。

这件事吸引了年夜量存眷。随后到了2022年末，咱们迎来了 ChatGPT 时刻。那天早上醒来时，咱们忽然意想到，图灵测试或许没有被正式公布解决，但它现实上已经经被经由过程了。

接下来发生了一系列庞大进展。到了2023年，VLA（Vision-Language-Action）模子迅速呈现。一样的思惟被扩大到了呆板人范畴，摄像头及传感器作为输入，中间是一个年夜型神经收集，输出则是呆板人动作，这是一个端到端体系。

我认为这真正催生了两种文化。很多人对于右侧这条线路——Model-Free、VLA 线路——布满热忱。假如我此刻做个现场投票，我信赖会有年夜量听众撑持这一标的目的。以是我想借今天的时间，轻微深切会商一下这个问题。

起首从呆板人数据鸿沟最先。必需认可，自2025年以来，这个范畴的成长势头愈来愈强。Jensen Huang 曾经站于舞台上展示年夜量人形呆板人。本年他更进一步，不仅展示人形呆板人，还有展示各类呆板装备。他提出了“Physical Intelligence（物理智能）”及“Physical AI（物理人工智能）”的观点，并暗示这将是一个价值50万亿美元的市场。这险些相称在全世界劳动力成本的一半。

是以年夜量本钱正于涌入。所有人都于问，呆板人范畴何时会迎来属在本身的 ChatGPT 时刻？许多人的回覆是，年夜数据解决了视觉问题，年夜数据解决了语言问题，是以，年夜数据也会解决呆板人问题。对于此我基本赞成。

但我真正想问的问题是，这件事何时会发生？我知道它终将发生，但我不知道详细时间。

视觉素质上是二维状况空间，语言可以看做一维 Token 序列，而呆板人体系的状况空间维度极高。假如会商一小我私家形呆板人，仅仅是一双25自由度的手，加之手臂，很快就到达50维以上。与此同时，咱们还有没有像互联网那样的年夜范围呆板人练习数据。那末这个类比毕竟怎样建立？

是以咱们做了一项阐发，部门基在 Michael Black 的事情。成果发明，呆板人范畴拥有的数据量极为微小。与年夜语言模子比拟，险些眇乎小哉。在是咱们提出了“呆板人数据鸿沟”这个观点。

假如根据人类平均浏览速率计较，浏览完今天练习年夜型语言模子所利用的全数数据，约莫需要10万年。而换算到呆板人范畴，咱们今朝堆集的数据总量，年夜概只相称在几年的范围。这就是巨年夜的差距。

固然，也有人会说，数据就是一切。但我想对于此提出一点质疑。以 Waymo 及 Tesla 为例。Tesla 持久堆集的数据量约莫到达90亿英里驾驶数据。大略预计，比 Waymo 多出约50倍。详细数字可能略有误差，但数目级就是云云。然而于离开接受率（disengagement）等指标上，Waymo 的体现往往更好。

固然，你可以说这与激光雷达有关。但我想借此提出一个问题：数据真的是独一需要的工具吗？我及 Waymo 的伴侣聊过这个问题。他们告诉我：“是的，咱们利用了年夜量数据练习车辆，但体系内部仍旧包罗年夜量传统工程技能。”

所谓传统工程技能，象征着体系由很多模块构成。这些模块利用卡尔曼滤波器、优化器以和各类数学模子。它们被组合起来，配合完成使命。模块化体系具备明确接口，可以组合、阐发及验证，这与端到端 VLA 体系形成为了光鲜对于比。

这恰是我所说的“两种文化”，一边是基在模子的要领，另外一边是无模子要领。

许多人实在同时属在这两个阵营，好比我本人。我是 Open X-Embodiment 那篇论文的配合作者之一，那篇论文有150位作者介入。假如你去看那篇论文，它提出了一个很是主要的不雅点：经由过程于16万个差别使命长进行练习，模子正于走向通用性（generality）。

但我对于此有一点疑难。假如你对于这些使命做一个统计阐发，看看用在描写使命的语言漫衍，会发明最多见的词是“pick（抓取）”、“move（挪动）”、“push（鞭策）”。这些词呈现的频率远远高在其他词。换句话说，这16万个使命中的绝年夜部门，实在终极均可以归结为一个很是简朴的使命，把物体0拿起来，放到物体1上。而有趣的是，这恰是 John Craig 呆板人学教材第三章讲的内容。

那本书写在 VLA 呈现以前许多年，它给出了年夜量经典工程要领来解决这个使命。只要你有一个视觉模块找到方针，有一个抓取模块，有一个运动计划模块，然后整个体系就能完成使命。以是我想说的是，我很是喜欢这些 VLA 体系。它们很是有趣，也很是使人高兴。但许多时辰，传统工程要领依然可以或许把事情完成患上很好。

再回到这两种文化。坦率地说，二者之间存于某种紧张瓜葛，甚至带有一点意识形态色采，有些人坚定站于某一边。我想轻微深切会商一下。

接下来说一个关在 Covariant Robotics 的故事。现实上，于已往45年里，我一直于研究统一个问题，呆板人怎样抓取物体。有人说这是由于我小时辰尤其笨手笨脚，这是我母亲的理论。但不管怎样，人类于抓取方面确凿极为擅长。

到了2012年，深度进修革命最先了。正如各人都知道的，海量数据、强盛的计较能力、新的练习算法……其时我及 Shankar Sastry、Pieter Abbeel 以和几位研究生一路开设了一门呆板人操作课程。课程内容基本还有是传统呆板人学教材里的经典工程要领，但与此同时，咱们也于存眷计较机视觉范畴发生的工作，特别是于图象分类及标注方面取患上的巨猛进展。

这些结果很年夜水平上来历在 ImageNet。Fei-Fei Li 体系性地网络了海量标注图象数据，在是咱们最先思索，能不克不及把一样的思绪用在抓取问题？

是以咱们启动了 Dex-Net 项目。为了向 Fei-Fei Li 致敬，咱们也但愿成立一个年夜型数据集。不外不是图象标注数据。而是三维物体模子，以和针对于这些物体的年夜量抓取方案。

幸运的是，我的博士生 Jeff Mahler 对于这个项目很是投入。他最先从互联网遍地网络三维模子，很多学生也插手进来。他们清算模子、同一格局、构建数据库。一个典型的 CAD 模子可能包罗上千个三角面片。对于在平行夹爪而言，一次抓取对于应两个接触点，也就是两个面片。是以一个物体可能对于应数百万种抓取方式。

接下来咱们思索，怎样建模抓取历程中的不确定性？咱们成立了一个几率图模子，把所有变量都看做随机变量，它们之间存于前提几率瓜葛。终极咱们体贴的问题是，某一次抓取乐成的几率是几多？

举个例子。对于在某个标称抓取姿态，咱们知道实际中必然存于偏差。咱们不知道真实接触点于哪里，由于物体位姿有偏差，夹爪位姿有偏差，物体外形有偏差，质心位置也有偏差。是以咱们从这些几率漫衍中不停采样，统计乐成及掉败次数，然后使用蒙特卡洛积分计较乐成几率。

成果如图所示：左侧阿谁抓取乐成率约为22%，右侧阿谁抓取乐成率约为92%。

这实在很是切合直觉。左侧的抓取很是懦弱，一点点偏差就会掉败，右侧则具备自校订能力，纵然存于偏差，依然可以或许乐成。这才是实际中真正想要的鲁棒抓取。

接下来咱们存眷感知问题。咱们决议利用深度传感器，由于咱们体贴的是物体的三维几何外形，而不是颜色或者纹理。深度信息对于此很是有帮忙，但深度传感器自己噪声很年夜。假如各人利用过，就会知道，特别面临反光外貌或者透明物体时，噪声会很是较着。

咱们成立了一个传感器噪声模子。咱们知道物体的三维 CAD 模子，在是模仿深度相机不雅察该物体时的成果，并插手噪声，如许咱们获得一个不雅测值 y。它切合真实传感器的统计特征，然后把这个不雅测值与详细抓取动作及乐成几率对于应起来，如许就获得一个练习样本。接着使用云计较平台年夜范围天生数据。咱们拥有约15000个物体模子，对于数百万个抓取方案举行评估，终极得到一个巨年夜数据集。此中既包罗年夜量乐成样本，也包罗年夜量掉败样本。

然后咱们练习神经收集。其时这是一个很是年夜的收集，参数范围靠近十亿级。练习终极收敛，于保留测试集上体现优良。换句话说，给它一张带噪声的深度图象，再给定一个抓取姿态，它可以或许猜测抓取乐成几率，并且泛化能力很好。

接下来咱们把它用在真实节制。流程是先输入一个混乱堆放物体的料箱图象，天生年夜量候选抓取，使用神经收集快速评估每一个抓取的乐成几率，然后选择乐成率最高的方案履行。

这就是2017至2018年摆布的 Dex-Net 体系。左侧展示的是吸盘抓取器，右侧展示的是平行夹爪。假如细心不雅察会发明，它其实不是每一次都乐成，但乐成率已经经高患上惊人，于其时属在世界领先程度。咱们常常找来数百个练习集中从未呈现过的物体，这些工具来自家里、车库、各类处所，体系依然可以或许不变清空整个料箱。

厥后这项事情得到了不少存眷，甚至引起 Jeff Bezos 的兴致。其时他是 Amazon 的 CEO，他约请咱们到现场展示体系。所有做呆板人研究的人都知道，试验室里的呆板人能运行是一回事，把它运到另外处所演示是另外一回事，这很是让人紧张。咱们必需把整套体系打包运输，而此前它从未脱离过试验室。

咱们担忧无数问题，运输毁坏、灯光变化、情况变化，还有有各类不成预感环境。但幸运的是，一切竟然正常事情。咱们带去了三箱测试物体，Jeff Bezos 来到现场，最先亲自玩弄那些物体。

一最先体系体现患上很是好，直到呈现一个不测。他的助手 Ty Brady 脱下本身的鞋，走上前说，能尝尝抓我的鞋吗？我要告诉各人，其时咱们从来没有效鞋测试过，从来没有。

其时我整小我私家都僵住了，但还有能怎么办呢？在是他说，来吧，然后把鞋扔进料箱。我屏住呼吸，由于 Jeff Bezos 就站于那里。呆板人伸脱手臂，缓缓挪动已往，夹住那只鞋，乐成抓起。

我可以率直说，那一刻多是我人生中最夸姣的时刻之一。

高压演示情况下，一切竟然乐成了。第二天，咱们遭到巨年夜鼓动。Jeff Mahler 及别的三位行将卒业的学生一路开办了公司，我也是结合开创人之一，这家公司厥后成长成为 Ambi Robotics。

Ambi Robotics 的成长是一段漫长的路程，咱们连续构建及扩大整个体系，而就于这个历程中，新冠疫情发作了。幸运的是，咱们其时研究的问题——包裹分拣——被认定为要害基础举措措施营业，是以咱们获准继承开展研发事情。厥后咱们开发出了一套体系，叫做 AmbiSort。

AmbiSort 的焦点思惟依然来自 Dex-Net。它从料箱中抓取物体，只不外这里的物体再也不是零件，而是包裹。各人可以想象这个问题有多繁杂，体系起首获取深度图象，然后工业呆板人伸出机械臂抓取包裹，接着扫描包裹上的邮编信息。末了按照目的地，把包裹放入对于应的分拣箱。

这是咱们最早的一段演示视频。其时咱们的愿景是，把如许的体系部署到天下各地的物流中央，由于这是险些所有物流配送中央城市碰到的问题。很兴奋的是，咱们厥后真的做到了。

如今体系已经经部署于美国各地。咱们与重要物流公司互助，他们利用 AmbiSort 体系完成主动化分拣。

这时候你可能会说，等等，你适才不是于质疑数据至上吗？Dex-Net 不就是一个依赖年夜量数据练习出来的体系吗？

是的，这里确凿用了年夜量数据。但我要夸大的是，仅靠数据远远不敷。真正让体系运行起来的是数据 + 传统工程，年夜量工程设计、年夜量模块化体系、年夜量过细调试。

此中一个要害模块就是运动计划，由于呆板人夹爪及手段布局较年夜，它必需于很是狭小的空间中完成繁杂运动。特别是于料箱愈来愈深的时辰，运动计划变患上极为坚苦。

各人都知道运动计划是呆板人学里的经典问题。但当你要求它于极短期内完成，并且情况很是拥堵时，问题就变患上十分棘手。厥后 Jeff Mahler 及 Jackie 提出一个很是智慧的设法，使用神经收集为运动计划提供 Warm Start。先用神经收集猜测一个好的初始解，然后再举行计划，成果效果很是好，计划时间显著降落。随后又有另外一批博士生开办了新公司 Jacobi Robotics，他们专门开发运动计划软件，此刻已经做生意业化运营。

接下来我想回到“两种文化”的会商。由于我知道，许多人现在可能于想，这小我私家有点老派，他是否是不相识《The Bitter Lesson》？

实在我很是相识《The Bitter Lesson》，我也彻底认同它。它的焦点不雅点是，持久来看，计较能力终极会胜出。我其实不是于否定这一点，我的问题始终只有一个，何时？这才是我整场演讲真正想会商的问题。

由于实际摆于这里，呆板人范畴与年夜语言模子之间仍旧存于五个数目级的数据差距。这就是咱们面临的实际。那末数据从哪里来？咱们如何得到充足的数据？

今朝重要有几条路径。第一条路径是仿真，这对于在无人机来讲效果很是好。你可以于仿真中练习，然后迁徙到实际世界。仿真与实际之间的差距很是小，甚至已经经可以或许击败世界级无人机竞速冠军。对于在运动节制（Locomotion）也是云云。例如呆板狗，今天各人看到的年夜量结果，都是于仿真情况中练习出来，然后乐成迁徙到真实世界的。对于在全身运动节制而言，仿真到实际的差距相对于较小，是以咱们也看到了使人赞叹的结果。

但于操作（Manipulation）范畴环境彻底差别，这里的仿真与实际差距很是年夜。缘故原由许多，包括接触力连续变化，磨擦连续变化，物领会发生形变。特别于人类办事场景中，年夜量物体都是可变形的，而操作自己又轻易遭到微小碰撞影响。是以常常会呈现的环境是，仿真里体现完善，实际中彻底掉效。这就是操作范畴面对的巨年夜挑战。

另外一条路径是世界模子，已往一年各人都于会商它。例如 Cosmos 如许的体系，它们使用海量视频举行练习。视频数据确凿许多，互联网拥有富厚的视频资源。但问题于在，世界模子常常呈现幻觉。例如呆板人抓取使命中，模子有时会平空天生第三根手指，或者者创造底子不存于的布局，这类环境其实不少见。

从视觉效果上看，世界模子好像合理，但现实上其实不理解物理世界。固然，我知道许多人于研究这个标的目的。将来或许会解决，但今朝还有没有。

第三条路径是人类遥操作。许多团队都于让人类直接操控呆板人，如许可以得到高质量演示数据，如今已经经形成一个重大的财产。但坦率地说，我其实不感觉这是使人神驰的事情。成天坐于那里遥操作呆板人，我的学生们其实不喜欢做这件事。并且问题依然存于，如许毕竟能网络几多数据？

在是我想提出第四条路径。会商相对于较少，但我认为很是主要，那就是真实出产情况，让呆板人真正投入事情，然后从事情历程中网络数据。

以 Ambi Robotics 为例，去年咱们的体系累计分拣包裹冲破1亿件。这象征着甚么？象征着咱们记载了近1亿次抓取操作。体系会生存每一一次乐成及掉败，咱们拥有同一监控平台，监控所有部署体系，举行猜测性维护，发明拥塞、妨碍、异样。与此同时，也于连续堆集数据。截至今朝，咱们累计得到了约22年的呆板人运行数据。留意，这22年不是天然时间，而是所有呆板人事情时间累加后的总量。

这些数据是于已往4年里堆集出来的，但即便云云，22年纪据依然不算多，由于公司范围还有不敷年夜。咱们甚至没有充足预算行止理全数数据，在是咱们拔取了一小部门数据举行试验，练习通用抓取模子，然后测试一种全新场景，抓取物流袋。

这与 Dex-Net 期间彻底差别。袋子高度可变形，布满褶皱，而 Dex-Net 原本练习的是刚体物体。成果咱们发明，真实出产数据练习出来的模子效果极好，远远优在原有数据集。

在是咱们提出一个观点，Data Flywheel（数据飞轮）。先让体系投入运行，得到数据，使用数据晋升机能，机能晋升后卖出更多体系，部署更多呆板人，网络更大都据，再进一步晋升机能，形成正反馈轮回。

厥后我及 Leslie Kaelbling 会商这个问题。她指出，假如体系连续增加，实在已经经不单单是飞轮，更像是一种指数增加历程。以是我此刻更愿意称之为Data Avalanche（数据雪崩）。我认为，这才是呆板人获取年夜范围数据的焦点路径。

接下来我要讲的是近来六个月一直于思索的新内容，就从“通用呆板人（General Robotics）”最先。这是此刻最热点的话题之一，Jensen Huang 于谈，Elon Musk 于谈，年夜量公司都于谈。焦点方针是构建一个可以或许顺应所有场景的通用呆板人模子，这个愿景很是吸惹人。

但一个月前，Dyna 开创人 Yu Gang 发了一篇颇有意思的文章，我建议各人去看看。他指出，通用呆板人公司已经经融资数十亿美元，跨越140家公司得到投资，估值极高。但若看真正完成的有用事情量，险些可以纰漏不计。这申明甚么？申明还有有一个问题没有解决，那就是专家体系（Specialist）与通才体系（Generalist）之间的抵牾。

通用呆板人但愿自上而下解决问题，而专家体系则是一次解决一个详细问题，慢慢扩大能力。有趣的是，假如你想经由过程真实出产情况得到数据，那末出产情况自然更靠近专家体系。由于实际中的事情往往不是无穷开放的，而是带有必然布局及反复性的。例如咖啡呆板人，天天都于做咖啡，定单差别，杯子位置差别，但整体流程相似。再例如物流分拣，天天都于分包裹，包裹差别，但使命素质不异。我把这类环境称为 Variational Automation（变体主动化）。不是固定主动化，也不是彻底通用智能，而是于统一个使命中处置惩罚各类变化，我认为这长短常主要的中间层。

我一直于用这个视角从头思索最近几年来提出的各类 VLA 基准测试（Benchmark）。例如经典的使命：把桌上的物体拿起来，放进篮子里。假如换一个角度来看，咱们彻底可以把它理解成，于超市堆栈里完成定单拣选。定单不停到来，呆板人需要从货架上找到对于应商品并放入定单篮中，这素质上仍旧是统一个问题。

并且，这种问题实在已经经可以经由过程传统工程要领解决，传统工程要领已经经存于许多年了。咱们来比力一下两种线路，对于在传统工程方案，人类工程师手工设计体系，每一个场景零丁开发，通用性较差，并且需要年夜量体系集成事情。但它已经经可以投入出产，可注释性强，靠得住性高。今天工业主动化范畴年夜部门体系都是如许事情的。

而另外一边是 VLA，它代表了一种彻底差别的愿景，但愿构建一个高度通用的体系，像年夜语言模子同样，统一个模子完成各类使命。但今朝它还有没有真正成熟，它不成注释，咱们没法清晰知道体系为何做出某个决议计划。更主要的是，它是否充足靠得住？是否靠得住到可以或许真正投入出产？这恰是两种文化冲突的焦点。

我其实不是想挑起对于立。偏偏相反，我想寻觅一种交融方式。于此以前，咱们先看看今朝 VLA 面对的问题。

去年秋日发布的 LIBERO-Pro Benchmark 做了一项有趣试验。某个 VLA 模子于尺度测试情况中到达100%乐成率，但若只是把易拉罐挪动几厘米，乐成率马上降落到17%摆布。近似征象于很多使命中都呈现了。也就是说，当情况变化轻微凌驾练习漫衍时，模子机能会迅速瓦解。斯坦福、DeepMind 及布里斯托年夜学近来的一篇论文也指出，当前模子实在并无各人想象中那末通用，只要变化凌驾很是有限的规模，体系就会掉效。

那末怎么办？这里我认为，两种文化也许终究有时机真正联合起来。我一直于思索，有无一种要领可以或许把它们同一起来，而不是让双方继承对于立，在是我最先存眷 Agentic Coding。

实在早于2023年就有人提出了 Code as Policies。焦点思惟是，使用年夜语言模子天生呆板人节制代码，输入使命描写，模子主动编写步伐，履行使命。很多团队都于摸索这一标的目的。有趣的是，它提供了一种全新的范式。由于这里仍旧利用天生式 AI，使用预练习年夜语言模子，不需要分外呆板人数据，并且输出的是代码，是以具备可注释性，你可以查抄，可以阐发，可以验证。

在是咱们最先研究这类要领。本年炎天咱们将于 ICML 发表一篇论文，项目名叫 CAP-X。咱们成立了一整套测试框架，使用现有呆板人 Benchmark 体系评估 Agentic Coding。最初，咱们实现了一个简朴 Agent，输入英文使命描写，Agent 主动天生代码，然后履行，成果约莫到达32%的乐成率，远低在人工编程程度。随后咱们插手强化进修，让体系于掉败后主动修改代码，不停迭代，成果机能显著提高，于特定 Benchmark 上乐成率到达80%以上，已经经较着优在很多 VLA 体系。

但真正让我高兴的是另外一件事，那就是已往半年迅速鼓起的多智能系统统。自去年12月以来，这个标的目的险些发作式增加。Copilot、Cursor、Claude Code、OpenAI Codex、NVIDIA Nemo 等各类体系不停呈现，整个范畴成长很是快。不外多智能系统统有一个问题，它们很难治理年夜型代码库，而呆板人体系偏偏拥有极为繁杂的软件布局。

在是咱们最先从头思索。我的学生 Eric Chen 提出，为何不测验考试用 Rust 重写部门体系？由于 Rust 的类型体系及布局化特性很是合适治理繁杂步伐。厥后咱们意想到，等等，呆板人范畴实在早就拥有一种成熟的布局，那就是图（Graph）。

呆板人原来就于利用各类计较图，举动树（Behavior Tree）、ROS 节点图、使命图、运动计划图。这些工具已经经存于许多年。在是咱们孕育发生了一个设法，既然 Code as Policies 可以天生代码，为何不克不及天生图？在是咱们提出Graph as Policies（GAP）。焦点思惟是，不是让 Agent 直接天生代码，而是天生计较图。图布局自然具备许多上风，可以分化，可以组合，可以验证，可以扩大。一个节点卖力感知，一个节点卖力抓取，一个节点卖力运动计划，另外一个节点卖力使命治理。然后多个 Agent 别离卖力差别节点，相互协作，验证输入输出接口，查抄约束前提，确保整个体系可以或许准确组装。如许就形成为了一个年夜型图布局，例如感知子图、运动计划子图、抓取子图、履行子图等等。

接下来咱们正式界说问题。咱们存眷的是 Variational Automation Task，其输入包括使命语言描写、情况信息、呆板人配置、传感器配置、方针物体调集、状况空间、信念空间（Belief Space）和奖励函数。输出则是一个计较图，图由节点及边组成，这个图终极成为呆板人履行计谋。

整个体系架构以下，咱们设计了一个称为 Harness 的框架。之以是叫 Harness（缰绳），是由于你必需有措施节制这些强盛的 Agent，不然它们会处处乱跑。Harness 卖力吸收情况几何信息、使命界说、天然语言描写，然后使用年夜语言模子把使命拆解，构建初始计较图，接着按照详细情况实例化参数，然落伍入自我进修轮回，不停履行，不停评估，不停修改图布局。

Agent 尤其擅长这类迭代优化历程。终极获得体现最佳的图，然后部署到真实呆板人上。部署阶段再也不需要重大 GPU，只需要轻量级履行器便可运行。换句话说，练习阶段繁杂，履行阶段高效。

接下来咱们测试了8个 Variational Automation Benchmark，此中部门来自 LIBERO，部门来自真实工业场景。下面看看成果。

第一个使命叫 Make Popcorn。呆板人需要把平底锅放到炉灶上，完成爆米花建造流程。GAP 终极到达98%乐成率，并且可以或许经由过程自我进修不停晋升机能。随后咱们把它部署到真实呆板人平台，利用 Franka 机械臂，甚至真的利用 Jiffy Pop 爆米花，体系乐成完成使命。

接着咱们与 Bosch 互助，研究一个工业装置使命。呆板人需要把工件准确放入料框，存于年夜量位置及姿态变化。今朝 GAP 乐成率已经经到达95%。作为对于比，人工工程师设计的体系乐成率约99%，二者已经经很是靠近。

然后是数据中央使命，呆板人需要插拔网线，这是一个很坚苦的问题。使用 GAP，咱们到达100%乐成率，并且只利用机械臂自带力传感器，没有分外硬件。

接下往返到适才提到的超市定单使命。VLA 模子 OpenVLA 0.5 的乐成率约为20%，而 GAP 于统一 Benchmark 上到达97%，并且是于年夜量商品种类及情况变化前提下实现的。咱们还有测试了真实场景，成果一样很是不变。由于一旦图布局天生完成，体系就具备自然泛化能力，转变相机位置或者者转变方针物体位置，体系仍旧可以或许正常事情。

随后咱们测试 Pack Order 使命，方针是把肆意物体装入箱子，不需要辨认详细种别，只需要准确装箱。这个问题有点近似 Dex-Net，成果一样很是靠得住。

不外最使我高兴的试验是下面这个。咱们把 OpenVLA 0.5 及 GAP 联合起来。怎么联合？很简朴。先让 GAP 卖力把相机及夹爪挪动到抱负位置，让方针物体处在最好不雅察状况，然后再挪用 VLA。成果发生了甚么？乐成率险些翻倍甚至三倍晋升。由于 GAP 把问题限定于了 VLA 最擅长的漫衍规模内。这让我意想到，将来真正有远景的标的目的或许不是二选一，而是交融。GAP 可以帮忙体系不变事情，同时不停网络真实数据，这些数据又可以用在练习将来更强盛的 Model-Free 模子。以是我其实不是说谜底已经经确定，我只是认为，这多是一条值患上摸索的门路。

以上就是我今天想分享的内容。回到最最先的话题。两种文化，Model-Based，Model-Free。或许咱们终究来到一个时刻，它们最先真正交融。而这让我感应很是高兴。谢谢各人。

02

发问：我想问一下，您是否思量过利用 Stellar Laser，以和行将呈现的 Java 架构？是否研究过或者者思量过它们？

Ken Goldberg：这是个很好的问题。事实上咱们已经经最先存眷这些标的目的。只是因为时间节点比力紧，今朝还有没有真正做出来。但咱们必定会继承研究。我认为咱们此刻真的只是方才最先，还有有年夜量开放问题等候解决。以是假如你感兴致，我鼓动勉励你去测验考试。这恰是让我高兴之处。我感觉将来几年咱们城市连续研究这些问题。谢谢。

发问：您怎么对待验证（Verification）问题？此刻天生年夜量代码已经经变患上很是轻易，纵然是于传统软件开发中，咱们也很难验证天生的代码是否真的完成为了所有预期功效。那末将来咱们是否是也需要用 Agent 来主动完成验证？还有是说必需采用其他更严酷的要领？

Ken Goldberg：这是一个很是主要的问题。事实上，我已经经摆设了一次集会。等此次年夜会竣事后，我会及一个专门研究代码验证（Code Verification）的团队会商互助。咱们规划把代码验证机制整合到体系中。今朝有些工作是比力轻易做到的。例如查抄代码是否可以或许乐成编译、主动修复编译过错、验证图布局是否切合规范、查抄各个模块之间的毗连是否准确。这些都已经经可以实现。

但您说患上对于，更深层的问题是，怎样验证体系于所有环境下都能准确事情？于咱们的框架里，今朝采用的要领之一是于内部仿真情况中重复测试。体系会不停测验考试各类环境。而此中一个很是有趣的成长标的目的是让 Agent 本身提出测试案例，尤其是那些边沿环境（Edge Cases）。也就是说，Agent 不只是解决问题，还有自动设计最坚苦的测试来挑战本身。

我认为多智能系统统具有这类能力，或者者至少正于朝这个标的目的成长。体系可以或许愈来愈严酷地测试本身，不停发明潜于问题，然后连续改良。进一步说，假如这类能力可以或许迁徙到真实世界，就更成心思了。想象一下，呆板人可以或许主动重置情况，主动设计试验，主动履行试验，主动阐发成果，然后再优化本身。这具备巨年夜的潜力。今朝已经经有人于研究近似标的目的。是以我对于此很是期待。

发问：我很好奇您怎样对待另外一个趋向。最近几年来愈来愈多人最先研究机械智能（Mechanical Intelligence）及智能布局（Intelligent Structures），经由过程布局自己顺应情况的不确定性。您认为这一标的目的于您所说的“两种文化交融”中处在甚么位置？它对于在缩小呆板人数据鸿沟又能阐扬甚么作用？

Ken Goldberg：这是个很是好的问题。此中一个思绪是，使用 VLM（视觉语言模子）或者者 LLM（年夜语言模子）来设计布局及机构，事实上已经经有不少人于测验考试如许做。

我不确定本年年夜会上是否已经经有相干论文，但确凿已经经呈现了一些开端结果。例如让模子主动设计特定使命对于应的机械布局，主动设计机构甚至主动设计呆板人本体。这有点近似在今天咱们看到的卵白质设计，或者者其他天生式设计使命，今朝已经经揭示出必然潜力。

我认为这是一个很是开放、很是值患上摸索的研究标的目的。同时，这也与您适才提到的数据问题直接相干。由于我一直夸大，咱们的方针其实不是一步到位得到通用呆板人，而是先让呆板人充足好，好到有人愿意采办它，把它部署到咖啡馆，部署到堆栈，部署到工场，最先创造价值，然后网络数据，使用这些数据不停晋升体系能力。从这个角度来看，机械智能及布局设计一样可以或许帮忙呆板人更快进入出产情况，进而加快数据堆集。这恰是我但愿看到的成长路径。

发问：我一直感觉 VLA 最年夜的弱点之一于在缺少对于物理世界的理解。而您提出的 Graph as Policies 看起来好像依靠 LLM 编程 Agent。那末您认为这些 LLM 编程 Agent 是否真正拥有物理世界常识？这些图布局是否真的理解物理纪律及世界运行方式？

Ken Goldberg：这是一个很是有趣的问题，并且是一个很是深刻的问题。诚实说，我不知道。这实在及关在 LLM 的经典争辩同样，它们真的理解了吗？哲学家们至今还有于争辩这个问题。不外有一点颇有意思，纵然它们没有真正理解，它们好像也很是擅长“体现患上像理解了同样”。换句话说，我认为它们未必以人类的方式理解世界，这一点我感觉已经经很较着了。但与此同时，它们确凿拥有某种关在情况的表征能力。尤其是当你不雅察这些 Agent 编程时，假如于座有人利用过这些体系，应该会有一样感触感染，你会惊奇在它们测验考试解决问题的方式。

我记患上有一个团队分享过他们的试验。他们的 Agent 于完成抓取使命时卡住了，在是它主动上彀搜刮相干资料，下载了几篇呆板人抓取论文，浏览这些论文，然后按照论文中的要领从头设计抓取计谋，终极乐成解决了问题。这长短常不成思议的工作，体系可以或许自立完成这一系列历程，那末这是否象征着它真正理解了？咱们彻底可以找个酒吧，一边饮酒一边会商几个小时。但对于我来讲，更主要的问题是，它是否可以或许做出有效的工作？于这一点上，我比自互联网降生以来任何一次技能海潮都越发高兴。真的云云，我认为这项技能有可能帮忙咱们打破已往的破裂，让两种文化真正走到一路，并鞭策呆板人范畴实实际质性前进。

雷峰网文章

雷峰网原创文章，未经授权禁止转载。详情见转载须知。