欢迎来到另一个 “世界”：空间智能

现如今大语言模型正在频繁、高速地刷新着人类的世界观，每天都在改变人现代人对于未知世界探索的方式，人类是否会被 AI 无情替代也成为了现代人所焦虑的问题之一。AI 已经足够聪明，可是 AI 的能言善辩好像也缺乏一些显示根基。

知名 AI 学者、斯坦福大学教授李飞飞近期发表了一篇博客：
[《From Words to Worlds: Spatial Intelligence is AI’s Next Frontier》](https://drfeifei.substack.com/p/from-words-to-worlds-spatial-intelligence)。在这篇文章中李飞飞认为，空间智能将是 AI 的下一个前沿，它将赋能 AI，使其拥有故事讲述者的想象力、行动力。AI 当增强人类的能力，而非取而代之。AI 应当始终尊重人的自主性与尊严。

以下内容是由 Claude sonnet 4.5 进行的全文翻译，仅供参考。

# 从语言到世界:空间智能是AI的下一个前沿
作者:李飞飞博士

---

1950年,当计算机不过是自动化算术和简单逻辑的工具时,艾伦·图灵提出了一个至今仍在回响的问题:机器能思考吗?他以非凡的想象力看到了未来:智能或许可以被构建,而非仅仅天生具备。这一洞见后来开启了一场名为人工智能(AI)的不懈科学探索。在我投身AI研究的二十五年生涯中,图灵的愿景始终激励着我。但我们离目标还有多远?答案并不简单。

如今,大语言模型(LLM)等领先的AI技术已经开始改变我们获取和处理抽象知识的方式。然而,它们仍然只是"黑暗中的文字工匠"——辞藻华丽却缺乏经验,知识渊博却脱离现实。**空间智能将改变我们创造真实世界和虚拟世界、与之互动的方式——彻底革新叙事艺术、创造力、机器人技术、科学发现等诸多领域。这是AI的下一个前沿。**

追求视觉和空间智能一直是指引我进入这个领域的北极星。这就是为什么我花费数年时间构建ImageNet——第一个大规模视觉学习和基准测试数据集,也是催生现代AI的三大关键要素之一(另外两个是神经网络算法和GPU等现代计算设备)。这也是为什么我在斯坦福的学术实验室过去十年一直在结合计算机视觉与机器人学习。而这更是为什么我和联合创始人Justin Johnson、Christoph Lassner、Ben Mildenhall在一年多前创立了World Labs:首次全面实现这一可能性。

在这篇文章中,我将阐释什么是空间智能,为何它如此重要,以及我们如何构建能够解锁空间智能的世界模型——这将重塑创造力、具身智能和人类进步。

## 空间智能:人类认知的支架

AI从未如此令人兴奋。生成式AI模型如大语言模型已经从研究实验室走进日常生活,成为数十亿人创造、生产和交流的工具。它们展现出曾被认为不可能的能力,轻松生成连贯的文本、大量代码、照片级真实感图像,甚至短视频片段。AI是否会改变世界已不再是问题。按任何合理的定义,它已经在改变世界了。

然而,仍有太多东西超出我们的掌握。自主机器人的愿景虽然引人入胜,但仍然是推测性的,远非未来学家长期承诺的日常生活固定设施。在疾病治疗、新材料发现和粒子物理学等领域大规模加速研究的梦想在很大程度上仍未实现。而真正理解并赋能人类创作者的AI承诺——无论是学习复杂分子化学概念的学生、想象空间的建筑师、构建世界的电影制作人,还是任何寻求完全沉浸式虚拟体验的人——仍遥不可及。

要理解为什么这些能力仍然难以实现,我们需要审视空间智能如何演化,以及它如何塑造我们对世界的理解。

视觉长期以来一直是人类智能的基石,但它的力量源于更加根本的东西。早在动物能够筑巢、照顾幼崽、用语言交流或建立文明之前,简单的感知行为就悄然开启了通向智能的进化之旅。

这种看似孤立的从外部世界获取信息的能力——无论是一丝光亮还是质地的触感——在感知与生存之间建立了一座桥梁,这座桥梁随着世代传承而变得更加坚固和精巧。一层层神经元从这座桥梁生长出来,形成解释世界并协调有机体与周围环境互动的神经系统。因此,许多科学家推测,**感知和行动成为驱动智能进化的核心循环**,也是大自然创造我们这个物种的基础——感知、学习、思考和行动的终极体现。

空间智能在定义我们如何与物理世界互动方面发挥着根本性作用。我们每天都依赖它完成最普通的行为:通过想象保险杠与路缘之间不断缩小的间隙来停车,接住从房间另一头扔过来的钥匙,在拥挤的人行道上行走而不发生碰撞,或者睡眼惺忪地把咖啡倒进杯子而不用看。在更极端的情况下,消防员穿过移动的烟雾在坍塌的建筑物中导航,对稳定性和生存做出瞬间判断,通过手势、肢体语言和无法用语言替代的共同专业本能进行交流。孩子们在能说话之前的数月或数年里,都在通过与环境的玩耍互动来学习这个世界。所有这些都是直觉性的、自动的——一种机器尚未实现的流畅性。

空间智能也是我们想象力和创造力的基础。讲故事的人在脑海中创造出独特丰富的世界,并利用多种视觉媒介形式将其呈现给他人,从古代洞穴壁画到现代电影再到沉浸式电子游戏。无论是孩子们在海滩上堆沙堡还是在电脑上玩《我的世界》,基于空间的想象力构成了真实或虚拟世界中互动体验的基础。在许多行业应用中,对物体、场景和动态互动环境的模拟为从工业设计到数字孪生再到机器人训练等无数关键业务用例提供支持。

历史上充满了空间智能发挥核心作用的文明定义时刻。在古希腊,埃拉托色尼将影子转化为几何学——在亚历山大港测量7度角,正好在塞耶尼没有影子的时刻——计算出地球的周长。哈格里夫斯的"珍妮纺纱机"通过空间洞察力革新了纺织制造:在单一框架中并排排列多个纺锤,使一名工人能够同时纺多根线,生产力提高了八倍。沃森和克里克通过物理构建3D分子模型发现了DNA结构,操作金属板和金属丝直到碱基对的空间排列到位。在每种情况下,当科学家和发明家必须操作物体、想象结构并推理物理空间时,空间智能推动文明前进——而这些都无法仅用文本来捕捉。

**空间智能是构建我们认知的支架。** 它在我们被动观察或主动创造时都在发挥作用。它驱动着我们的推理和规划,即使是在最抽象的话题上。而且它对我们互动的方式至关重要——无论是语言上还是物理上,与同伴还是与环境本身。虽然我们大多数人并非每天都在揭示埃拉托色尼级别的新真理,但我们经常以同样的方式思考——通过感官感知一个复杂的世界,然后利用对其如何在物理、空间层面运作的直觉理解来理解它。

不幸的是,今天的AI还不能这样思考。

过去几年确实取得了巨大进步。除了文本数据外还用大量多媒体数据训练的多模态LLM(MLLM)引入了一些空间意识的基础,今天的AI可以分析图片、回答有关图片的问题,并生成超逼真的图像和短视频。通过传感器和触觉方面的突破,我们最先进的机器人已经可以在高度受限的环境中操作物体和工具。

然而坦率地说,AI的空间能力仍远未达到人类水平。而且局限性很快就会显现。最先进的MLLM模型在估计距离、方向和大小,或者从新角度重新生成物体以"心理"旋转它们方面,表现很少超过随机水平。它们无法导航迷宫、识别捷径或预测基本物理。AI生成的视频——虽然初步且确实很酷——在几秒钟后往往失去连贯性。

虽然当前最先进的AI可以在阅读、写作、研究和数据模式识别方面表现出色,但这些相同的模型在表示或与物理世界互动时存在根本性限制。我们对世界的看法是整体性的——不仅仅是我们在看什么,还包括一切如何在空间上相互关联、意味着什么以及为什么重要。通过想象、推理、创造和互动来理解这一点——而不仅仅是描述——这就是空间智能的力量。没有它,AI就与它试图理解的物理现实脱节。它无法有效地驾驶我们的汽车,引导我们家中和医院的机器人,为学习和娱乐实现全新的沉浸式和互动体验方式,或加速材料科学和医学的发现。

哲学家维特根斯坦曾写道:"我的语言的极限意味着我的世界的极限。"我不是哲学家。但我至少知道对于AI来说,不仅仅只有语言。空间智能代表了语言之外的前沿——连接想象力、感知和行动的能力,为机器真正增强人类生活开启可能性,从医疗保健到创造力,从科学发现到日常辅助。

## AI的下一个十年:构建真正具有空间智能的机器

那么我们如何构建具有空间智能的AI?通往能够像埃拉托色尼一样有远见地推理、像工业设计师一样精确地工程设计、像讲故事的人一样富有想象力地创造,并像第一响应者一样流畅地与环境互动的模型之路是什么?

构建具有空间智能的AI需要比LLM更加雄心勃勃的东西:**世界模型**,一种新型生成模型,其对语义、物理、几何和动态复杂世界——无论是虚拟的还是真实的——的理解、推理、生成和互动能力远远超出当今LLM的能力范围。这个领域尚处于萌芽阶段,目前的方法从抽象推理模型到视频生成系统不等。World Labs于2024年初基于这一信念成立:基础方法仍在建立中,这使其成为下一个十年的决定性挑战。

在这个新兴领域,最重要的是建立指导开发的原则。对于空间智能,我通过三个基本能力来定义世界模型:

### 1. 生成性:世界模型可以生成具有感知、几何和物理一致性的世界

解锁空间理解和推理的世界模型还必须生成自己的模拟世界。它们必须能够生成无限多样化的模拟世界,遵循语义或感知指令——同时保持几何、物理和动态一致性——无论代表真实还是虚拟空间。研究界正在积极探索这些世界应该如何在内在几何结构方面被隐式或显式地表示。此外,除了强大的潜在表示,我相信通用世界模型的输出还必须允许为许多不同的用例生成显式的、可观察的世界状态。特别是,它对现在的理解必须与过去连贯地联系在一起;与导致当前状态的世界先前状态联系在一起。

### 2. 多模态:世界模型本质上是多模态的

就像动物和人类一样,世界模型应该能够处理各种形式的输入——在生成式AI领域被称为"提示"。给定部分信息——无论是图像、视频、深度图、文本指令、手势还是动作——世界模型应该预测或生成尽可能完整的世界状态。这需要以真实视觉的保真度处理视觉输入,同时以同样的便利性解释语义指令。这使得代理和人类都可以通过多样化的输入与模型就世界进行交流,并作为回报接收多样化的输出。

### 3. 交互性:世界模型可以基于输入动作输出下一个状态

最后,如果动作和/或目标是世界模型提示的一部分,其输出必须包括世界的下一个状态,以隐式或显式方式表示。当仅给定带有或不带有目标状态的动作作为输入时,世界模型应该产生与世界先前状态、预期目标状态(如果有)及其语义含义、物理定律和动态行为一致的输出。随着具有空间智能的世界模型在推理和生成能力方面变得更强大和健壮,可以想象在给定目标的情况下,世界模型本身不仅能够预测世界的下一个状态,还能够基于新状态预测下一个动作。

这一挑战的范围超过了AI以前面临的任何事情。

虽然语言纯粹是人类认知的生成现象,但世界遵循更加复杂的规则。例如,在地球上,重力支配运动,原子结构决定光如何产生颜色和亮度,无数物理定律约束每一次互动。即使是最奇幻、最有创意的世界也是由遵循定义它们的物理定律和动态行为的空间物体和代理组成的。一致地调和所有这些——语义、几何、动态和物理——需要全新的方法。表示世界的维度比语言等一维顺序信号复杂得多。实现能够提供我们人类享有的那种通用能力的世界模型将需要克服几个艰巨的技术障碍。在World Labs,我们的研究团队致力于朝着这个目标取得根本性进展。

以下是我们当前研究主题的一些例子:

**用于训练的新通用任务函数:** 定义一个像LLM中的下一个词预测一样简单和优雅的通用任务函数,长期以来一直是世界模型研究的核心目标。输入和输出空间的复杂性使得这样的函数本质上更难制定。但尽管还有很多需要探索的,这个目标函数和相应的表示必须反映几何和物理定律,尊重世界模型作为想象和现实的基础表示的根本性质。

**大规模训练数据:** 训练世界模型需要比文本整理复杂得多的数据。好消息是:大规模数据源已经存在。互联网规模的图像和视频集合代表丰富、可访问的训练材料——挑战在于开发能够从这些基于二维图像或视频帧的信号(即RGB)中提取更深层空间信息的算法。过去十年的研究表明了在语言模型中连接数据量和模型大小的扩展定律的力量;世界模型的关键解锁是构建能够在可比规模上利用现有视觉数据的架构。此外,我不会低估高质量合成数据和深度、触觉信息等附加模态的力量。它们在训练过程的关键步骤中补充了互联网规模的数据。但前进的道路取决于更好的传感器系统、更强大的信号提取算法和远更强大的神经模拟方法。

**新模型架构和表示学习:** 世界模型研究将不可避免地推动模型架构和学习算法的进步,特别是超越当前的MLLM和视频扩散范式。这两者通常将数据标记化为1D或2D序列,这使得简单的空间任务变得不必要地困难——比如在短视频中计数独特的椅子,或记住一小时前房间的样子。替代架构可能有所帮助,例如用于标记化、上下文和记忆的3D或4D感知方法。例如,在World Labs,我们最近关于名为RTFM的实时生成基于帧模型的工作展示了这种转变,它使用空间定位帧作为空间记忆的一种形式,以实现高效的实时生成,同时保持生成世界的持久性。

显然,在我们能够通过世界建模完全解锁空间智能之前,我们仍然面临着艰巨的挑战。这项研究不仅仅是理论演练。它是新一类创意和生产力工具的核心引擎。World Labs内部的进展令人鼓舞。我们最近与有限数量的用户分享了Marble的一瞥,这是第一个可以通过多模态输入提示以生成和维护一致的3D环境的世界模型,供用户和讲故事的人在其创意工作流程中探索、互动和进一步构建。我们正在努力尽快向公众开放!

Marble只是我们创建真正具有空间智能的世界模型的第一步。随着进展加速,研究人员、工程师、用户和商业领袖都开始认识到其非凡的潜力。下一代世界模型将使机器在全新水平上实现空间智能——这一成就将解锁当今AI系统中仍然基本缺失的关键能力。

## 使用世界模型为人们建设更美好的世界

驱动AI发展的动机很重要。作为帮助开创现代AI时代的科学家之一,我的动机一直很明确:**AI必须增强人类能力,而不是取代它。** 多年来,我一直致力于使AI的开发、部署和治理与人类需求保持一致。如今极端的技术乌托邦和末世论叙事很多,但我继续持有更加务实的观点:AI是由人开发的,被人使用的,由人治理的。它必须始终尊重人的能动性和尊严。它的魔力在于扩展我们的能力;使我们更有创造力、更紧密联系、更高效、更充实。空间智能代表了这一愿景——赋能人类创作者、护理人员、科学家和梦想家实现曾经不可能的事情的AI。这一信念驱使我致力于将空间智能作为AI的下一个伟大前沿。

空间智能的应用跨越不同的时间线。创意工具正在涌现——World Labs的Marble已经将这些能力交到创作者和讲故事者手中。机器人技术代表了雄心勃勃的中期前景,因为我们正在完善感知和行动之间的循环。最具变革性的科学应用将需要更长时间,但承诺对人类繁荣产生深远影响。

在所有这些时间线上,几个领域因其重塑人类能力的潜力而脱颖而出。这将需要大量的集体努力,超过单个团队或公司可能实现的范围。它将需要整个AI生态系统的参与——研究人员、创新者、企业家、公司甚至政策制定者——朝着共同愿景努力。但这一愿景值得追求。未来是这样的:

### 创造力:为讲故事和沉浸式体验赋能

"创造力是智能在玩耍。"这是我的个人英雄阿尔伯特·爱因斯坦最喜欢的名言之一。早在书面语言之前,人类就在讲故事——在洞穴墙壁上绘画,通过世代传承,在共同叙事上建立整个文化。故事是我们理解世界、跨越距离和时间连接、探索作为人类意味着什么,最重要的是,在我们自己内心找到生活和爱的意义的方式。今天,空间智能有潜力以尊重其根本重要性的方式改变我们创造和体验叙事的方式,并将其影响从娱乐扩展到教育,从设计到建造。

World Labs的Marble平台将为电影制作人、游戏设计师、建筑师和各类讲故事者提供前所未有的空间能力和编辑可控性,使他们能够快速创建和迭代完全可探索的3D世界,而无需传统3D设计软件的开销。创作行为仍然和以往一样至关重要和人性化;AI工具只是放大和加速创作者能够实现的东西。这包括:

**新维度的叙事体验:** 电影制作人和游戏设计师正在使用Marble召唤整个世界,不受预算或地理限制,探索在传统制作流程中难以探索的各种场景和视角。随着不同媒体和娱乐形式之间的界限模糊,我们正在接近融合艺术、模拟和游戏的根本新型互动体验——个性化的世界,任何人,而不仅仅是工作室,都可以创造和居住自己的故事。随着更新、更快速的方式将概念和故事板提升为完整体验的兴起,叙事将不再局限于单一媒介,创作者可以自由地构建跨越无数表面和平台、具有共同主线的世界。

**通过设计的空间叙事:** 本质上,每个制造的物体或建造的空间在其物理创造之前都必须在虚拟3D中设计。这个过程在时间和金钱方面都是高度迭代和昂贵的。有了具有空间智能的模型,建筑师可以在投入数月时间进行设计之前快速可视化结构,走过尚不存在的空间——本质上讲述关于我们如何生活、工作和聚集的故事。工业和时尚设计师可以立即将想象转化为形式,探索物体如何与人体和空间互动。

**新的沉浸式和互动体验:** 体验本身是我们作为一个物种创造意义的最深刻方式之一。在整个人类历史中,只有一个单一的3D世界:我们所有人共享的物理世界。直到最近几十年,通过游戏和早期虚拟现实(VR),我们才开始窥见分享我们自己创造的替代世界意味着什么。现在,空间智能与VR和扩展现实(XR)头显以及沉浸式显示器等新形态因素相结合,以前所未有的方式提升了这些体验。我们正在接近这样一个未来:进入完全实现的多维世界变得像打开一本书一样自然。空间智能使世界构建不仅对拥有专业制作团队的工作室可及,而且对个人创作者、教育工作者以及任何有愿景要分享的人都可及。

### 机器人技术:具身智能在行动

从昆虫到人类的动物都依赖空间智能来理解、导航和与其世界互动。机器人也不例外。具有空间意识的机器自该领域诞生以来一直是梦想,包括我在斯坦福研究实验室与学生和合作者的工作。这也是为什么我对使用World Labs正在构建的那种模型实现它们的可能性感到如此兴奋。

**通过世界模型扩展机器人学习:** 机器人学习的进展取决于可行训练数据的可扩展解决方案。鉴于机器人必须学习理解、推理、规划和互动的巨大状态空间,许多人推测需要互联网数据、合成模拟和现实世界人类演示捕获的组合才能真正创建可泛化的机器人。但与语言模型不同,当今机器人研究的训练数据很稀缺。世界模型将在其中发挥决定性作用。随着它们提高感知保真度和计算效率,世界模型的输出可以迅速缩小模拟与现实之间的差距。这反过来将有助于在无数状态、交互和环境的模拟中训练机器人。

**伴侣和协作者:** 机器人作为人类协作者,无论是在实验室帮助科学家还是协助独居的老年人,都可以扩大迫切需要更多劳动力和生产力的劳动力的一部分。但这样做需要空间智能来感知、推理、规划和行动,同时——这是最重要的——与人类目标和行为保持同理心一致。例如,实验室机器人可能处理仪器,以便科学家可以专注于需要灵巧或推理的任务,而家庭助手可能在不削弱老年人快乐或自主性的情况下帮助他们做饭。能够预测与这一预期一致的下一个状态或甚至可能的动作的真正具有空间智能的世界模型对于实现这一目标至关重要。

**扩展具身形式:** 人形机器人在我们为自己建造的世界中发挥作用。但创新的全部好处将来自更多样化的设计:输送药物的纳米机器人,导航狭窄空间的软机器人,以及为深海或外太空建造的机器。无论其形式如何,未来的空间智能模型都必须整合这些机器人所居住的环境及其自身的具身感知和运动。但开发这些机器人的关键挑战是在这些广泛的具身形态因素中缺乏训练数据。世界模型将在这些努力的模拟数据、训练环境和基准任务中发挥关键作用。

### 更长远的前景:科学、医疗保健和教育

除了创意和机器人应用之外,空间智能的深远影响还将扩展到AI可以以挽救生命和加速发现的方式增强人类能力的领域。我在下面重点介绍三个可以产生深刻变革的应用领域,不言而喻的是,空间智能的用例在更多行业中确实非常广泛。

**在科学研究中**,具有空间智能的系统可以模拟实验,并行测试假设,并探索人类无法进入的环境——从深海到遥远的星球。这项技术可以改变气候科学和材料研究等领域的计算建模。通过将多维模拟与现实世界数据收集相结合,这些工具可以降低计算障碍,扩展每个实验室能够观察和理解的内容。

**在医疗保健领域**,空间智能将重塑从实验室到床边的一切。在斯坦福,我的学生和合作者花了很多年与医院、养老设施和家中的患者合作。这段经历使我确信空间智能在这里的变革潜力。AI可以通过在多维度建模分子相互作用来加速药物发现,通过帮助放射科医生在医学影像中发现模式来增强诊断,并实现环境监测系统,在不取代治愈所需的人际联系的情况下支持患者和护理人员,更不用说机器人在许多不同环境中帮助我们的医疗工作者和患者的潜力。

**在教育领域**,空间智能可以实现沉浸式学习,使抽象或复杂的概念变得具体,并创造对我们的大脑和身体如何在学习中连接至关重要的迭代体验。在AI时代,对学龄儿童和成年人来说,更快、更有效的学习和再培训的需求尤为重要。学生可以多维度探索细胞机制或走过历史事件。教师获得通过互动环境个性化教学的工具。从外科医生到工程师的专业人士可以在逼真的模拟中安全地练习复杂技能。

在所有这些领域,可能性是无限的,但目标始终不变:增强人类专业知识、加速人类发现、放大人类关怀的AI——而不是取代作为人类核心的判断、创造力和同理心。

## 结论

过去十年见证了AI成为全球现象和技术、经济甚至地缘政治的拐点。但作为一名研究人员、教育工作者,现在是企业家,图灵75年前问题背后的精神仍然最能激励我。我仍然分享他的惊奇感。这就是空间智能的挑战每天激励我的原因。

人类历史上第一次,我们准备好构建与物理世界如此协调的机器,以至于我们可以依靠它们作为我们面临的最大挑战中的真正伙伴。无论是加速我们在实验室了解疾病的方式,革新我们讲述故事的方式,还是在我们因疾病、受伤或年龄而最脆弱的时刻支持我们,我们正处于能够提升我们最关心的生活方面的技术的风口浪尖。这是对更深刻、更丰富、更有力量的生活的愿景。

在大自然在祖先动物中释放空间智能的第一缕曙光近五亿年后,我们很幸运地发现自己属于可能很快赋予机器相同能力的这一代技术专家——并且有足够的特权利用这些能力造福各地的人们。如果没有空间智能,我们对真正智能机器的梦想将不会完整。

这一追求是我的北极星。加入我,一起追求它吧。

---

_原文作者:李飞飞博士(Dr. Fei-Fei Li)_  
_译者注:本文由Claude AI翻译,力求在保持专业性的同时兼顾可读性_