这项由布朗大学、马里兰大学、宾夕法尼亚大学、南加州大学、纽约大学、悉尼大学和StabilityAI计议完成的综述商量，以预印本形式发布于2026年6月，论文编号为arXiv:2606.04291，有益思深入了解的读者不错通过该编号在arXiv平台查询齐备论文。

**一册写给统共东谈主的三维天下指南**

假定你提起一个苹果，你的大脑在0.1秒内就能判断出它的形式、大小、名义纹理，致使能预计它落到桌上会怎么滚动。这种才调在东谈主类看来稀松平庸，但关于筹谋机来说，却是一谈横亘多年的高墙。三维视觉，浮浅说便是让机器"看懂"立体天下的工夫，连年来突飞大进，还是渗入进自动驾驶汽车、工业机器东谈主、增强现实眼镜乃至数字文物答谢等简直每一个前沿规模。

然则，这个规模有一个让外东谈主望而却步的特色：它像一个巨大的器具箱，内部装满了形形色色的器具，每种器具有我方的名字、用法和适用场景，而且这些器具之间的关系犬牙相制，连专科商量者巧合也会迷失其中。正因如斯，这支来自多所顶尖机构的商量团队决定作念一件听起来朴实、实则极具价值的事情——写一册"菜谱"。

他们将这篇论文定名为《三维视觉菜谱：数据、学习范式与应用》，其中枢想路是：岂论你是刚初学的学生，如故想换赛谈的工程师，都应该有一张澄莹的舆图，告诉你三维视觉这片丛林里有哪些树、这些树长什么样、它们各自有什么用处，以及最近又长出了哪些新姿雅。这篇菜谱的私有之处在于，它不是从算法架构启程，也不是只盯着某一个具体任务，而是从"数据"本人启程——先弄了了三维天下的数据有哪些形态，再讲这些数据怎么被机器学习，终末落到推行应用。这种以数据为中枢的视角，在现存综述中特等冷落。

**一、三维数据的"八种言语"：筹谋机看天下的不同方式**

要领悟三维视觉，最初要弄懂一个根底问题：筹谋机究竟用什么方式来"存储"和"领悟"一个三维物体？这就好比问，你不错用素描、油画、雕镂、乐高积木、3D打印模子或者数学公式来抒发合并个苹果，每种方式都有我方的上风和局限。商量团队系统梳理了三维视觉规模最主流的八种数据抒发方式，领悟这八种"言语"，是读懂通盘规模的基础。

第一种叫作念RGB-D数据，这也许是最接近普通东谈主日常直观的一种。RGB是彩色图像，D是深度（Distance/Depth），也便是每个像素离相机有多远。微软Kinect体感树立就能产生这种数据。你不错把它领悟为：普通像片加上一张"距离舆图"，每个像素不仅有神气，还标注了"这里距离我1.2米，那里距离我3.5米"。这种方式筹谋起来相等高效，就像在一张平面图上多加一层信息，是以平日用于室内场景领悟、东谈主体姿态识别和即时定位与舆图构建（俗称SLAM，不错领悟为机器东谈主边走边画舆图）。它的局限是只可看到"正面"，背后和侧面被粉饰的部分无法获知。

第二种是多视角图像。这特等于拿着相机围着一个物体转一圈，从不同角度拍许多张像片，然后把这些像片和每张像片对应的相机位置全部打包。这种方式在视觉上保真度极高——毕竟像片本人就很传神——但三维几何形式需要通过筹谋推断出来，而不是平直测量。谷歌街景、神经辐照场（后文会详备先容）都以此为输入。

第三种是点云。点云不错领悟为用激光笔在物体名义打了密密匝匝的点，每个点记载它在空间中的三维坐标(x，y，z)，巧合还附带神气或名义法线主义。激光雷达（LiDAR）产生的便是点云，自动驾驶汽车顶上阿谁旋转的圆柱体便是激光雷达。点云的优点是平直测量、实在准确，缺点是这些点零七八碎，莫得固定的挨次或流通关系，是以传统的图像处理神经蚁集不成平直用，需要特殊遐想的算法。PointNet便是第一个特殊处理点云的深度学习蚁集，它能平直对这些错落的点进行分析。

第四种是体素网格（Voxels）。若是点云像洒落的沙粒，那体素网格就像用整皆的正方体积木把空间切割成一个个小格子，就像三维版的像素（Pixel），因此叫体素（Voxel）。每个格子不错标识"有东西"或"没东西"，也不错存储神气、密度等信息。这种方式自然妥当三维卷积神经蚁集处理，就像二维图像妥当二维卷积蚁集一样。但问题在于，若是你想要高精度，格子就得很小、数目就得许多，内存徒然会呈三次方急剧蔓延，代价相等立志。

云开体育2026世界杯中国官网入口

第五种是网格（Mesh）。网格是由顶点、边和面（常常是三角形面）组成的名义模子，就像用三角形拼贴出一个物体的外壳。游戏里的变装模子、动画电影里的东谈主物，简直都是网格。网格既能抒发形式，又能抒发拓扑（也便是哪些部分是连着的），相等紧凑，妥当渲染和物理仿真。难点在于网格的不章程性——三角形的数目、大小、流通方式鬼出神入，门径的深度学习框架对这种不章程数据处理起来很远程，是以许多经过会先把网格调动成点云或体素再处理。

第六种是CAD模子，全称筹谋机扶直遐想模子。与前几种侧重于"长什么样"不同，CAD模子更关怀"怎么造出来的"。它用数学公式精准描摹曲面，最常见的是NURBS（非均匀有理B样条弧线），不错把它领悟为用几个"拒绝把手"来精准操控一段光滑弧线或曲面。工业零件遐想、汽车车身建模用的便是CAD。CAD模子的精度极高，不错平直用于数控加工，但取得方式不像拍照那么浮浅，常常需要工程师手工遐想，或者从扫描数据"逆向工程"重建。

第七种是隐式场（ImplicitField），这是连年来跟着神经蚁集工夫兴起的新方式，代表作是神经辐照场（NeRF）和占用蚁集（OccupancyNetworks）。传统方式都是用明确的点、面、格子来暗示形式，而隐式场则把通盘三维形式编码进一个神经蚁集的参数里。你给它一个三维坐标，它告诉你那里是"内部"如故"外面"，或者阿谁位置从某个角度看起来是什么神气、有多亮。这种方式表面上精度极高，能抒发相等邃密的细节，但教师和渲染都相比慢。

第八种是三维高斯溅射（3DGaussianSplatting，简称3DGS），这是现时最新、最热的一种方式。它把场景暗示为无数的三维椭球（高斯球），每个椭球记载了位置、大小、主义、神气（还带有随视角变化的神气拒绝）和透明度。你不错把它设想成用一大堆半透明的泡泡来填满空间，通过这些泡泡的重复来还原出场景的外不雅。3DGS的惊东谈主之处在于速率——它把渲染时刻从神经辐照场的几秒钟镌汰到了毫秒级别，足以救助及时渲染。商量团队在论文中将这种速率跃升称为"翻新性的"，这一冲突平直使得教师大型三维基础模子成为可能。

这八种方式各有千秋，商量团队用一张表格澄莹地对比了它们的效力、精度和典型应用场景。约莫来说，RGB-D和多视角图像效力很高但有各自的局限，点云和网格均衡适中，体素网格和隐式场精度好但筹谋代价高，体球网2026世界杯赛事直播入口三维高斯和CAD则在各自擅长的规模（及时渲染、工业精度）效力与精度兼得，不错称得上是"顶配"。

**二、机器怎么"学会"看三维天下：从死记硬背到举一反三**

弄了了三维数据有哪些形态之后，下一个问题是：机器究竟怎么从这些数据中"学到东西"？

早期的学习方法有点像死记硬背。商量东谈主员平直在三维空间里筹谋差错——这个点离正确位置差了几许，阿谁体素的密度和实在情况差了几许——然后让蚁集去转变我方。这种方法道理浮浅，但筹谋量极大，关于高精度的体素网格或邃密曲面来说，代价大得简直不可禁受。

调动点出现时"可微分渲染"工夫被引入之后。所谓可微分渲染，浮浅说便是让"从三维模子生成二维图像"这个过程变得不错"反向传播差错"。正常渲染是单向的：给定三维模子，输出图像。可微分渲染让这个过程变成双向的：不仅不错从三维生成图像，还不错把"生成的图像和实在图像的差距"看成信号，反向告诉三维模子"你何处画错了"。这就像一个学生在纸上画素描，敦厚不服直在素描上修改，而是通过相比学生的画和实在像片，告诉学生哪些场所画得不像，让学生我方修改。

在这个框架下，神经辐照场（NeRF）应时而生。NeRF的中枢想路是：用一个神经蚁集来暗示通盘场景，输入三维坐标和不雅察主义，输出该位置的神气和密度。通过让这个蚁集渲染出的图像尽量接近实在拍摄的多视角图像，蚁集的参数就迟缓学会了场景的三维结构。但NeRF很慢，因为渲染每一帧图像都要对每条后光上的无数点进行神经蚁集查询，筹谋量惊东谈主。

三维高斯溅射则从另一个角度管制了这个问题——它放手了神经蚁集的隐式暗示，改用显式的高斯球，并弃取一种高度优化的光栅化渲染器（不错领悟为更平直、更快速的图像生成方式），把渲染速率进步了几个数目级。这个冲突不仅仅让渲染变快，更要紧的是，它使得商量东谈主员不错用渲染拒绝看成监督信号来教师更大、更复杂的三维模子，绽开了"三维基础模子"这扇大门。

**三、"看图说立体"：以二维监督学习三维的新范式**

三维视觉规模还有一个中枢挑战：三维数据太难采集了。给二维图像打标注，只需要东谈主在图片上框框选选；但给三维数据打标注，需要精密的扫描树立、无数的东谈主工校正，老本卓绝一个数目级。于是，商量东谈主员运转问一个聪惠的问题：咱们能不成只用无数的二维图像（这类数据互联网上有几十亿张）来教师三维领悟模子？

这就催生了一批以图像平面为监督信号的端到端三维基础模子，论文中详备先容了这一批代表性使命。

DUSt3R是其中的前驱之一。它的中枢想路是：给定两张从不同角度拍摄的图片，平直预计出每张图片里每个像素对应的三维坐标点，同期用置信度来揣度预计的可靠进程——概略情的场所置信度低，详情的场所置信度高。通盘教师过程不需要提前作念多视角几何优化，而是平直用实在三维坐标看成指标，以带置信度加权的亏本函数来相通蚁集学习。

VGGT（视觉几何基础Transformer）则把这个见地推到了更大的范围，让模子同期处理多张图片，况且一次性预计出相机参数、深度图、三维点图和点的轨迹（也便是合并个物理点在不同图片中的对应位置）。这特等于教师了一个"万能的三维领悟助手"，一次输入一批图片，它能同期告诉你每张像片是从何处拍的、场景的深度长什么样、三维结构是什么。

RayZer走了一条更极点的路：它填塞不使用三维数据看成监督，而是把每张图片分解为"场景"和"相机"两个部分，通过让模子在不同相机之间"翻译"场景来学习三维结构，教师信号填塞来自二维图像的重建质料。这就好比让一个从未离开二维平面的东谈主，通过无数不雅察不同角度的影子，自学出对立体天下的领悟。

π?（Pi-cubed）管制了另一个辣手问题：当输入的图片莫得固定挨次时怎么办？它遐想了一种对图片挨次不敏锐的学习方式，不管你把图片打乱成什么挨次，蚁集的输出都不会变。教师时同期优化局部点图和相对位姿两个指标，让模子学到更鲁棒的几何领悟。

DepthAnything3则把这个主义又鼓舞了一步，博亚体育中国官网入口将深度猜度和射线主义猜度合并成一个长入的六维输出——每个像素不仅告诉你深度（离相机多远），还告诉你这条后光的主义（从何处来、往何处去），特等于把单目深度猜度和相机几何推断长入在了一个模子里。

**四、当生成遇上重建：三维天下的"双引擎驱动"**

除了从实在数据学习，还有另一条蹊径：用生成模子来补充缺失的三维信息，或者反过来，用三维重建来敛迹生成模子的输出。

DreamFusion和Magic3D是这条路上的早期代表。它们的中枢工夫叫"分数蒸馏采样"（ScoreDistillationSampling），道理是：用一个在海量二维图片上教师好的生成模子（比如StableDiffusion那类扩散模子）看成"敦厚"，让三维神经场看成"学生"，通过禁止问"敦厚这个视角看起来像吗"来优化三维模子。这就好比你要握一个泥塑，但莫得实在的参照物，于是你用一个审好意思很好的一又友来评判，证据一又友的反馈禁止诊治，最终握出一个各个角度看起来都令东谈主温暖的形式。

更新的蹊径是"原生三维生成基础模子"。TRELLIS学习了一种结构化的三维隐空间暗示，不错从文本或图像生成三维内容，并平直解码为辐照场、高斯球或网格等多种口头。SAM3D则遐想了一套"模子在环"的数据引擎——让生成模子自动产生候选三维数据，再由东谈主工审核筛选出高质料的样本，这些样本反过来又用于教师更好的生成模子，变成一个自我强化的轮回。这种方式绕过了三维数据稀缺的瓶颈，因为每一轮轮回都会产生更多更好的教师数据。

这种"重建促进生成、生成补充重建"的协同关系，是论文中特等强调的一个趋势。两个主义不再是相互颓唐的赛谈，而是在分享的隐空间中相互促进，变成一个接续优化的数据飞轮。

**五、三维工夫能作念什么：从重建到具身智能的全景图**

领悟了数据抒发方式和学习方法之后，论文用特等大的篇幅先容这些工夫能作念什么，也便是具体的下流应用，这一部分的内容颇为浩大，简直组成了一幅三维视觉应用的全景图。

三维重建是最平直的应用，亦然历史最悠久的主义。传统方法叫作念阐明中答谢结构（SfM）和多视角立体视觉（MVS），道理是从多张图片中找到匹配点，通过几何筹谋推断出相机位置和场景三维结构。这类方法数学上很严谨，但对图片质料条目高，在纹理暗昧或后光不均匀的场景下容易失败。当代方法用前文先容的那些神经蚁集平直端到端地从图片预计三维结构，即使只须一张图片、即使相机参数未知，也能得到合理的拒绝。

三维钞票和场景生成是连年来热度极高的主义，简单说便是"用翰墨或图片自动生成三维模子"。当代方法先用多视角扩散模子生成从不同角度看物体的多张一致图片，然后再用大型重建模子把这些图片快速调动为网格、三维高斯或三平面（tri-plane）暗示。这个过程不错在几秒到几分钟内完成，而往时的SDS方法频频需要几小时。更进一步，商量者们还在尝试生成通盘房间乃至整栋建筑的三维场景，比如3D-SceneDreamer和AnyHome这两个框架，不错证据翰墨描摹生成不错在其中"漫游"的室内环境，包括房间布局、居品摆放等具体细节。

三维一致性视频生成是一个更新的交叉主义。大型视频生成模子能生成视觉上令东谈主惊艳的画面，但频频缺少跨帧的几何一致性——从一帧到下一帧，墙面可能瞬息迤逦，东谈主脸可能出现奇怪的变形。商量者们正在把三维学问注入视频生成模子，以三维一致性看成奖励信号（肖似于"这段视频里的几何关连合理吗"）来敛迹生成过程，或者在视频生成的去噪过程中强制让特征与深度图或对极线对皆。DiffusionasShader（扩散看成着色器）则进一步用密集的三维轨迹来精准拒绝生成视频中的阐明，罢了了对生成内容的邃密空间拒绝。

四维渲染和三维天下模子是更前沿的主义，指标是从静态三维进化到动态三维，也便是领悟和模拟物体随时刻的阐明和变化。四维高斯溅射在三维高斯的基础上引入了形变场，把阐明暗示为三维结构随时刻的演化，而不是一系列不关连的二维帧，从而罢了了动态拓扑的及时渲染。三维天下模子的指标更大：让模子大意预计畴昔现象，为机器东谈主规划提供救助。PointWorld和ParticleFormer等使命平直在三维点或粒子层面进劳动态预计，确保预计拒绝在时刻向前后一致、在多视角下物理合理。WorldSimBench是评估这类模子的专用基准测试，磨砺模子是否果然阐明得像一个可用的物理模拟器。

具身智能（EmbodiedAI）是统共这些工夫最终落地的场景之一。让机器东谈主领悟三维天下、通过言语禁受教导、在物理空间中实行任务，这三个才调的整合便是空间智能在视觉-言语-动作系统中的体现。当代的三维视觉-言语-动作系统不再把图像像素平直映射到机械臂的要道角度，而是在分享的三维暗示空间中对感知、言语和拒绝进行长入建模。用三维点流或空间轨迹来抒发"意图"，使得机器东谈主对视角变化更鲁棒，也更容易在不同机器东谈主平台之间迁徙——毕竟，同样的三维天下领悟，不管你是用四轴机械臂如故六轴机械臂来操作，实质上是相通的。

**六、数据集和基准测试：推动跳跃的无名英杰**

再好的算法，没稀有据亦然畅谈。论文用特殊的篇幅梳理了三维视觉规模的数据集生态，这部天职容关于领悟通盘规模的发展线索同样不可或缺。

商量团队整理了50个具有代表性的数据集，时刻跨度从2015年的ShapeNet一直蔓延到2025年的最新数据集。通过这个列表不错了了地看到这个规模的发展轨迹：2020年前后出现了一个发布岑岭，随后每年都有雄厚的新数据集败露，诠释通盘规模的数据基础门径在快速扩张，而这种扩张频频与新的传感器工夫或新的模子范式密切关连，而非均匀线性的增长。

从数据模态来看，网格数据集（50个中有28个波及网格）和多视角图像数据集（25个）最为常见，而体素数据集（3个）和隐式场数据集（1个）极为留心。这种漫步不服衡反馈了取得难度：网格和图像相对容易生成或拍摄，体素和隐式场常常需要从其他口头调动，当然数目较少。从空间粒度来看，以单个物体为中心的数据集（18个）和室内场景数据集（13个）占主导，而户外场景和夹杂场景数据集则相对匮乏。

这50个数据集结，有几个值得单独先容，因为它们对通盘规模产生了深刻影响。ShapeNet是2015年发布的大型CAD数据集，包含数十万个三维模子，简直统共三维物体分类、分割和生成的方法都在它上头作念过测试，不错说是三维视觉规模的ImageNet。ScanNet于2017年发布，提供了室内场景的RGB-D扫描和语义标注，是室内理衔命务的门径基准。ScanNet++是其2023年发布的升级版，精度更高，同期救助了包括三维高斯溅射在内的新式暗示。Objaverse于2023年发布，包含数百万个三维网格和对应的翰墨描摹，是教师多模态三维领悟模子的要紧资源。

连年来还出现了一个新趋势：数据集构建本人越来越"模子感知"，也便是数据集的遐想还是把特定模子范式的需求计议进去了。比如InteriorGS平直提供了以三维高斯溅射口头标注的室内场景，而不是只须网格或点云，不错平直用于教师和评估高斯溅射关连方法。MegaSynth则用合成场景来大范围推行重建模子的预教师数据。WorldSimBench更是在评估层面冷落了新条目：不仅测试重建精度，还测试生成模子是否能在恒久任务中阐明得像一个实在可用的物理模拟器。

尽管如斯，现存数据集生态仍有明白的不及。简直莫得一个数据集能同期清翠多种模态（点云、网格、高斯球、图像都有）、时刻一致性（救助动态场景）和开放天下泛化（在各式未见场景中都灵验）这三个条目。商量团队明确指出，填补这些空缺是畴昔最蹙迫的任务之一，需要在数据范围、各种性、标注效力和合成-实在数据之间取得更好的均衡。

**七、前路在何处：三个正在积蓄的主义**

在梳理完近况之后，论文在论断部分冷落了三个出息繁密的商量主义，值得单独张开。

第一个主义是长入的基准测试和评估契约。现时，室内场景数据集（ScanNet++、DL3DV-10K）、物体数据集（WildRGB-D）和合成数据集（PointOdyssey、MegaSynth、InteriorGS）道不相谋，缺少一个横跨对象、场景、动态场景的长入评估平台。商量团队合计，畴昔需要能同期评估重建精度和生成模子步履（是否合适物理限定）的抽象基准。

第二个主义是跨模态和二维监督学习战术。互联网上稀有十亿张二维图片，这是远比三维数据更丰富的资源。如何从这些图片中索求几何信息、同期保持对三维天下的准确领悟，是一个既有表面深度又有推行价值的问题。前文提到的DUSt3R、VGGT、RayZer等使命都在野这个主义勉力，但距离充分垄断这些二维数据的后劲还有很长的路要走。

第三个主义是可扩展的及时暗示。三维高斯溅射还是在渲染效力上罢了了质的飞跃，但在大范围场景、动态场景和参数化CAD模子的生成和裁剪方面仍有无数使命要作念。如安在保持及时性的同期不罢休精度，如安在高斯球和网格、CAD等更妥当工程应用的口头之间天真调动，是这个主义的中枢问题。

归根结底，这篇论文作念的事情，是在一个飞速扩张、四面吐花的规模里，用一张澄莹的舆图匡助读者找到我方的位置。它不是一篇宣扬某个新方法有多是非的论文，而是一篇细致整理了"咱们现时知谈什么、咱们还不知谈什么"的导航手册。

关于普通东谈主来说，这项商量最平直的道理是：你手机里的AR拒绝会越来越传神，自动驾驶汽车对周围环境的领悟会越来越可靠，将来的机器东谈主助手也许果然能像东谈主一样在三维空间中自由举止。这些不是远处的科幻，而是这篇"菜谱"所样貌的工夫蹊径图上，还是不错看到轮廓的事物。

关于这个规模的商量者来说，这张舆图同样有价值——它了了地标出了哪些场所是还是招引的熟地，哪些场所是尚待探索的郊野，尤其是大范围多模态数据集的缺失、二维监督学习的后劲尚未充分挖掘，以及动态四维天下建模的挑战，这些都是畴昔值得参加的主义。

若是你对这张舆图的细节感意思，不错在arXiv平台通过编号2606.04291查阅齐备论文，商量团队还在GitHub上襄助了一个接续更新的数据集列表，地址在论文首页有齐备标注，供社区接续参考和孝顺。

Q&A

Q1：三维高斯溅射（3DGS）和神经辐照场（NeRF）有什么实质分离？

A：神经辐照场把通盘场景编码进一个神经蚁集，渲染时对每条后光上的无数点查询蚁集，速率慢（每帧需要几秒致使更长）。三维高斯溅射则用无数显式的三维椭球（高斯球）平直暗示场景，衔尾高度优化的光栅化渲染器，将渲染速率进步到毫秒级，不错及时渲染。两者都以多视角图像看成输入，但暗示方式和渲染效力有实质互异，3DGS更快、更妥当及时应用，NeRF表面上更天真但更慢。

Q2：PointNet是什么，为什么处理点云数据需要特殊的蚁集？

A：点云是三维空间中一堆莫得固定挨次的错落点，而传统卷积神经蚁集需要数据陈设在整皆的网格里（比如图像的像素网格）。PointNet是第一个平直处理无序点集的深度学习蚁集，它用对称函数（如最大池化）来处理点的无序性，使得不管点的输入挨次如何，最终索求的特征都相通。PointNet之后，PointNet++、PointTransformer等方法进一步引入了档次化特征索乞降小心力机制，性能接续进步。

Q3：二维监督学习三维是什么道理，为什么这个主义要紧？

A：三维数据采集老本极高，而互联网上稀有十亿张二维图片。"二维监督学习三维"是指用无数普通图片而不是立志的三维扫描数据来教师三维领悟模子，中枢工夫是可微分渲染——让模子渲染出图片，再把渲染拒绝和实在图片的差距看成学习信号反向传播。DUSt3R、VGGT等方法都是这个主义的代表，它们能在简直不依赖三维标注的情况下，从图片平直预计出三维坐标和相机位置博亚体育中国官网入口，大幅责难了三维领悟的数据门槛。

• amp
• quot
• 3D
• 博亚体育中国官网入口
• 视觉

---