苹果「空间重构」背后：200 年新视角合成技术的发展与突破

【突发】苹果 iOS 27「空间重构」功能亮相苹果在即将正式推出的 iOS 27 中给相机/相册做了一个「空间重构」(Spatial Reframing) 功能。开启该功能后用手指在照片上划动照片会呈现出「深度」继续划动还会出现原图中被遮挡的区域由 Apple Intelligence 实时生成填补。通过「空间重构」可以对原图的场景创建一个从并未被拍摄的角度「拍摄」出的副本。一张静态照片原本不携带深度信息但苹果利用空间计算经验可从中推断出深度。【骗局】Nishika N8000 胶片相机的真相虽展示的照片看似是「空间重构」样片但实际是胶片摄影师 Jason Kummerfeldt (YouTube: grainydays) 用 1989 年发布的 Nishika N8000 胶片相机所拍。其原理是平行放置 4 个镜头同时拍下 4 张同一场景、视角平行但有细微差异的 135 画幅半格照片占用两格胶片位置。Nishika 将其定位为「能拍摄 35mm 胶卷的 3D 相机」用户需将胶卷回寄冲洗印刷成「裸眼 3D」光栅照片。然而这背后是复杂骗局Nishika 注册于美国内华达总部在拉斯维加斯郊区生产在香港及中国大陆。产品质量差采用低质量塑胶镜头对焦用小光圈泛焦快门固定 1/60 秒机身内部无棱镜顶部凸起是空心塑料壳机顶贴纸伪装液晶屏幕热靴是冷靴还塞了配重。其销售策略包括电话或邮购甚至发展出类似安利的传销模式1994 年因资不抵债宣告破产光栅冲印服务消失N8000 成了质素不佳的相机二级价格一度跌至几美元。【先驱】Nimslo 公司的悲情故事爱好者圈子里有两类商家Nishika 属于站在巨人肩膀攫取利润的一类而 Nimslo 公司属于用热爱开创新空间的一类。上世纪 70 年代香港工程师卢国华实现多镜头 3D 胶片相机到光栅印刷全流程闭环攻克高精度立体摄影难题。美国商人杰瑞·尼姆斯与卢国华在香港合伙组建公司后总部迁至美国亚特兰大1976 年提交专利公司名为 Nimslo。1982 年Nimslo 第一款同名产品 Nimslo 3D 相机问世获天美时手表老板、挪威船王弗雷德·欧尔森注资 1700 万美元生产线设在苏格兰天美时工厂。但公司遭遇诸多灾难首批相机出货时天美时苏格兰工厂罢工临时找日方外包错过上市黄金期光栅照片冲洗印刷不便废片率高、收费贵、等待时间长消费者体验差。Nimslo 3D 相机采用 4 颗高品质光学玻璃镜头自动曝光系统先进但售价高达 200 美元折合今天 700 美元左右实用性不高。1986 年Nimslo 宣布破产Nishika 接盘但仍未能拯救 4 眼 3D 相机命运。【探索】空间摄影先驱的努力与成果如今人们谈论空间摄影/空间计算先驱会想起苹果「空间重构」、Vision Pro、iPhone 7 Plus「人像模式」、HTC One M8 后期重对焦、Facebook 3D Photos 等还有光场相机。Nishika 及 Nimslo 虽不是典型空间摄影先驱但 Nimslo 创造的多镜头相机与空间重构等都在解决「新视角合成」难题。从 21 世纪 10 年代开始人类技术可「凭空」合成相机视角先辈思路是堆砌镜头光场相机是这一思路集大成者。【相似】Lytro 与 Nimslo 的关联与命运公允来讲Lytro 未受 Nimslo 影响但二者在很多角度相似。20 世纪初法国物理学家加布里埃尔·李普曼发明基于光干涉现象的彩色摄影方法获诺贝尔物理学奖其「积分摄影」理论成为后世光场相机和「新视角合成」重要基础。1996 年斯坦福大学图形学教授马克·勒沃伊和帕特·汉拉罕发表「光场渲染」论文证明捕捉足够光场数据可合成新视角。2002 年吴义仁加入勒沃伊领导的斯坦福图形实验室因给朋友女儿拍照的想法组装出世界上第一台手持光场相机原型其关键在于自行改装的微透镜阵列。2006 年吴义仁博士论文获 ACM 最佳博士论文奖毕业后创立 Lytro 公司。2011 年第一代 Lytro 相机上市引发震动但产品分辨率低、第二代定价高未获市场认可。2014 年HTC One M8 用双摄像头和简单算法做出重对焦功能。2016 年Lytro 商业实践终结资产、专利和员工被 Google 收购。部分前员工去了 Light 公司Light 开发的光场相机 L16 也退出消费级市场。【突破】NeRF 与 3DGS 的发展与影响Lytro 创始人吴义仁重返学术界后其博士生本·米尔登霍和普拉图尔·斯里尼瓦桑 2020 年提出神经辐射场 (Neural Radiance Fields, NeRF) 概念。NeRF 承袭光场摄影技术研究颠覆 3D 场景表达方式用「隐式表达」取代「显式表达」是计算机视觉和图形学领域关键突破可理解为 3D 领域的 Transformer。NeRF 促进「神经渲染」学科繁荣还应用于生成式 AI 技术终结早期视频生成模型空间一致性幻觉。2023 年3D 高斯泼溅 (3DGS) 问世解决 NeRF 训练和渲染慢的问题继承其核心思想成为世界模型落地的工业基石。【创新】Google 计算摄影的成就马克·勒沃伊 2014 年从斯坦福大学荣休后加入 Google 进行计算摄影研究。Google 计算摄影团队靠算法推出备受喜爱的 Google Camera 和 Pixel 手机计算摄影技术。Nexus 6 手机上的 HDR 能合成动态范围远超传感器极限的照片其原理类似曝光包围但算法参与度高。2018 年Pixel 手机推出 Night Sight 夜景模式在极暗环境拍出高质量照片靠引入学习日光色彩的神经网络修正色彩。勒沃伊团队在 Pixel 人像模式上贡献大单镜头配合神经网络可从平面照片「猜」出深度在 2018 年用落后摄像头战胜对手。这让行业明白手机相机上限在算法此后手机行业步入计算摄影时代。2020 年勒沃伊离开 Google 加入 Adobe2025 年其辅导团队推出 Project Indigo重新定义手机图像处理管线让 iPhone 照片效果超越硬件限制收获好评。【回归】苹果「空间重构」的研究与应用2022 年苹果在 ECCV 上发表 NeuMan 论文阐释用 NeRF 技术进行人体模型和场景重建去年在 ICLR、CVPR 上发布 Depth Pro、Matrix 3D、SHARP 三篇论文为「空间重构」打基础。空间重构研究分两阶段一阶段单镜头估算深度构建深度图二阶段单镜头合成 3D 高斯泼溅数据改变视角。SHARP 是前馈式神经网络训练一次模型后可在任何照片上快速推理输出 3D 高斯点Depth Pro 解决单镜头推断深度问题快速输出高质量深度图。二者结合使苹果不再依赖多摄像头。WWDC 同期苹果宣布 Vision Pro 相关体验转向 3D 高斯溅射从 OS 27 开始Vision Pro 呈现的是高斯点云实时渲染。苹果在论文中致敬 NeRF。从 19 世纪人们对「裸眼 3D」的向往到如今通过多种思路实现光场捕捉和空间信息合成这是一部围绕新视角合成难题的 200 年技术发展史众多发明和体验都指向用有限信息创造无限视角的愿望。