 出品 | 新浪科技《科学大家》 撰文 | 虞晶怡 上海科技大学教授/MIT 博士 引言：Fiat Lux 即要有光，是创世纪中的一个短语，意为Let there be light。原来世界处于阴暗混沌之中，有了光，自此光明与黑暗即分隔了。  科幻与科技就像一对天生亲近的同胞兄弟。科幻电影中天马行空的幻想，给科学研究者提供了无与伦比的灵感和光明；同样的，新科技也往往会在科幻电影中率先得到应用和验证，比如虚拟现实（Virtual Reality）与增强现实（Augmented Reality），即是如此。早在2009年，电影《阿凡达》的制片就通过对虚拟世界重构向大家展现太空飞船内部操作的场景，而到诺兰的《星际穿越》，不仅启蒙了普罗大众对多维空间的认识，还带来了当时最精良的视觉体验。耗资数百万美元的一段类似VR的内容，带创业者们“温柔地走出了沉寂的良夜”，让他们沉浸在前所未有的神奇幻想 （Imagination） 之中。而虚拟现实和增强现实之所以一昔之间成为万众瞩目的焦点，就是因为它们有潜力创造出一种全新的体验，使人们沉浸在一种似梦似幻，亦真亦假的环境中，超越了时间和空间的极限。然而，冰冷的现实让我们清晰的认识到，重现向真实世界一样逼真的虚拟世界，并不容易。 为什么需要光场  想搞清光场的前世今生，就需要明白人的眼睛如何工作。在人的感官里，视觉是获取外界信息最重要的渠道，大约占据了90%的信息量。人眼经过长时间的生理进化和日常训练，形成了感知外部世界的一种本能，而且这种本能对外界信息是非常挑剔的。例如，人眼对感知深度信息是非常敏感的，这包括双目视差、运动视差、遮挡和聚散度等几种方式。而且，当人在自然状态下观察目标时，眼睛是在不断变焦的，并且能够通过前庭视反射消除画面切换时的抖动和模糊。这是因为在人眼的周围有无数的光线，眼睛通过不断地改变焦距，采集来自不同方向和位置的光线，聚焦在不同的平面。加上头部的运动，人可以在很大的范围内不断地聚焦在所关心的物体上。  光场基本概念示意图 为了观察世界，人需要时刻感知到周围来自不同位置和方向的光线。这些光线的集合便是光场。在下一期，我们会着重介绍光场的历史，讲述她如何从一个物理概念变为数学模型，如何从数学模型变为计算机视觉，虚拟现实，甚至人工智能的核心。 为了要呈现人眼无法分辨的虚拟内容，一个核心的步骤就是记录外部世界的完整光场信息。如果将这些信息无损失地复现出来， 人眼便获得在自然状态下观看的真实感觉。举例来说，在佩戴市面上现有的头盔时，人眼实际是聚焦在头盔的屏幕上，而理想的虚拟现实应有能力“欺骗”挑剔的人眼和大脑，让双眼能聚焦在有不同的距离的真实世界上。现实中，若显示的内容稍有差错或延迟，人眼就会敏感地察觉到，并造成相应的神经系紊乱，引发诸如头痛、眩晕、疲劳等不适症状。去年李安的电影《比利雷恩的中场战事》，采用了120帧4K的拍摄手法，原本以为可以满足人眼的要求，却没有考虑到投影的电影屏幕是一个固定焦距，迫使观众长时间将眼睛固定在一个焦距上而产生大量的不适感。可见，对挑剔的人眼光有速度和激情是不够的。只有当我们能真正采集和显示完整的光场信息，我们才能建造真正的虚拟世界。  光场真实重建茱莉亚学院演奏会 要实现让人眼无法分辨虚拟和现实，必须满足首先人眼在自然状态下观看外部世界的条件。很多市面上 VR/AR公司只能人工合成的360°全景图片或视频，其内容首先缺乏双目立体视觉（Stereo Parallax）效果。即便采用了立体相机拍摄了三维空间信息，获得了双目立体视差，也仍然缺乏运动视差（Motion Parallax），不能形成走入走出的沉浸感。最后，如前所述，完美的沉浸感更需要加入聚焦信息，即人眼对焦在不同深度时，双眼的聚散程度不同，对焦所在的深度是清晰的，而其他深度则应该相应模糊。真实世界的景物是一个高维度的复杂数据，只有完全记录其中光场信息，并且进行不失真的重现，才能淋漓尽致的复现出真实世界，完成从现实到虚拟再到现实的闭环。 光场的未来 目前，VR/AR硬件设备和平台在高科技巨头的纷纷参与下，已经日渐成型并有高品质的硬件产品可用。与之相比，高品质 内容的开发则严重缺乏，尤其是光场内容的制作更是处于起步阶段。在虚拟现实的产业链中，内容的制作必然占据整个行业拼图中的很大份额，光场内容制作中涉及的拍摄硬件研制、软件开发和内容显示等都是关键的核心环节。现时，各国的技术差距还不明显。那怕在美国，光场技术的很多核心技术仍处于初级阶段，例如Google Seurat和 Amazon Go都在与小型初创公司如Lytro，Otoy，8i等竞争开发基于光场的VR/AR技术。因而研发光场核心技术和产品具有极大的空间和潜力。  光场重建的唐三彩陶瓷马 作为虚拟现实领域最具有变革性的新技术，光场能同时提供双目视差、移动视差、选择性聚焦三方面的视觉信息，从传统的2D平面图像提升到了4D光场图像，大大提升沉浸感和逼真度，模糊了虚拟和现实的边界。然而，光场技术从拍摄到重建到显示均面临挑战，必须从软硬件各方面共同推进。例如，由于空间分辨率和角度分辨率之间的制约问题，采集光场用的光场相机存在分辨率不足的问题。如何从冗余的光场信息中实现超分辨率光场成像，是亟待解决的一个问题。此外目前光场建模的时间普遍比较长，减少建模时间，提高建模的自动化程度将大大降低高质量光场内容的制作门槛，提高内容生成效率。新的基于深度学习的算法有望为此提供成熟的解决方案。届时互联网上数以千万计的各种商品将能通过光场建模流水线般快速高效的生成数字模型，从而将现实物体批量建模到虚拟世界。  利用光场技术，我们可以穿越到美国第五大道购物，身临其境参加顶级大学课程，与世界各地的朋友亲身一起去旅行。正如爱因斯坦所说，比知识更重要是想象。而光场，将为我们打开通往无限想象的光明之路。 |
