索尼：容积摄影、魅力无限

前沿科技新媒体 青亭网 今天

Esther｜撰文

近年来，容积摄影技术在音乐视频、影视、医疗、体育等越来越多的场景得到应用，比如Condense Reality利用容积摄影和AR技术来进行体育赛事直播、GIGXR用容积摄影技术制作3D AR医疗模拟课程、Metastage用容积摄影拍摄AR版音乐视频等等案例。
近年来，索尼团队通过简化工作流程等方式来推动低成本、低门槛、高质量容积视频的创作，将这项技术广泛应用于视频制作中。他们希望通过容积摄影技术提升传统视频形式的画面效果，为创作者带来更多可能的展现形式。
比如，近期索尼拍摄的一系列花样跳绳容积视频看起来比传统视频更加动感酷炫。专业花式跳绳团队J-TRAP的成员SHUN表示：表演花式跳绳约18年，这还是第一次以更加动感的方式，从多个角度查看这项运动。
据悉，通常为了避免干扰比赛，体育直播的摄像头只能在较远的地方进行拍摄，没办法从近距离角度捕捉跳绳和运动员的动态细节。相比之下，容积摄影技术通过布置在摄影棚的多颗摄像头，可从各种不同角度来拍摄运动员的动作，并生成3D模型，然后通过后期剪辑来模拟足够3D立体的拍摄画面。如果将容积摄影视频发布为3D或AR内容，那么观看者便可以从从左到右、从头到脚更自由的观看。
观众不仅可以看到运动员的头顶，还可以看到运动员脚下的动作，除了欣赏体育外还可以用来分析运动员的技术，用来学习。此外，运动员头发的动作、服装和皮肤的纹理等细节也能清晰捕捉。
容积摄影的另一大优势是，可以为捕捉到的3D视频替换背景，比如将花式跳绳运动设定在各种天马行空的场景中，这是传统体育直播难以做到的。
而索尼今年1月在日本总部开设的容积摄影工作室刚好足够拍摄一些多人运动项目，该工作室的特点是配备多颗8K摄像头，拍摄场地长达5米，可拍摄较大规模的动态场景。在这里，可以拍摄音乐视频、体育视频等表演者频繁移动的内容，不局限于静态3D捕捉。
通常，对于静态物体进行3D捕捉其实通过一个多角度移动的摄像头即可完成，市面上也有一些移动端方案。但如果要实时捕捉人物的3D动作，那么则需要解决多颗摄像头同步的问题（以保持3D数据在空间和时间上一致）。
索尼具备拍摄、渲染算法、云端数据传输一系列流程
比如在拍摄花样跳绳的时候，索尼需要同时拍摄5名运动员的动作，同时还要捕捉到高速摆动的跳绳。为了达到实时捕捉和数据处理的效果，索尼将具备全局快门功能的摄像头进行同步，并将捕捉到传输至云端进行处理和渲染。
索尼东京实验室研发中心的Yoichi Hirota表示：容积摄影最高可能会产生每秒100GB的数据，目前这种数据难以在本地计算机中实时处理，因此开发了一个可扩展的云端处理系统，这样在直播过程中，创作者就可以对容积视频进行实时的视角调整。也就是说，索尼可以用容积拍摄和云端渲染流程来直播现场活动，未来甚至还可以用于远程通讯场景。
此外，考虑到容积摄影并不是将摄像头紧密排列在所有角度，因此生成的3D视频需要通过计算机视觉算法来模拟没有被直接拍到的角度。为了提升虚拟角度模拟的效果，索尼结合2D图像处理技术和机器学习技术，来确保每一帧图像顺畅衔接。
随着VR技术发展，全景技术已经在体育直播领域应用多年，在近期开始逐渐应用于视频创作领域。但是全景视频通常是使用一台360°摄影机在固定的位置进行拍摄，拍出的视频更像是第一人称，观众无法从更多角度查看细节。相比之下，容积摄影技术是利用多颗摄像头从外向内拍摄，因此可以捕捉到多个第三人称角度，比如表演者的后背、头顶等。
索尼东京实验室研发中心的Hisako Sugano表示：容积摄影为后期视频制作带来更多可能，它可以生成一个具有纹理的3D模型，这样创作者们便可以自由调整摄像头角度。与电影领域的子弹时间拍摄手法相比，容积摄影不需要将摄像头紧密排列在一起，即使是稀疏分布于各个角度的摄像头也能从360°捕捉目标人物或物体。
视频创作者们发现，容积摄影技术可为演唱会、广告等场景带来全新的互动体验，比传统视频形式更有趣。
据悉，索尼容积摄影技术的开发重点将放在捕捉、显示和云端传输，此前就曾用该技术拍摄2019年春季的现场活动，获得观众广泛好评。此外，该实验室还与日本索尼音乐娱乐合作，在演唱会现场播放用容积捕捉拍摄到的视频，从多种特殊角度呈现音乐表演，效果足够好。
接下来，索尼将致力于不断优化技术，并借助创作者的想象力，合作开发更多新的3D内容。目前的技术已经可以实现云端3D内容渲染和传输，不过索尼希望继续发展实时渲染方案，让容积捕捉可以用在直播场景，为观众或创作者提供实时改变视角的功能。除了演唱会外，索尼还计划将这项技术用于远程互动和通讯。
当然，除了容积摄影拍摄手法外，索尼也在探索多种3D显示技术，比如前不久发布的眼球追踪3D显示屏ELF-SR1，或是今年CES上展示的光场显示方案、3D虚拟电影拍摄方案等等。总之，索尼在容积捕捉技术和应用上的确进行了多方面探索，不过这项技术若想在主流用户群普及，目前还是需要依靠移动端设备。
参考：
https://www.sony.net/SonyInfo/technology/stories/Volumetric_Capture/?s_tc=tech2020_yt_Volumetric_CEATEC_E

（ END）


 
   推荐阅读    






 
每天五分钟，轻松了解前沿科技。    
         —— 青亭网