提示：此gif在点击时开始和停止S3D：没有痛苦就可以收获
Google在今年4月宣布了VR视频新格式
VR180的技术细节。 格式规格已上载到
GitHub上的
Google存储库
中 ，相机制造商被要求制作
特殊相机 ，
YouTube上支持该格式。
基本思想很简单。 在“普通” VR视频（
360视频）中 ，您可以在各个方向上水平转动头部，而主要动作通常是从一侧发生的，并且整个流都将传输到设备，从而实现传输和存储
多余的信息。 实际上，在大多数情况下，无需在360度下实现观看-180度足以实现相同的效果。 在这种情况下，帧的“后半部分”用于第二角度，即获得立体声。
因此，所提出的格式比360视频具有更高的沉浸感，制造成本更低，更易于拍摄，并且
缝合没有问题。
这怎么可能？Google提供了什么？
谁会在不久的将来关心VR视频？欢迎来到Cat！
VR180简介
首先讲好。
VR180比360视频更容易拍摄。 最多可使用17个摄像机来拍摄
高质量的 360度视频（以下小米为例），这会导致工作视频的大小，局部故障，过热，摄像机焦点不稳定等诸多问题。同时，从简单用户的角度来看，它们被认为是最好的带有
两个鱼眼镜头（
一个 ，
两个 ，
三个 ）的相机。
来源新格式也用两台相机拍摄。 这显着降低了终端设备的成本。 同时，大大简化了拍摄技术，因为使用传统相机进行拍摄的所有技巧仍然是有意义的（只有结果可能会更加壮观并且具有沉浸感）。 对于成功的格式，每个家庭主妇和每个学校的学生都可以轻松使用它很重要。 因此，越简单越好。
此外，在VR180中，所谓的拼接（粘合）问题消失了-在拼接两个摄像机的图片的地方出现了非常明显的伪影。 直到最近，似乎要花一点时间才能解决缝合问题。 las，事实证明它们要复杂得多。 如果在粘合边界处有快速移动或半透明的物体，那么在自动模式下视频处理算法的当前发展水平上，该问题无法解决。 当然，自动抠图算法正在发展，但是
即使使用深度学习方法也无法保证没有伪像 。 VR180中没有针脚，这意味着，从原理上讲，与此没有关联。
最后，几乎总能拍摄360度视频。 也就是说，从双目视觉的角度来看，图片被感知为悬挂在眼睛前的某个屏幕上，这通常会降低“哇效果”和浸入效果，并且VR180最初是默认为立体声格式。
在预测格式的成功方面，所有这些观点看起来都非常有希望。 因此，制造商非常积极地开始生产专门针对VR180的相机，例如：
小米进入 VR180市场的事实无疑令人鼓舞。
还有一些解决方案，可让您组装摄像机以从两个带鱼眼镜头的普通摄像机拍摄VR180。 有时仅打印或购买一个底座就可以开始实验就足够了（以下是GoPro，数字“肥皂盒”和Sony镜子的示例）：
来源
来源： http ： //products.entaniya.co.jp/en/products/equipment-for-3d-stereo-180-vr/此外，当一台摄像机同时支持VR180和360视频格式拍摄时（这是一个“翻盖”，可以以最小状态拍摄360而以扩展状态拍摄VR180）时，有一些有趣的解决方案：
来源除其他事项外，为
尝试拍摄VR视频开辟了
新的视野 （在Xiaomi YI Horizon VR180相机的照片中）：
VR180中用于拍摄的新设备数量非常多，这极大地促进了新格式的普及。
VR180的介绍
如今，公司正在尝试尽可能地实施VR，他们希望使该格式更加流行和广泛。 最重要的是-便宜。 Google也不例外。 每个人都记得他们在预算中决定将“头戴式显示器HMD”引入一般用途
-Google Cardboard的预算。
当然，它的功能无法与昂贵的HMD进行比较，但其主要目标已经实现：使VR更易于访问，并将每部智能手机变成虚拟现实头盔，而额外花费不到1美元。
在成功的
基础上，Google推出了一种新的
VR180格式，
该格式支持上传到YouTube和特殊的搜索过滤器：
这是“从内部”使用新格式的
视频帧的样子：
在MP4中，添加了特殊的元数据，可将视频转换为球形。 一般而言，如果您仅点击链接，则很可能会看到一个普通的平面视频，这是因为除了VR180视频之外，还向该站点上载了一个角度（左侧）在一个普通矩形上的投影。 要查看上图所示的图片，例如，您需要下载纯MP4格式的视频。 基本上，它们的分辨率为4K。 当使用Cardboard应用程序（ Google Play ， AppStore ）在移动设备上查看相机时，可以保证具有移动相机的功能。 好吧，当然是在成熟的HMD中。这种视频的拍摄，类似于硬纸板头盔，也应该足够便宜，
可以在用户之间广泛分发。 以这种格式拍摄视频的相机的价格约为300美元。 与昂贵的
立体游戏相比
，这是一个全新的水平。 似乎一切都很好。 但是，问题在于新格式是立体声格式，众所周知，立体声格式有很多难题需要解决。
VR中的立体声质量
一旦涉及到立体声（通常用3D表示），人们立即就会想到进入3D电影院所带来的
头痛 。 我们在大量文章（
一 ，
二 ，
三 ，
四 ，
五 ，
六 ，
七 ）中详细探讨了造成这种不适的原因，但涉及立体电影。 简而言之，出于多种原因，制作（或转换）了许多3D电影，以便对立体视频伪像敏感的观看者只能提前携带柠檬黄。 不幸的是，3D电影中的大多数问题都与立体伪影有关，VR180中也发现了这种伪影。 因此，在虚拟现实中观看视频时，导致此类影片不适的所有因素也会导致不适。 甚至对VR180内容质量的基本验证都表明，它可以与上世纪中叶左右的传统立体声音响媲美...
换句话说，发烧友会很高兴，但是广大观众会抱怨。
为了分析立体声视频的质量，我们使用了
VQMT3D项目，该项目正在莫斯科国立大学VMK系的计算机图形学和多媒体实验室的
视频组中开发。 其目的是为立体声电影的作者提供在后期制作阶段跟踪
所有可能的伪影的发生的能力。 而且由于VR180也是立体声的，因此该项目实际上需要保留一些格式才能适用于这种格式。 在以下示例中，使用VQMT3D获得帧信息。
颜色失真
这个问题最容易理解，而且相对容易解决。 闭上一只眼睛，看着一些物体。 现在用另一只眼睛做同样的事情，并回答一个问题：当眼睛改变时颜色会改变吗？ 在一般情况下，不会。 因此，在立体声视频中，相同对象在左右角度上的颜色不应存在差异。 但是，这是我们在YouTube上拍摄的真实视频中看到的（注意实心区域，例如天空或水域）：
影片连结可能由于多种原因而发生颜色失真，例如，由于相机的校准不同，加热其矩阵或镜头的边缘暴露在光线下。 因此，即使对于同一台相机使用相同的拍摄参数，色彩也会明显不同。
当使用运动补偿将直角减小到左侧时，使用“棋盘”可视化此伪影是最方便的，然后以棋盘图案选择左角和减小的直角的块。
以下是光源落入框架的示例：
影片连结光源本身不仅在不同的角度上有很大的不同，而且还会使整个图像的色彩产生眩光。
一个更强硬的例子，当太阳照到框架上时：
影片连结由于摄像机与太阳对置的设置不成功，因此在矩阵上以红色高光形式出现了严重的伪影。 颜色失真在现实生活中非常罕见，并且上述类型的伪影根本没有发现，最终导致观看时疲劳的累积。 不幸的是，在观众中最敏感的部分，疲劳变成了头痛。
清晰度差异
拍摄立体声视频时出现的另一个问题是左右角度的清晰度差异。 在现实生活中，这个问题很普遍。 例如，如果您在计算机上坐了10-12个小时，专心地凝视着屏幕
（您必须
同意，这种情况会发生） ，那么在一天结束时，左右眼的焦点会明显发散，并且可以确保轻微的近视/远视直到晚上。 同时，大脑成功地弥补了这个问题。 相对而言，我们可以从右眼或左眼获得远距离/近距离物体的清晰图像细节。 也就是说，以工程语言来说，该问题可以通过内置工具定期解决。 通常在早晨，视力会恢复。 一切都会好起来，但是在真实的立体声视频中，焦点可能会在场景之间“跳跃”。 事实证明，“右眼”变成右眼，然后变为左眼，有时两眼都看得很好，从而导致观看时明显不适。 特别是对于那些已经“平稳”了视力的人。
VR180的差异示例，为了更好地显示，在两个角度显示了相同区域的放大片段：
影片连结这是此框架的另一部分：
影片连结由于技术原因，此伪像的出现是由于相机的焦点发散所致。 而且由于缺乏专业的后处理功能，即使“ vyrviglaznye”场景也可以在YouTube上使用。
影片连结放大图像上几乎所有标签的清晰度都不同。 注意“ 12 CH”字样，观看时会不舒服“频闪”。
时移
奇怪的是，尽管很长时间以来，计算机核心已经成功地同步了数百万秒，但在拍摄时，立体相机的拍摄速度仍为百分之一，甚至十分之一秒。 一只眼睛看到另一只眼睛尚未发生的事件！ 在现实世界中，您甚至都无法想到类似的解决方案。 在VR180中也发现了这种伪像。
请注意框架右侧带有霓虹灯的窗口：
影片连结分析颜色差异时偶然发现了这种时移，此处也存在这种差异。 即使不使用旨在发现
暂时性变化的特殊指标，闪烁的信号也令人震惊。 简而言之，左框架在右框架后面！
这是同一场景中的另一个示例。 看一下行人脚下：
影片连结在这里可以清楚地看到，在右框架上，脚比左框架移动得更远，好像一帧在另一帧后面落后了片刻，尽管它们应该在同一时刻被准确地拍摄。 我们进行了一项实验，
向302个观看者显示了带有不同伪像的立体声电影的短片段，并询问智能手机/笔记本电脑中的每个片段是否填写了表示疼痛程度的表格。 时间推移已显示出自己是最痛苦的假象-这对大脑来说是不可能的情况，尝试对其进行“处理”会导致明显的明显不适。 不幸的是，通常少于一帧的偏移是常见的，并且修复起来并不容易。
顺便说一下，在上面的示例中，也可以用肉眼在摄像机角度（尤其是在左下角）之间看到框架，这也很不舒服，但是更容易固定。 但是，其他文物是一个单独的大故事，我们希望可以重温。
Google“陷入困境”？
这些伪像似乎是业余拍摄过程中获得的视频中固有的，如果正确使用，则相同的照相机可以提供良好的图像。 不幸的是，事实并非如此。 这是
VR180格式的
促销视频剪辑，位于VR180的官方页面上。 看来他应该设定质量标准。 但是如果你仔细观察...
颜色差异：
绝对在所有点上都有颜色失真。 好像其中一项缩写错误地将白平衡设置得稍大。
这已经是框架中很大一部分没有失真的情况。 但是右下角的颜色仍然明显不同，在观看时会引起特征性的视觉“条纹”。
值得注意的是，在没有特殊的立体分析工具的情况下，道路上的色彩失真也很明显。 它是通过逐帧观看视频而发现的（类似于处理具有不同参数的视频）。
清晰度差异：
在这里，地板和沙发接缝处的差异最明显。 清晰度的最大差异恰好在物体的边界处。
结论
到底我们有什么？
包括360视频在内的VR正在积极分发。 该技术吸引了用户并且看起来很有希望。 但是当前实现的技术质量导致观看不舒服。 结果，一定数量的对尝试使用新格式感兴趣的人会头疼，如果拍摄不成功（通常是剧烈的相机移动），他们会头昏目眩和恶心，这会导致格式令人失望。
该怎么办？
目前，许多人（包括我们在内）都在开发
用于质量控制以及解决立体声问题的工具。
这里，例如，色彩校正示例：
左侧是原始角度，右侧是使用我们的算法进行了颜色校正。 突出显示的角度已完全校正。
天花板上的颜色反弹回来。
有关自动颜色校正的更多示例，请参见有关
立体声中的颜色失真的单独文章。
总共，目前正在检测大约20种类型的捕获和转换后的立体声视频伪像，其中大多数也与VR180有关。 将来，计划扩展监视和改善VR视频质量的方法：
- 适应VR的当前质量控制方法
- 伪影校正方法的添加和实现
- 自动报告视频并预测观看带来的痛苦，以警告用户并评价制造商的内容，从而激励他们更加注意质量
整个格式的前景如何？
显然，当前的问题是技术的初期问题，并将积极加以解决。 可以预期：
- 相机制造商将提供解决一些基本问题的软件
- 随着时间的推移（如果有需求），将出现用于校正工件的专业软件
- YouTube很可能会在加载VR180视频时自动实施一些伪影校正，就像现在可以自动修复旧的2D视频的抖动和隔行扫描一样
从有趣的角度来看：现在有一种智能手机的时尚，其背面带有3-4个摄像头，可大大提高照片质量。
资料来源： 三星Galaxy A7 （2018）和三星Galaxy A9 （2018）可以预见的是，随着VR180的普及，所有主要的智能手机型号都将内置对VR180的支持。
是的，最有可能的视角不是180°，而是更小。
是的，质量很可能会比专用相机差。
是的，拍摄立体声视频将需要压缩大量信息流（当今的智能手机仍然设计得很差）。
是的，您需要将两个广角摄像机放在更远的地方。
但是从技术上讲，今天在旗舰机型中实现VR180支持并没有严重的障碍。 唯一的问题是格式越来越受欢迎，因此需求量很大，因此对此产生了激励。
很显然，当高端智能手机开始支持VR180拍摄时，YouTube上相关视频的数量将像雪崩般开始增长。
在展览中，您还可以看到智能手机和平板电脑的自动立体显示器，随着分辨率的提高，它们的质量越来越高。 至少，它无法与上一轮浪潮
中2010-2011年的整体观察结果相提并论。 在撰写本文时，宣布了
RED Hydrogen One ，这是第一款具有新一代3D屏幕的SERIAL智能手机，因此有机会购买专业人士在展览中看到的东西。
该过程正在进行中，并且随着屏幕分辨率的提高，它肯定会更快。主要障碍是缺乏内容。显然，这个“鸡鸡蛋”问题将很快得到解决。
一般结论：
VR180具有以下重要优势：
- 与360度视频相比，VR180在3D中的沉浸度明显更高
- 没有来自多台摄像机的拼接（粘合）视频伪像
- VR180相机足够便宜
- 拍摄VR180明显比使用普通相机拍摄更容易，对于非专业人士而言也更容易，例如，大量粉丝相对容易以VR180格式拍摄视频
- 随着时间的流逝，您可以期望智能手机中对VR180的支持
- , VR180 ( , )
VR180:
总计：
- VR180 , , , , «»
- 随着VR180的日益普及，即使没有用户的参与，许多“儿童问题”（包括与立体声有关的问题）也可以相对容易地解决，而仅仅是在上传视频时就可以使用该服务。从算法上讲已经有可能
- 该格式的流行取决于“鸡肉和鸡蛋”的问题：应该出现足够的设备进行拍摄和观看。同时，与360视频VR180不同，从技术上讲，它将很快在任何智能手机上拍摄。而且，如果Google Pixel 5 XL可以“开箱即用”支持VR180，那自然而然
- 结果：从长远来看，十年的VR180注定会受欢迎！
减少大家的头痛！您的Konstantin Kozhemyakov和Dmitry VatolinPS致谢
我衷心感谢：- , , ,
- Google VR180, , ,
- . .. ,
- ,
- , , , , , , , !
另请参阅：