通过匹配投影变换图来提高全景图粘贴的质量

哈Ha！ 今天，我们将讨论提高胶合全景图质量的方法之一。 有一种广泛用于粘贴平面对象全景图的方法，但是由于这种方法并非没有缺点，因此我们提供了改进。

平移的任务是基于一组源图像构建一个合成图像（见图1）。 它可用于解决以下实际问题：

• 通过卫星或无人机对地球表面的探测；
• 将使用显微镜获得的图像粘合在一起；
• 粘贴视频；
• 超分辨率图像捕获。

图1-原始图像和全景图

通常，全景式粘贴算法可以按以下公式表示[1]（见图2）。 从一开始，就需要从视频流中提取足够数量的帧。 可以在线完成，依次读取所有帧并以必要的频率选择单个帧。

图2-使用特殊点的全景粘贴算法的流程图

之后，从集合中依次对图像进行排序，有必要检测奇异点并在这些图像上计算其描述符[2-4]。 这些奇异点使在两个框架之间构造几何对应成为可能。 以下是基于奇点的描述符的比较。 应该记住的是，这并不排除获得错误匹配的可能性。

此外，具有两组奇异点，一个应找到投影变换，以最佳方式将一帧的点转换为另一帧的对应点。 为了解决这个问题，可以使用RANSAC方法[5]。 这种方法在[6，7]中有更详细的描述。

为了搜索帧之间的投影变换，还可以使用光流，该流通常用于粘贴全景图[8]。
在获得所需的投影变换集之后，将进行胶合图像的技术过程，即：对于每个通道（RGB）的最终全景图（x，y）的每个像素，使用所有帧的坐标（x，y）计算像素强度的算术平均值，包括具有此类坐标的像素。

使用搜索投影变换的方法，可以确定相机位置相对于空间中先前位置的位移。 在实验室条件下，这些数据的计算精度足以构建平坦的静止物体的全景。 在实际条件下，当计算摄像机位置相对于先前位置的位移时，会产生计算误差（测量误差/干扰/算法施加的限制等）。 随着时间的流逝，累积误差继续以这种方式增加，即使得尽管在确定相邻位置之间的位移方面具有可接受的准确性，但是对象的整个全景图将已经包含严重的偏差（参见图3）。

图3-累积误差

我们设定了自己的目标，即开发一种方法来匹配投射变换的图形，以平移固定对象的任务，该方法可以防止累积误差的问题。 另一个目标是以不依赖于计算投影变换参数的计算方法的方式来开发该方法。

必须满足以下条件之一：

• 拍摄静止的伪刚性物体；
• 从足够大的距离拍摄接近平面的物体；
• 对于拍摄过程中所有相机位置的要求均得到满足：对于所有图像点，将这些点与相机焦点相连的光线彼此不一致。

投影变换图匹配算法的描述

我们介绍了单坐标系的概念。 单一坐标系是指一个坐标系，其中来自不同图像的对象的相同点将具有相同的坐标。 此要求可以用以下公式表示：

$$

$$f（x）= y，$$

在哪里 $$$f$ 是在帧的公共部分上定义的映射并将第一帧的点转换为第二帧的点的映射 $$$x$ -点在第一帧的坐标系中的坐标， $$$y$ -第二帧坐标系中点的坐标。

在映射的情况下 $$$f$ 可以正确地延续到帧的交集之外，我们可以用第一帧的信息补充第二帧。 因此，将获得作为两个或多个帧的马赛克粘合在一起的地图。

在找到相邻帧之间的投影变换之后，有一个初始粘合可以设置帧在单个坐标系中的唯一位置（请参见图4）。

图4-框架在地图上的明确位置

构建完图像的原始胶合之后，构建了投影变换图 $$$G$ ：

$$

$$G =（V，E），$$

在哪里 $$$V$ -很多点的四个点，它们是投影校正图像的顶点； $$$\垂直V \ vert = n$ ， $$$E$ -框架之间的许多投影变换； $$$\ vert E \ vert = m$ 。

仅当帧至少相交于时才构造顶点之间的边缘 $$$T \％$ 在主胶合上（IoU-联合上方的交点）（参见图5、6）：

$$

$$\ frac {s_ {ij}} {s_i + s_j-s_ {ij}} \ cdot100 \％> T \％$$

图5-框架相交区域

门槛值 $$$T$ 通过在两个帧之间搜索投影变换的任务的条件和图形中期望的边和循环数之间取得平衡，可以根据用于搜索投影变换的方法进行选择。

图6-图形构造示例

结果，投影变换图 $$$G$ 看起来如下（见图7）：

图7-投影变换的最终图形

如果该图包含循环（请参见图6），则其中会出现多余的信息，其中也可能包含矛盾。 为了确定可能发生哪种矛盾，我们考虑图的某个周期（见图8）。 让这个循环包含顶点 $$$1,2，...，k$ 。 然后，在此周期中，我们有一系列投影映射：

$$

$$H_ {12}：1 \ to2，\\ H_ {23}：2 \ to3，\\ ... \\ H_ {k1}：k \ to1$$

考虑以下映射的组成：

$$

$$H_ {k1} * ... * H_ {23} * H_ {12} = H_ {11}$$

图8-图循环

展示架 $$$H_ {11}$ 必须是相同的映射。 如果映射 $$$H_ {11}$ 不同于相同，那么我们说获得了矛盾。 在这种情况下，该循环将称为不一致 。 因此，存在一个问题，与射影映射图中不一致的周期的存在有关，因为将射影变换图中的矛盾完美地胶合了 $$$G$ 必须缺席。

我们描述了投影变换图的匹配算法，即匹配所有周期。 为了最小化在投影变换图中关闭循环时发生的累积误差，使用了SLAM（同时定位和映射）方法的概念[9]。

在每一帧中考虑大致位置的四个点。 让帧从编号 $$$1$ 之前 $$$n$ 那么四个点将由 $$$p_i$ 在哪里 $$$1 \ le我\ le n$ 。 这样一套四点 $$$P$ 唯一定义一个坐标系，因为对于任何两个框架，您都可以唯一地找到将一个四点转换为另一点的投影地图。

要找到确定所需一致性图的四个点的集合，可以使用最小二乘法。 我们最小化函数，它等于集合中所有边的总和 $$$E$ 算 $$$G$ ，并且对于每个边-四个数量点的总和 $$$\ Vert H_ {ij} p_ {is} -p_ {js} \ Vert$ 。 为了找到最小化功能的解决方案，建议使用共轭梯度法。

$$

$$\ sum _ {（i，j）\ in E} \ sum_ {s = 1} ^ 4 \ Vert H_ {ij} p_ {is} -p_ {js} \ Vert \到\ min_ {P}$$

在对每个框架进行投影变换以唯一地设置框架在地图上的位置之后，您可以获得全景图像。

实验结果

迄今为止，还没有评估胶合图像质量的通用方法。 通常，粘合的质量由专家感官评估，但是对于科学研究，最好进行定量的，自动计算的质量评估。

为了在没有专家参与的情况下评估胶合质量，必须要有一个标准的胶合度，以便与结果进行比较。 从真实视频中获取粘着力并将整个对象的照片视为标准粘着力的方法要求使用能够物理固定（使用传感器）摄像机在太空中位置的机械手，在良好的实验室条件下进行操作。 但是，这种质量评估方法成本很高。

在[10]中，为了定量评估全景结合的质量，作者使用高分辨率图像创建了一个人造视频，其帧是原始图像的投影失真区域（参见图9）。 由于相对于第一帧指定了单个坐标系，因此除了第一帧以外的所有帧都投影地变形。 此外，将这些人造视频帧粘贴到全景图中，然后将其与原始参考图像进行比较。 利用这种方法，可以避免所获得的胶和参考胶的亮度差异以及场景失真的问题。

图9-人工视频的原始图像和帧

为了比较在图形上达成一致之前和之后的粘合质量，准备了50张图像的测试样本，从原始图像创建了50个人工视频，并据此进行了粘合（见图10）。 将所有获得的全景图缩小到源图像的大小，并为每个全景图计算误差度量：

$$

$$RMSE = \ sqrt {\ frac {\ sum_ {i = 1} ^ h \ sum_ {j = 1} ^ w（（I_ {ij} ^ R- \ hat {I_ {ij} ^ R}）^ 2+ （I_ {ij} ^ G- \ hat {I_ {ij} ^ G}）^ 2+（I_ {ij} ^ B- \ hat {I_ {ij} ^ B}）^ 2）} {h \ cdot w \ cdot 3}}，$$

在哪里 $$$h$ -图像高度 $$$w$ -图像宽度 $$$I_ {ij} ^ R$ -像素强度 $$$（i，j）$ 红色通道上的最终全景图（ $$$G$ -绿色通道 $$$B$ -蓝色频道） $$$\ hat {I_ {ij} ^ R}$ -像素强度 $$$（i，j）$ 红色通道上的源图像（ $$$G$ -绿色通道 $$$B$ -蓝色频道）。

图10-图形一致之前（RMSE = 35.3）和之后（RMSE = 14.2）的全景图

在图形表示中，测试集上的RMSE如下所示（见图11）：

图11-测试样本的RMSE。 帧以RMSE的升序排序，直到图形匹配为止。

根据匹配前的均方根误差的每个根值，给出匹配图后的均方根误差的根值。 图一致之前，测试样品的RMSE中值为35.5 ，图匹配后为13.9 。

结论

根据比较粘合质量的结果，我们可以得出结论，匹配图形可以显着减少累积误差并提高粘合全景的质量。 但是，应该记住，图匹配仅在投影变换图中存在循环时才有帮助。 在投影变换的图形中不存在循环的情况下，图形匹配模块不会损害全景胶合的质量。

值得注意的是，这种图形匹配方法适用于一组投影变换，并且找到这些投影变换的方式对此方法不起作用。

将来，由于它仅适用于“离线”用户案例，因此计划优化该算法的复杂性。

文学作品

[1] Gubin A. Yu。，Kovin R.V. 将重叠的图像粘贴到全景图中的一种简单方法// X国际学生，研究生和青年科学家“青年与现代信息技术”国际科学和实践会议，第152页。 2012年第79-81页。
[2] Drummond T.，Rosten E.用于高速角点检测的机器学习// //第9届欧洲计算机视觉会议（ECCV），第9页。 430-443，2006年。
[3]从尺度不变的关键点降低Lowe DG的独特图像功能//国际计算机视觉杂志，第1页。 91-110，2004年。
[4] Bay H.，Ess A.，Yuitelaars T.，Van Gool L. SURF：加快了健壮的功能//计算机视觉和图像理解，v。 第110页 346-359，2008年。
[5] Martin A. Fischler，Robert C. Bolles。 随机样本共识：模型拟合的范例，适用于图像分析和自动制图//通信。 ACM版本； v。 第24页 381-395，1981年。
[6] Arlazarov V.L.，Bulatov K.B.，Chernov T.S. 在大量视频数据中进行模糊图像搜索的方法//《高可用性系统》，第12卷，第1期，第1页。 2016年5月53日至58日。
[7] Skoryukina N.等。 快照屏幕：电视流帧搜索，带有投影失真和嘈杂的查询// //第9届国际机器视觉国际会议（ICMV）-Proc。 SPIE V.10341，第103410Y页，2017年。
[8]仿射lucas kanade特征跟踪器的Bouguet JY Pyramidal实现：算法的分散化//英特尔公司，第5卷，第5页。 2001年1月1日至10日。
[9] Newman P.，Ho K.具有视觉显着特征的SLAM闭环// IEEE Proc。 国际机器人技术与自动化会议，p。 635-642，2005。
[10] Paalanen P.，Kamarainen JK，Kalviainen H.基于图像的定量马赛克评估与人工视频//斯堪的纳维亚图像分析会议，施普林格（柏林，海德堡），第179页。 470-479，2009年。