使用360°视频技术代表文化活动的可能性

作为我们在ITMO大学设计与多媒体中心的工作的一部分,我们撰写了一篇有关使用虚拟现实技术保护文化遗产的有趣文章。他们描述了许多自己的“案例”-博物馆,音乐会,文化活动,还谈到了Korela Fortress(列宁格勒地区)互动之旅的独特项目,该项目首次将3D重建和互动式360视频结合在一起。

图片

这些材料的英文版将于5月在国际会议“ ArtsIT,交互性和游戏创作”丹麦埃斯比约)上发表。这是略微改编的俄语原著。



虚拟现实及其应用程序

当前,虚拟现实技术及其应用程序正在得到大力开发。通过在文化和艺术中使用此类技术,创造了巨大的机会,因为它们提供了观众在文化活动中心的存在感。 360°视频技术是为虚拟现实系统创建内容的有希望且积极发展的方法之一,它使您可以创建具有不同程度交互性的全景视频,观看者可以根据自己的意愿控制视频的视角。这样的视频可以在虚拟现实头盔中看到(例如,在Oculus Rift,Samsung Gear VR,HTC Vive中等),并在智能手机上使用特殊应用程序,而图片则根据用户头部的旋转而变化。您可以在个人计算机的显示屏上观看360°视频。在后一种情况下,用户使用鼠标或键盘控制视图。

图片
在Samsung Gear VR耳机中观看360°视频目前,

许多大公司(Facebook,诺基亚,三星,谷歌等)正在开发用于拍摄360°视频的相机,用于各种智能手机和台式机的虚拟现实耳机,以及各种声音记录设备,可产生环绕声(双耳)并允许实现各种多媒体360°技术。

360°视频技术在教育中的应用尤其重要。交互式360°视频可以提供与最终用户的互动,因此,这种方法可以广泛地用于培训各个领域的专家,在这些领域中,需要活动中心的到来,以掌握实际的工作经验。 360°视频技术可让您分析员工在各种任务中的团队合作,从而提高教育过程的质量。

360°全景视频在保护和提供文化遗产访问方面发挥着重要作用。这项技术提供了一个独特的机会,不仅可以欣赏博物馆封闭档案的沉浸效果,还可以欣赏被时间或环境破坏的重建历史古迹(三维虚拟重建)。此外,虚拟现实是残障人士在全球旅行和行走的独特机会。

谈到360°视频技术方面的娱乐领域,观众可以参观最大的文化节,在自己喜欢的音乐家旁边登台,或者在皇家盒子里观看戏剧表演。
在ITMO大学的设计与多媒体中心,正在实施一个在文化和艺术中发展和应用360°视频技术的项目。Video360Production.com。在该项目的框架内,从原始的360°视频和声音记录设备的开发到解决该领域许多问题的软件的开发,都有可能获得获得高质量内容所必需的某些结果。

360°多媒体技术

当前正在开发可用于以360°视频格式拍摄视频的特殊相机。但是,借助特殊工具和软件,您可以使用现有的摄像机拍摄360°视频。
这种方法的一个引人注目的例子是整个许多项目为GoPro HERO 4摄像机提供了特殊的装备,装备中的照相机数量从6到14(立体声选项),具体取决于任务。拍摄后,使用单独提供的程序将视频流缝合到公共视频区域中。

此外,几家大型IT公司和电子制造商宣布了他们自己的用于拍摄虚拟现实内容的全自动解决方案-Google Jump + GoPro Odyssey三星Beyond诺基亚Ozo

图片

GoPro的奥德赛,诺基亚OZO和三星项目除了

我们个人,我们所描述的诺基亚OZO相机的印象在这里

360°视频是一个新的,不断发展的方向,目前尚无指导标准,这为创造力以及新思想和方法的发展提供了广阔的空间。通过具有多个镜头的相机可以实现完全浸入的效果,使您可以拍摄周围发生的一切。但是,这带来了许多困难,因为在以360°视频格式拍摄时,许多导演法不适用。在虚拟现实耳机中观看360°视频的主要区别在于观看者有机会观看他周围的内容,这意味着导演将必须为观看者提供动态选择视角的能力,而不是将眼睛聚焦在屏幕的特定部分上。

解决此问题的方法是从范式转换的角度出发,对场景进行详细的考虑-留在3D视频空间中。每次拍摄都需要标准的准备工作(设置光线,最适合相机的点,场景和场景的位置)和非标准的方法(对于每个相机支架来说都是特殊且通常是唯一的),要考虑到360°录像功能,正确的相机方向,环绕声录音)。录制音乐会时,为了获得更高的真实感,通常将来自摄像机或立体声麦克风的声音与导演控制台的声音结合在一起。

使用360°多媒体技术观看文化活动

用于虚拟现实头戴式耳机的video360production.com项目的录像集合包含五十多个不同的视频:音乐会和音乐节,历史古迹游览,博物馆游览,剧院表演,各种文化活动和技术过程。


Bravo Group,《爱不会燃烧》,全景视频格式


以全景视频的格式对“列宁格勒”进行分组


“ Ecohiter”沥青铺设技术,全景宣传视频

在录制音乐会时,必须以高质量的方式传输图像和声音。此外,有必要考虑摄像机的位置,因为在360°摄像机上记录时,诸如“前”和“后”等概念变得无关紧要。另外,有时多达二十个人同时出现在现场,这使摄像机的安装变得复杂。录像带使音乐家可以从侧面看自己,评估音乐会期间音乐家的位置,以及观看公众对表演的反应。反过来,在这次拍摄的帮助下,观众能够详细检查每位音乐家的游戏,并将自己沉浸在乐团或乐队创造的氛围中。


野餐组的音乐会以全景视频的形式进行

,在俄罗斯著名的野餐组的拍摄过程中,出现了以下困难:音乐会在明亮的聚光灯下在音乐厅的暗室举行。这些条件对于普通相机来说是困难的,因为即使在最大分辨率下,传送逼真的色彩深度也是一项相当困难的任务。

360°格式音乐会的视频录制比标准视频录制具有巨大优势,因为观众可以感受到身处舞台空间的效果,并且可以完全自主地决定当下的观看位置-是观看吉他手演奏还是独奏,甚至看在音乐家的“眼神”下举行音乐会,将他们的背向舞台,观看观众的热烈反应。
为了获得完全沉浸的效果,您不仅需要高质量的图像,而且还需要“现场”声音。对于音乐家和经常参加音乐会的观众来说,舞台上的“技术”声音与大厅中听到的声音相距甚远,这并不是秘密。该项目的音响工程师将立体声麦克风的声音与录音棚的录音结合在一起。结果,声音保持了高品质,但保留了“生动”:在观看录音时,您可以听到观众的反应和歌声。

除了音乐团体之外,video360production.com项目的表演者还与圣彼得堡最大的剧院进行互动,其中有许多表演和音乐表演被拍摄。通过拍摄城市的历史遗迹和博物馆的游览提供独特的机会。在人类学和人种学博物馆。彼得大帝(Kunstkamera)以360°视频格式播放,在重建开始之前,一个大型学术(Gottorp)地球仪被取下-北方战争期间,荷斯坦公爵卡尔·弗里德里希(Karl Friedrich)给沙皇彼得一世的外交礼物。

图片
以360°视频格式拍摄大型学术(Gottorp)地球仪

实施ITMO大学和国家冬宫博物馆“存在点”联合项目,并计划在此框架内使用全景视频技术展示博物馆各个区域的活动。

图片
在国家冬宫博物馆以360°视频格式拍摄视频片段“孔雀钟”。项目作者创建的YouTube频道的

访问者的兴趣日益浓厚,他们还将沿着圣彼得堡的河流和运河进行虚拟漫步。

特别要注意的是在Solovetsky修道院拍摄360°各种事件的视频。索洛维茨基修道院在俄罗斯的历史和文化中发挥了特殊的作用。生于十五世纪。作为“俄罗斯修道院之父”的精神追随者沙漠化的地方。拉多涅日的谢尔盖乌斯(Sergius Radonezh)在短时间内成为俄罗斯北部的精神,文化,政治和经济之都。在索洛维茨基僧侣们的努力下,他们给俄罗斯教会了一个神圣的禁欲主义者,基督教信仰遍布了俄罗斯次极地区的广大地区。

索洛维茨基修道院的活动在决定性程度上促进了俄罗斯人口涌入白海地区。海军修道院对经济发展和波美拉尼亚海域产生了决定性影响。这成为俄罗斯北冰洋北极水手发展和俄罗斯成为强大北极强国的先决条件。

索洛维茨基修道院的地理偏远使得许多人很难亲自参与那里发生的事件。使用360°视频技术拍摄此类事件并通过Internet提供对这些事件的访问,可以在使用虚拟现实小工具时感觉像是此类事件的参与者。
这项工作的结果是,在索洛维茨基群岛上拍摄了10多个场景:游览Sekirnaya Gora的升天神庙,为索洛维茨基修道院的圣殿服务,圣诞节礼仪,Vespers,索洛维茨基修道院的儿童圣诞节派对,修道院颂歌,各种修道院和大索洛维茨基岛。


以360°视频格式

图片
在Solovetsky 修道院的教堂中的服务以360°视频格式在Sekirnaya Gora(索洛维茨基群岛)的升天教堂的游览在360°视频格式中的

交互性

尽管事实上在各种虚拟现实耳机中观看360°视频都可以提供高品质通过虚拟沉浸在视频内容中,下一步是可以将各种交互元素引入360°视频格式的视频材料中。

这些元素可能是:
•虚拟空间内部的活动标记,可沿先前在360°视频技术中捕获的各种轨迹移动;
•将各种附加内容(图像,视频,超链接等)引入360°视频-“画中画”功能;
•从360°视频过渡到重建现实的模拟3D空间。

基于Unity3D系统,在ITMO大学的设计和多媒体中心实施了以360°视频格式在科雷拉要塞博物馆周围的互动参观。此全景视频之旅带有交互式控件,旨在在Oculus Rift虚拟现实耳机中进行观看。

交互式交互使选择路线成为可能:在某些点(分叉),为用户提供了选择所需的游览继续或返回的机会。元素的引导是通过转动头部来进行的,可以使用Oculus Rift对其进行跟踪。将视线放在所选元素上几秒钟的同时,该元素被激活,下一个360°视频片段开始。为了增加瞄准时的交互式交互可见性,启动了填充圆形加载条的动画。

图片
科雷拉要塞博物馆附近的互动运动地图

在“过道”上有专业的指南,在轨道的可通过部分,过道上讲述对象,该指南不再存在,以免重复信息。如果需要,用户可以通过按键盘上的键或使用交互式元素来跳过视频的一部分。

互动交互的第二种形式是能够从360°视频切换到堡垒的虚拟三维重建。科雷拉要塞的重建是“多媒体信息系统”“西北古代要塞”项目的一部分。元素出现在视频巡视的某些点上,激活该元素后用户将移至3D重建,并有可能使用Unity3D图形引擎在虚拟重建空间中自由移动。在与实际记录的静态点标记重合的虚拟重建位置中,发光门户位于重建中。进入此类门户后,用户将返回到视频游览的相应点。

结论

360°多媒体技术是新兴的技术领域,可让您为人类活动的所有领域(文化,艺术,教育,科学,旅游,广告,工业生产,政府等)的虚拟现实耳机创建高质量的交互式内容。 。

从娱乐业的角度来看,尤其是360°格式的故事片的创作,预计将开发出许多新的创意和技术过程的方法和方法,使观看者沉浸在新的虚拟和互动水平中。
文章作者:Borisov Nikolay,Smolin Artem,Stolyarov Denis,Scherbakov Pavel,Trushin Vasily

Source: https://habr.com/ru/post/zh-CN392565/


All Articles