Geekly articles weekly

Masa depan video VR - Google VR180

Petunjuk: gif ini mulai dan berhenti saat klik

S3D: Tanpa rasa sakit IS gain


Pada bulan April tahun ini, Google mengumumkan rincian teknis format baru untuk VR-video - VR180 . Spesifikasi format diunggah ke repositori Google di GitHub , produsen kamera diminta membuat kamera khusus , formatnya didukung di YouTube .

Ide dasarnya cukup sederhana. Dalam VR-video "normal" - 360-video - Anda dapat memutar kepala secara horizontal ke semua arah, sementara tindakan utama terjadi, sebagai satu peraturan, dari satu sisi, dan seluruh aliran ditransmisikan ke perangkat, yang mengarah ke transmisi dan penyimpanan informasi yang berlebihan . Bahkan, dalam sebagian besar kasus, tidak perlu menerapkan tampilan pada 360 derajat - 180 derajat cukup untuk mencapai efek yang sama. Dalam hal ini, "paruh kedua" frame digunakan untuk sudut kedua, yaitu stereo yang diperoleh.

Dengan demikian, format yang diusulkan memberikan rasa perendaman yang lebih besar daripada dari 360-video, lebih murah untuk diproduksi, lebih mudah untuk memotret dan tidak memiliki masalah dengan penjahitan .

Bagaimana ini mungkin, dan apa yang ditawarkan Google?

Siapa yang peduli dengan video VR dalam waktu dekat? Selamat datang di Cat!

Pengantar VR180


Pertama tentang yang baik.

VR180 terasa lebih mudah untuk merekam daripada 360 video. Hingga 17 kamera digunakan untuk merekam video 360- kualitas tinggi (contoh dari Xiaomi di bawah), yang menyebabkan banyak masalah dengan ukuran video yang berfungsi, kegagalan sebagian, terlalu panas, fokus kamera yang tidak stabil, dll. Selain itu, dari sudut pandang pengguna sederhana, mereka diakui sebagai yang terbaik kamera dengan dua lensa mata ikan ( satu , dua , tiga ).


Sumber

Format baru ini juga diambil dengan dua kamera. Ini secara signifikan mengurangi biaya perangkat akhir. Pada saat yang sama, teknik pemotretan sangat disederhanakan, karena semua trik bekerja dengan kamera konvensional tetap relevan (hanya hasilnya berpotensi lebih spektakuler dan dengan pencelupan besar). Untuk keberhasilan format, penting agar setiap ibu rumah tangga dan setiap siswa sekolah dapat menggunakannya dengan mudah. Karena itu, semakin sederhana semakin baik.

Selanjutnya, dalam VR180 masalah yang disebut menjahit (mengelem) menghilang - artefak yang sangat terlihat di tempat-tempat gambar dari dua kamera dijahit. Sampai baru-baru ini, tampaknya sedikit waktu akan berlalu dan masalah menjahit akan terselesaikan. Sayangnya, mereka ternyata jauh lebih rumit. Jika ada objek yang bergerak cepat atau transparan di perbatasan perekatan, maka pada tingkat saat ini pengembangan algoritma pemrosesan video dalam mode otomatis, masalahnya tidak terpecahkan. Tentu saja, algoritma anyaman otomatis berkembang, tetapi tidak adanya artefak tidak dijamin bahkan dengan metode Pembelajaran Jauh . Tidak ada jahitan di VR180, yang berarti bahwa, pada prinsipnya, tidak ada masalah yang terkait dengannya.

Dan akhirnya, hampir selalu merekam video 360-flat. Yaitu, dari sudut pandang penglihatan binokular, gambar dianggap tergantung pada beberapa layar di depan mata, yang sering mengurangi "efek wow" dan efek pencelupan, dan VR180 pada awalnya dan secara default merupakan format stereo.

Semua poin ini terlihat sangat menjanjikan dalam hal memperkirakan keberhasilan format. Akibatnya, produsen cukup aktif mulai memproduksi kamera yang secara khusus berfokus pada VR180, misalnya:


Fakta bahwa Xiaomi memasuki pasar VR180 tentu menggembirakan.

Ada juga solusi yang memungkinkan Anda memasang kamera untuk memotret VR180 dari dua kamera biasa dengan lensa mata ikan. Terkadang cukup untuk mencetak atau membeli tunggangan untuk memulai percobaan (di bawah ini adalah contoh GoPro, "piring sabun" digital, cermin Sony):


Sumber


Sumber: http://products.entaniya.co.jp/en/products/equipment-for-3d-stereo-180-vr/

Selain itu, solusi lucu muncul ketika satu kamera mendukung pemotretan dalam format video VR180 dan 360 (ini adalah "clamshell" yang memotret 360 dalam keadaan minimal dan VR180 dalam keadaan diperluas):


Sumber

Antara lain, cakrawala baru telah terbuka untuk bereksperimen dengan pengambilan gambar VR-video (dalam foto kamera Xiaomi YI Horizon VR180):



Jumlah perangkat baru untuk pemotretan di VR180 sangat besar, dan ini secara signifikan berkontribusi pada popularitas format baru.

Pengenalan VR180


Saat ini, perusahaan berusaha menerapkan VR sedapat mungkin, mereka ingin membuat format lebih populer dan luas. Dan yang paling penting - murah. Google tidak terkecuali. Semua orang ingat keputusan anggaran mereka untuk memperkenalkan "Head Mounted Display, HMD" untuk penggunaan umum - Google Cardboard .



Fungsinya, tentu saja, tidak dapat dibandingkan dengan HMD mahal, tetapi tujuan utama telah dicapai: untuk membuat VR lebih mudah diakses dan mengubah setiap smartphone menjadi helm realitas virtual dengan biaya tambahan kurang dari $ 1.

Membangun kesuksesan, Google meluncurkan format VR180 baru dengan dukungan untuk unggahan ke YouTube dan filter pencarian khusus:



Beginilah tampilan bingkai video format baru "dari dalam":


Dalam MP4, meta data khusus telah ditambahkan yang mengubah video menjadi bulat. Secara umum, jika Anda cukup mengikuti tautan, maka kemungkinan besar Anda akan melihat video datar biasa. Ini disebabkan oleh fakta bahwa selain video VR180, proyeksi salah satu sudut (kiri) ke persegi panjang biasa juga diunggah ke situs. Untuk melihat gambar seperti pada gambar di atas, Anda perlu, misalnya, untuk mengunduh video dalam format MP4 murni. Pada dasarnya, mereka memiliki resolusi 4K. Kemampuan untuk memindahkan kamera dijamin akan muncul ketika dilihat pada perangkat seluler dengan aplikasi Karton ( Google Play , AppStore ). Yah, tentu saja, dalam HMD penuh.

Pengambilan video semacam itu, mirip dengan helm kardus, seharusnya juga ternyata cukup murah untuk distribusi luas di antara pengguna. Kamera yang merekam video dalam format ini berharga sekitar $ 300. Dibandingkan dengan stereogame yang mahal , ini adalah level yang sama sekali baru. Tampaknya semuanya baik-baik saja. Namun, masalahnya adalah bahwa format baru adalah format stereo, dan stereo, seperti yang Anda tahu, ada banyak masalah sulit untuk dipecahkan.


Kualitas stereo dalam VR


Begitu datang ke stereo (dalam bahasa umum, 3D), orang langsung ingat sakit kepala pergi ke bioskop film 3D. Kami memeriksa penyebab ketidaknyamanan tersebut dalam serangkaian artikel yang besar ( satu , dua , tiga , empat , lima , enam , tujuh ) secara lebih rinci, tetapi berkaitan dengan film stereo. Singkatnya, karena sejumlah alasan, banyak film 3D dibuat (atau dikonversi) sehingga penonton yang peka terhadap artefak stereo-video hanya dapat membawa citramon terlebih dahulu. Sayangnya, sebagian besar masalah dalam film 3D terkait dengan artefak stereoskopis, yang juga ditemukan di VR180. Jadi, semua faktor yang menyebabkan ketidaknyamanan dalam film tersebut juga akan menyebabkan ketidaknyamanan saat menonton video dalam realitas virtual. Bahkan verifikasi dasar kualitas konten VR180 menunjukkan bahwa itu sebanding dengan kualitas stereo konvensional sekitar pertengahan abad terakhir ...

Dengan kata lain, penggemar akan senang, tetapi khalayak ramai akan mengeluh.



Untuk menganalisis kualitas video stereo, kami menggunakan proyek VQMT3D , yang sedang dikembangkan dalam grup video dari laboratorium komputer grafik dan multimedia di fakultas VMK, Moscow State University. Tujuannya adalah untuk memberikan para penulis film stereo dengan kemampuan untuk melacak kemunculan semua artefak yang mungkin pada tahap pasca produksi. Dan karena VR180 juga stereo, proyek ini secara de facto berlaku untuk format ini dengan beberapa pemesanan. Dalam contoh berikut, informasi bingkai diperoleh dengan menggunakan VQMT3D.

Distorsi warna


Masalah ini paling mudah dipahami dan relatif mudah diperbaiki. Tutup satu mata dan lihat beberapa benda. Sekarang lakukan hal yang sama dengan mata yang lain dan jawab pertanyaannya: apakah warnanya berubah ketika mata berubah? Dalam kasus umum, tidak. Jadi dalam video stereo seharusnya tidak ada perbedaan warna benda yang sama untuk sudut kiri dan kanan. Namun, inilah yang kami lihat dalam video nyata yang diambil di YouTube (perhatikan area padat, seperti langit atau air):


Tautan Video

Distorsi warna dapat terjadi karena berbagai alasan, misalnya, karena kalibrasi kamera yang berbeda, memanaskan matriks mereka, atau ketika ujung lensa terkena cahaya. Oleh karena itu, bahkan dengan parameter pemotretan yang identik untuk kamera yang sama, warna dapat terasa berbeda.

Paling mudah untuk memvisualisasikan artefak ini menggunakan "kotak-kotak" ketika sudut kanan dikurangi ke kiri menggunakan kompensasi gerak, dan kemudian blok dari kiri dan sudut kanan berkurang dipilih dalam pola kotak-kotak.



Di bawah ini adalah contoh ketika sumber cahaya jatuh ke dalam bingkai:


Tautan Video

Tidak hanya sumber cahaya itu sendiri sangat berbeda pada sudut yang berbeda, mereka juga mengubah warna seluruh gambar dengan silau.

Contoh yang lebih sulit ketika matahari menyentuh bingkai:


Tautan Video

Karena pengaturan kamera yang gagal di seberang matahari, artefak yang mengerikan muncul dalam bentuk sorot merah pada matriks. Distorsi warna cukup langka dalam kehidupan nyata, dan artefak dari tipe yang ditunjukkan di atas tidak ditemukan sama sekali, yang akhirnya mengarah pada akumulasi kelelahan saat melihat. Sayangnya, di bagian paling sensitif dari audiens, kelelahan berubah menjadi sakit kepala.

Perbedaan ketajaman




Masalah lain yang muncul saat merekam video stereo adalah perbedaan ketajaman di sudut kiri dan kanan. Dalam kehidupan nyata, masalah ini cukup umum. Misalnya, jika Anda duduk selama 10-12 jam di depan komputer, mengintip layar dengan saksama ( Anda harus setuju, ini terjadi) , maka pada akhir hari mata kanan dan kiri dapat terasa berbeda dalam fokus, dan sedikit rabun jauh dapat dipastikan sampai malam hari. Pada saat yang sama, otak berhasil mengkompensasi masalah ini. Secara relatif, kita mendapatkan detail gambar yang jelas dari mata kanan atau kiri untuk objek yang jauh / dekat. Artinya, dalam bahasa teknik, masalahnya dipecahkan secara teratur dengan alat bawaan. Dan di pagi hari, sebagai suatu peraturan, visi dipulihkan. Dan semuanya akan baik-baik saja, tetapi dalam video stereo nyata, fokus dapat "melompat" dari satu adegan ke adegan lainnya. Ternyata yang "benar" menjadi mata kanan, lalu kiri, dan kadang-kadang keduanya melihat dengan baik, yang mengarah pada ketidaknyamanan yang terlihat saat melihat. Terutama bagi orang-orang usia yang matanya sudah "stasioner" menyimpang dalam ketajaman.

Contoh perbedaan untuk VR180, di mana, untuk visualisasi yang lebih baik, fragmen yang diperbesar dari area yang sama disajikan untuk dua sudut:


Tautan Video

Ini bagian lain dari bingkai ini:


Tautan Video

Penampilan artifak ini disebabkan oleh perbedaan fokus kamera karena alasan teknis. Dan karena kurangnya pemrosesan pasca profesional, bahkan adegan "vyrviglaznye" dapat di YouTube.


Tautan Video

Hampir semua label pada gambar yang diperbesar bervariasi dalam ketajaman. Perhatikan tulisan "12 CH", yang akan membuat "strobo" tidak nyaman saat melihat.

Pergeseran waktu




Anehnya, meskipun core komputer telah berhasil disinkronkan selama jutaan detik untuk waktu yang lama, kamera stereo masih memotret dalam seperseratus, atau bahkan sepersepuluh detik, saat memotret. Satu mata melihat peristiwa yang belum terjadi pada mata lainnya! Anda bahkan tidak bisa memikirkan analog untuk masalah ini di dunia nyata. Dan artefak ini juga ditemukan di VR180.

Perhatikan jendela dengan tanda neon di sisi kanan bingkai:


Tautan Video

Pergeseran waktu ini diperhatikan secara kebetulan ketika menganalisis perbedaan warna, yang juga ada di sini. Tanda yang berkedip-kedip sangat mencolok bahkan tanpa menggunakan metrik khusus yang ditujukan untuk menemukan perubahan sementara . Cukup, bingkai kiri ada di belakang kanan!

Ini adalah contoh lain dari adegan yang sama. Lihatlah kaki pejalan kaki:


Tautan Video

Terlihat jelas di sini bahwa pada frame kanan kaki digerakkan lebih jauh daripada di kiri, seolah-olah satu frame berada di belakang yang lain beberapa saat, walaupun mereka harus ditembak tepat pada saat yang sama. Kami melakukan percobaan di mana kami menunjukkan 302 pemirsa fragmen pendek film stereo dengan artefak yang berbeda dan meminta setiap fragmen dari smartphone / laptop untuk mengisi formulir yang menunjukkan tingkat rasa sakit. Pergeseran waktu telah menunjukkan dirinya sebagai artefak yang paling menyakitkan - ini adalah situasi yang mustahil bagi otak dan upaya untuk "memproses" itu mengarah pada ketidaknyamanan nyata yang nyata. Sayangnya, paling sering pergeseran kurang dari 1 frame adalah umum, dan itu tidak mudah untuk memperbaikinya.

Ngomong-ngomong, dalam contoh di atas, dengan mata telanjang Anda juga bisa melihat rotasi bingkai di antara sudut (terutama di sudut kiri bawah), yang juga sangat tidak nyaman, tetapi jauh lebih mudah untuk diperbaiki. Namun, artefak lain adalah cerita besar yang terpisah, yang kami harap akan kembali ke.

Google "kacau"?


Tampaknya artefak ini melekat dalam video yang diperoleh selama pemotretan amatir, dan jika digunakan dengan benar, kamera yang sama dapat memberikan gambar yang baik. Sayangnya, ini tidak benar. Berikut adalah klip video promosi format VR180 , yang terletak di halaman resmi di VR180 . Tampaknya dia harus menetapkan standar kualitas. Tetapi jika Anda melihat dekat ...

Perbedaan warna:



Sama sekali tidak ada distorsi warna. Seolah-olah salah satu dari foreshortenings keliru menetapkan white balance yang sedikit lebih besar.



Dan di sini sudah ada sebagian besar bingkai tanpa distorsi. Tetapi sudut kanan bawah masih menyimpang dalam warna, yang menyebabkan "nyala" visual yang khas saat menonton.



Patut dicatat bahwa distorsi warna di jalan juga diperhatikan tanpa alat khusus untuk analisis stereo. Itu ditemukan hanya dengan menonton video frame-by-frame (mirip dengan pemrosesan video dengan parameter yang berbeda).



Perbedaan ketajaman:



Di sini perbedaannya paling mencolok di lantai dan di keliman sofa. Perbedaan ketajaman terbesar justru pada batas objek.


Kesimpulan


Apa yang kita miliki pada akhirnya?


VR, termasuk 360-video, didistribusikan secara aktif. Teknologi ini menarik pengguna dan terlihat sangat menjanjikan. Tetapi kualitas teknis dari implementasi saat ini menyebabkan ketidaknyamanan dari melihat. Akibatnya, sejumlah orang yang tertarik mencoba format baru mengalami sakit kepala, dan jika pemotretan tidak berhasil (biasanya dengan gerakan kamera yang tajam) - selain pusing dan mual, yang menyebabkan kekecewaan dalam format.

Apa yang bisa dilakukan dengan ini?


Saat ini, banyak (termasuk kami) sedang mengembangkan alat untuk kontrol kualitas , serta untuk memperbaiki masalah stereo.

Di sini, misalnya, contoh koreksi warna:



Di sebelah kiri adalah sudut asli, di sebelah kanan dikoreksi warna menggunakan algoritma kami. Sudut yang disorot sepenuhnya dikoreksi.



Warna di langit-langit memantul kembali.



Untuk lebih banyak contoh koreksi warna otomatis, lihat artikel terpisah tentang distorsi warna dalam stereo .

Secara total, sekitar 20 jenis artefak video stereo yang diambil dan dikonversi saat ini sedang terdeteksi, yang sebagian besar juga relevan untuk VR180. Di masa depan, direncanakan untuk memperluas metode pemantauan dan peningkatan kualitas video VR:

  • adaptasi metode kontrol kualitas saat ini ke VR
  • penambahan dan implementasi metode koreksi artefak
  • pelaporan otomatis video dengan prediksi rasa sakit yang disebabkan oleh menonton untuk memperingatkan pengguna dan menilai konten produsen, memotivasi mereka untuk lebih berhati-hati tentang kualitas

Bagaimana prospek format secara keseluruhan?


Jelas, masalah saat ini adalah masalah teknologi bayi dan mereka akan ditangani secara aktif. Dapat diharapkan bahwa:

  • pembuat kamera akan menyediakan perangkat lunak yang akan menyelesaikan beberapa masalah dasar
  • seiring waktu (jika ada permintaan), perangkat lunak profesional untuk memperbaiki artefak akan muncul
  • sangat mungkin bahwa YouTube akan menerapkan beberapa koreksi artefak secara otomatis saat memuat video VR180, seperti halnya jitter dan interlacing dari video 2D lama yang baik sekarang secara otomatis diperbaiki

Dari lucu: sekarang ada mode untuk smartphone dengan 3-4 kamera di bagian belakang, yang memberikan peningkatan dramatis dalam kualitas foto.


Sumber: Samsung Galaxy A7 (2018) & Samsung Galaxy A9 (2018)

Adalah logis untuk mengharapkan bahwa dengan semakin populernya VR180, dukungannya “out of the box” akan dibangun ke dalam semua model smartphone utama.

Ya, kemungkinan besar sudut pandang tidak akan 180 °, tetapi kurang.
Ya, kemungkinan besar kualitasnya akan lebih buruk daripada kamera khusus.
Ya, merekam video stereo akan memerlukan kompresi aliran informasi besar (yang saat ini dirancang untuk smartphone dengan buruk).
Ya, Anda perlu menempatkan dua kamera sudut lebar pada jarak yang lebih jauh.
Namun secara teknis saat ini tidak ada hambatan serius untuk implementasi dukungan VR180 dalam model unggulan. Satu-satunya pertanyaan adalah semakin populernya format sehingga permintaan menjadi besar, menciptakan insentif untuk ini.

Dan jelas bahwa ketika smartphone kelas atas mulai mendukung pemotretan VR180, jumlah video yang relevan di YouTube akan mulai tumbuh seperti longsoran salju.

Juga di pameran Anda dapat melihat tampilan autostereoscopic dari smartphone dan tablet, yang dengan peningkatan resolusi menunjukkan kualitas yang semakin menarik. Setidaknya, itu tidak bisa dibandingkan dengan apa yang bisa diamati secara massal pada 2010-2011 selama gelombang terakhir. Pada saat penulisan ini, RED Hydrogen One diumumkan - smartphone SERIAL pertama dengan layar 3D generasi baru, jadi ada peluang untuk membeli apa yang dilihat profesional di pameran.Proses ini sedang berlangsung dan, karena resolusi layar meningkat, tentu akan lebih cepat. Kendala utama adalah kurangnya konten.

Jelas, masalah "ayam dan telur" ini akan segera teratasi.


Kesimpulan umum:


VR180 memiliki keunggulan signifikan berikut:

  • Imersi 3D yang lebih tinggi secara signifikan untuk VR180 dibandingkan dengan 360 video
  • Tidak ada artefak untuk menjahit (menempelkan) video dari beberapa kamera
  • Kamera VR180 cukup murah dan lebih murah
  • Pemotretan VR180 terasa lebih dekat dengan pemotretan dengan kamera biasa dan jauh lebih mudah bagi non-profesional, mis. Banyak penggemar akan relatif mudah untuk merekam video mereka dalam format VR180
  • Anda dapat mengharapkan dukungan untuk VR180 di telepon pintar seiring waktu
  • , VR180 ( , )

VR180:

  • ,
  • VR180 . , , , …

Total:

  • VR180 , , , , «»
  • Dengan semakin populernya VR180, banyak "masalah anak-anak", termasuk yang terkait dengan stereo, dapat relatif mudah diselesaikan bahkan tanpa partisipasi pengguna, cukup pada layanan saat mengunggah video. Secara algoritma itu sudah mungkin
  • Popularitas format ini bertumpu pada masalah “ayam dan telur”: cukup banyak perangkat akan muncul untuk pemotretan dan tontonan. Pada saat yang sama, tidak seperti VR180 360-video, secara teknis segera akan mudah untuk memotret pada smartphone apa pun. Dan jika Google Pixel 5 XL akan mendukung VR180 "out of the box" - itu akan alami
  • Sebagai hasilnya: dalam jangka panjang, 10 tahun VR180 ditakdirkan untuk popularitas!

Kurang sakit kepala untuk semua orang!

Hormat Konstantin Kozhemyakov dan Dmitry Vatolin

PS Ucapan Terima Kasih


Saya ingin mengucapkan terima kasih:

  • , , ,
  • Google VR180, , ,
  • . .. ,
  • ,
  • , , , , , , , !

Lihat juga:

Source: https://habr.com/ru/post/id429414/

More articles:


All Articles