Setiap kali saya meluncurkan Skype, Zoom atau Hangouts, saya menunggu dengan minat untuk tumpukan baru jambs dengan video dan suara. Teknologi jarang mengecewakan saya: suara serak, suara latar belakang, kehilangan suara, pemisahan video menjadi "kotak", bingkai beku, dan kesenangan konferensi video lainnya dihantui oleh panggilan video, seingat saya. Minatnya sebagian besar profesional: selain telepon yang dapat diprogram untuk telepon biasa, halaman web, dan aplikasi seluler, kami di Voximplant mengirimkan video ke pengembang. Saya ingin Full HD, secara real time, tanpa friez, di browser apa pun dan konferensi ini sekitar 50 orang. Menariknya, di laboratorium itu berfungsi begitu saja. Tetapi di beberapa taman di 3G, konsultasi video dengan dokter dapat berubah menjadi strategi berbasis giliran: paket hilang! Tumpukan teknologi modern belum memungkinkan kita untuk bertarung secara setara dengan Internet "berkedip", tetapi penelitian terus dilakukan. Di bawah kat - terjemahan untuk
Salsify diadaptasi untuk Habr: paduan dari codec video dan protokol jaringan yang meminimalkan masalah ketika mengirimkan video secara real time.
Sebuah tim dari Stanford melakukan percobaan: mengganti seluruh selimut teknologi konferensi video modern dengan satu protokol kompresi dan transmisi melalui jaringan.
Konferensi video: lllllags, fffff freezes dan menyentak
Setelah beberapa saat, masalah hilang sendiri. Terkadang - bersama dengan gambar, meninggalkan layar hitam sebagai gantinya. Kisaran pengiriman dari "tunggu beberapa menit, kisi-kisi berkedip" hingga "teleoperasi dapat diselesaikan, pasien sudah mati." Para ilmuwan dari Stanford mendekati masalah secara dramatis, mengembangkan dari awal tumpukan jaringan, codec, dan cara untuk mentransfer data untuk tujuan tunggal: untuk melakukan lebih baik daripada Skype, FaceTime, Hangouts, dan Chrome + WebRTC.
Mahasiswa pascasarjana Stanford Sajjad Foladi, yang memimpin penelitian ini, mempresentasikan
hasilnya pada konferensi inti
NSDI'18 . Ide-ide yang mendasari solusi "dari awal" tersedia untuk semua pendatang dan dapat digunakan dalam solusi komersial. Tentu saja, jika ada yang ingin mengganti
seluruh tumpukan.
“Transmisi video melalui Internet telah berkembang selama beberapa dekade. Sekarang tumpukan teknologi lebih seperti selimut tambal sulam, ”kata
Keith Winstein, profesor ilmu komputer. "Sajjad telah menunjukkan bagaimana Anda dapat mengumpulkan karya-karya ini dengan cara yang berbeda untuk mendapatkan video berkualitas lebih baik dan lebih sedikit latensi."
Namun soal waktu pengenalan Winstein lebih hati-hati. “Sekarang kami sedang memikirkan perubahan, sehingga suatu saat transmisi video waktu-nyata akan menjadi lebih andal. Ini akan sangat berguna dalam operasi telemedis dan robot, ”katanya. "Tetapi dalam perangkat lunak yang digunakan sekarang, semua perubahan ini sulit dilakukan."
Pendekatan baru, nama baru
Tim Stanford menyebut kerangka kerjanya "Salsify" (Goat gardener, semacam "bunga", samar-samar mengingatkan pada dandelion di masa mudanya - catatan penerjemah). Kerangka kerja memecahkan masalah yang disebabkan oleh fakta bahwa "transmisi video real-time" sekarang dibuat dari dua teknologi yang berbeda. Ini adalah "codec" yang mengkompres video dan "protokol jaringan" yang mentransmisikan potongan-potongan kecil data melalui jaringan dan mencoba menebak kapan harus mengirim potongan berikutnya sehingga tidak dibuang di mana pun sepanjang jalan, karena jaringan kelebihan beban dan umumnya semuanya buruk. Masalahnya adalah kedua komponen ini berevolusi secara terpisah satu sama lain, seringkali oleh perusahaan yang berbeda, dan kemudian digabungkan dalam produk-produk seperti Skype atau FaceTime.
Foladi yakin: untuk menyelesaikan masalah dengan jalur dan kelambatan, codec dan tumpukan jaringan harus bekerja bersama. Bagaimanapun, penting untuk tidak hanya mengirim paket melalui jaringan tepat waktu. Anda memerlukan data yang benar dalam paket ini! Dan bukan sepotong video 3 detik yang lalu, yang masih akan dibuang pada sisi penerima sebagai "terlalu tua." Menurut manajer proyek, "ketika protokol transport dan codec kehilangan sinkronisasi, masalah dimulai." Oleh karena itu, tim membuat codec baru yang terintegrasi dengan protokol transport mungkin. Satu algoritma mengontrol kompresi frame video, pembentukan paket jaringan dan pengirimannya. Dengan demikian, aliran video "tahu" tentang keadaan jaringan secara real time dan mencoba "menyesuaikan" kapan pun memungkinkan.
Bahkan satu frame yang dikirim keluar waktu dapat menyebabkan tersentak dan jalur. Salsify tidak akan pernah mengirim bingkai jika itu dapat menyebabkan masalah jaringan
Untuk melihat dan percaya
Para peneliti melakukan banyak tes yang membandingkan Salsify dengan Microsoft Skype, Google Hangouts, Apple FaceTime, dan Google Chrome + WebRTC. Rata-rata, Salsify mengurangi penundaan sebanyak empat kali (!!!), dan kualitas gambar menjadi 60% lebih baik (sesuai dengan metode perubahan kesamaan struktural, SSIM).
Perbandingan berdampingan dengan Chrome 65 WebRTC telah siap dan
situs web terpisah yang didedikasikan untuk proyek telah dibuat. Proyek
open source : Anda dapat mengunduh, belajar, menggunakan praktik terbaik.
Setiap orang memiliki masalah dengan konferensi video. Sangat keren bekerja pada proyek yang bertujuan untuk membuat perbedaan.