Cada vez que inicio Skype, Zoom o Hangouts, espero con interés un nuevo lote de jambas con video y sonido. La tecnología rara vez me decepciona: el croar, los ruidos de fondo, la pérdida de voz, el video dividido en "cuadrados", los cuadros congelados y otras alegrías de la videoconferencia están obsesionados por las videollamadas, según recuerdo. El interés es en gran medida profesional: además de la telefonía programable para teléfonos regulares, páginas web y aplicaciones móviles, en Voximplant enviamos videos a los desarrolladores. Quiero Full HD, en tiempo real, sin frisos, en cualquier navegador y la conferencia es de unas 50 personas. Curiosamente, en el laboratorio funciona así. Pero en algunos parques en 3G, la consulta por video con un médico puede convertirse en una estrategia por turnos: ¡los paquetes se pierden! La pila de tecnología moderna aún no nos permite luchar en igualdad de condiciones con el "parpadeo" de Internet, pero la investigación está en constante progreso. Bajo un kat - traducción para
Salsify adaptada para Habr: una aleación de un códec de video y un protocolo de red que minimiza los problemas al transmitir video en tiempo real.
Un equipo de Stanford realizó un experimento: reemplazó toda la colcha de las tecnologías modernas de videoconferencia con un protocolo de compresión y transmisión a través de la red.
Videoconferencia: lllllags, ffffffreezes y sacudidas
Después de un tiempo, los problemas desaparecen por sí solos. A veces, junto con la imagen, dejando una pantalla negra en su lugar. Los entregables van desde "esperar un par de minutos, la cuadrícula parpadea" hasta "la teleoperación puede completarse, el paciente está muerto". Los científicos de Stanford abordaron el problema dramáticamente, desarrollando desde cero una pila de red, un códec y una forma de transferir datos con el único propósito: hacerlo mejor que Skype, FaceTime, Hangouts y Chrome + WebRTC.
El estudiante graduado de Stanford, Sajjad Foladi, quien dirige el estudio, presentó los
resultados en la conferencia central
NSDI'18 . Las ideas subyacentes a la solución "desde cero" están disponibles para todos los interesados y pueden utilizarse en soluciones comerciales. Por supuesto, si alguien quiere reemplazar
toda la pila.
“La transmisión de video a través de Internet ha evolucionado durante décadas. Ahora la pila de tecnología es más como una colcha de retazos ", dice
Keith Winstein, profesor asociado de ciencias de la computación. "Sajjad ha demostrado cómo puede ensamblar estas piezas de una manera diferente para obtener videos de mejor calidad y menos latencia".
Pero sobre el momento de la introducción de Winstein más cauteloso. “Ahora estamos pensando en cambios, para que algún día la transmisión de video en tiempo real sea más confiable. Será muy útil en telemedicina y operaciones robóticas ”, dice. "Pero en el software que se usa ahora, todos estos cambios son difíciles de hacer".
Nuevo enfoque, nuevo nombre
El equipo de Stanford llamó a su marco "Salsify" (jardinero de cabra, tal "flor", que recuerda vagamente a un diente de león en su juventud - nota del traductor). El marco resuelve el problema causado por el hecho de que la "transmisión de video en tiempo real" ahora se realiza a partir de dos tecnologías diferentes. Este es un "códec" que comprime el video y un "protocolo de red" que transmite pequeñas piezas de datos a través de la red e intenta adivinar cuándo enviar las siguientes piezas para que no se arrojen a ningún lado en el camino, porque la red está sobrecargada y, en general, todo está mal. El problema es que estos dos componentes evolucionaron por separado, a menudo por diferentes compañías, y luego se combinaron en productos como Skype o FaceTime.
Foladi está seguro: para resolver el problema con frisos y retrasos, el códec y la pila de red deben funcionar juntos. Después de todo, es importante no solo enviar el paquete a través de la red a tiempo. ¡Necesita los datos correctos en este paquete! Y no es un video hace 3 segundos, que todavía será arrojado en el lado receptor como "demasiado viejo". Según el gerente del proyecto, "cuando el protocolo de transporte y el códec pierden la sincronización, comienzan los problemas". Por lo tanto, el equipo creó un nuevo códec que está lo más integrado posible con el protocolo de transporte. Un algoritmo controla la compresión de cuadros de video, la formación de paquetes de red y su envío. Por lo tanto, la transmisión de video "sabe" sobre el estado de la red en tiempo real y trata de "encajarla" siempre que sea posible.
Incluso un cuadro enviado fuera de tiempo puede provocar sacudidas y frisos. Salsify nunca enviará un marco si puede provocar problemas de red
Para ver y creer
Los investigadores realizaron muchas pruebas comparando Salsify con Microsoft Skype, Google Hangouts, Apple FaceTime y Google Chrome + WebRTC. En promedio, Salsify reduce el retraso cuatro veces (!!!), y la calidad de la imagen se vuelve un 60% mejor (según el método de cambio de similitud estructural, SSIM). Una
comparación lado a lado con Chrome 65 WebRTC está lista y se ha realizado un
sitio web separado dedicado al proyecto. Proyecto de
código abierto: puede descargar, estudiar, usar las mejores prácticas.
Todos tienen problemas con la videoconferencia. Es genial trabajar en un proyecto que tiene como objetivo hacer la diferencia.