Nos é prometido um vídeo em tempo real, sem frisos e contrações musculares

Sempre que inicio o Skype, o Zoom ou o Hangouts, aguardo com interesse um novo lote de batentes com vídeo e som. A tecnologia raramente me decepciona: coaxar, ruídos de fundo, perda de voz, divisão de vídeo em “quadrados”, quadros congelados e outras alegrias da videoconferência são assombrados por videochamadas, pelo que me lembro. O interesse é amplamente profissional: além da telefonia programável para telefones comuns, páginas da web e aplicativos móveis, nós da Voximplant enviamos vídeos para desenvolvedores. Eu quero Full HD, em tempo real, sem frisos, em qualquer navegador e a conferência é de cerca de 50 pessoas. Curiosamente, no laboratório, funciona exatamente assim. Mas em alguns parques 3G, a consulta por vídeo com um médico pode se transformar em uma estratégia baseada em turnos: os pacotes estão perdidos! A moderna pilha de tecnologias ainda não nos permite lutar em igualdade de condições com a Internet "piscante", mas a pesquisa está em andamento. Under a cut - a tradução sobre Salsify adaptada para Habr: uma liga de um codec de vídeo e um protocolo de rede que minimiza os problemas ao transmitir vídeo em tempo real.

Uma equipe de Stanford conduziu um experimento: substituiu toda a colcha de retalhos das modernas tecnologias de videoconferência por um único protocolo de compressão e transmissão pela rede.

Videoconferência: lllllags, ffffffreezes e jerking

Depois de um tempo, os problemas desaparecem sozinhos. Às vezes - junto com a imagem, deixando uma tela preta. As entregas variam de "espere alguns minutos, a grade pisca" a "teleoperação pode ser concluída, o paciente está morto". Os cientistas de Stanford abordaram o problema dramaticamente, desenvolvendo do zero uma pilha de rede, um codec e uma maneira de transferir dados com o único objetivo: fazer melhor que o Skype, FaceTime, Hangouts e Chrome + WebRTC.

O estudante de Stanford Sajjad Foladi, que lidera o estudo, apresentou os resultados na conferência principal da NSDI'18 . As idéias subjacentes à solução "do zero" estão disponíveis para todos os interessados ​​e podem ser usadas em soluções comerciais. Claro, se alguém quiser substituir a pilha inteira .


“A transmissão de vídeo pela Internet evoluiu ao longo de décadas. Agora a pilha de tecnologia é mais como uma colcha de retalhos ”, diz Keith Winstein, professor associado de ciência da computação. "Sajjad mostrou como você pode montar essas peças de uma maneira diferente para obter vídeos de melhor qualidade e menos latência."

Mas sobre o momento da introdução de Winstein mais cauteloso. “Agora estamos pensando em mudanças, para que um dia a transmissão de vídeo em tempo real se torne mais confiável. Será muito útil em operações de telemedicina e robótica ”, diz ele. "Mas no software que é usado agora, todas essas mudanças são difíceis de fazer."

Nova abordagem, novo nome

A equipe de Stanford chamou sua estrutura de “Salsify” (jardineiro de cabras, uma “flor”, que lembra vagamente um dente de leão em sua juventude - um comentário de um tradutor). A estrutura resolve o problema causado pelo fato de que a "transmissão de vídeo em tempo real" agora é feita a partir de duas tecnologias diferentes. Este é um "codec" que comprime vídeo e um "protocolo de rede" que transmite pequenos dados pela rede e tenta adivinhar quando enviar os próximos itens para que não sejam lançados em nenhum lugar do caminho, porque a rede está sobrecarregada e geralmente tudo está ruim. O problema é que esses dois componentes evoluíram separadamente um do outro, geralmente por empresas diferentes, e depois foram combinados em produtos como Skype ou FaceTime.

Foladi tem certeza: para resolver o problema com frisos e atrasos, o codec e a pilha de rede devem trabalhar juntos. Afinal, é importante não apenas enviar o pacote pela rede a tempo. Você precisa dos dados corretos neste pacote! E nem um pedaço de vídeo há 3 segundos, que ainda será jogado no lado receptor como "muito velho". Segundo o gerente de projeto, "quando o protocolo de transporte e o codec perdem a sincronização, os problemas começam". Portanto, a equipe criou um novo codec o mais integrado possível ao protocolo de transporte. Um algoritmo controla a compactação de quadros de vídeo, a formação de pacotes de rede e seu envio. Assim, o fluxo de vídeo “sabe” sobre o estado da rede em tempo real e tenta “ajustá-lo” sempre que possível.

Mesmo um quadro enviado fora do tempo pode levar a solavancos e frisos. O Salsify nunca enviará um quadro se puder levar a problemas de rede

Ver e acreditar

Os pesquisadores realizaram muitos testes comparando o Salsify ao Microsoft Skype, Google Hangouts, Apple FaceTime e Google Chrome + WebRTC. Em média, o Salsify reduz o atraso em quatro vezes (!!!) e a qualidade da imagem fica 60% melhor (de acordo com o método de alteração da similaridade estrutural, SSIM). Uma comparação lado a lado com o Chrome 65 WebRTC está pronta e um site separado dedicado ao projeto foi criado. Projeto de código aberto: você pode baixar, estudar, usar as melhores práticas.

Todo mundo tem problemas com a videoconferência. É muito legal trabalhar em um projeto que visa fazer a diferença.