A Internet está mais fragmentada do que nunca: de onde vêm mais de um milhão de novos usuários diariamente? Parte 1

Hoje, o tráfego da Internet é completamente diferente de uma década atrás. Mais de um milhão de pessoas tornam-se novos usuários da rede diariamente, e o número total já chega a bilhões de pessoas. Quem são essas pessoas? O que eles fazem online? Como o tráfego da Internet é distribuído e quais são as previsões? Quem receberá os usuários da Internet?



Quando Tim Berners-Lee criou a World Wide Web (WWW) em 1989, ele não tinha idéia de onde isso levaria. Nos 30 anos desde o seu início, ocorreu uma revolução global - da rede usada exclusivamente por cientistas à rede usada pela maioria das pessoas com indicadores de inteligência abaixo da média. Não, essas pessoas não decidem, não, elas não definem tendências. Eles acham que estão perguntando, gastando milhões de anos humanos no Instagram, Facebook e outras redes sociais. Às vezes, parece que o futuro acontece de acordo com o roteiro do filme de 2005 “Idiocracia” , onde tudo o que as pessoas criaram para facilitar a vida e o acesso em massa levou à degradação em larga escala e à grande avalanche de lixo de 2505, formada por uma abordagem interminável do consumidor, foi o resultado disso. progresso.



O setor global de TI está trabalhando na direção da "sugestão", determinando o que será popular, analisando o Big Data e direcionando os pensamentos dos usuários da Internet. E negar o fato de que é graças aos usuários médios que muitas áreas se desenvolveram, bem como a tecnologia de transferência de dados em geral, é impossível. No entanto, qual% da população mundial está envolvida em TI ou ciência? Essa é uma pergunta difícil para a qual não podemos dar uma resposta definitiva, já que hoje a TI está integrada em quase todos os aspectos da atividade humana, facilitou a vida e tornou os especialistas altamente especializados ainda mais altamente especializados. Hoje, porém, podemos analisar as tendências de desenvolvimento da rede da Internet, realizar uma análise e discutir certos fatos.

E os fatos são que, de acordo com o relatório de Sandvine:

  • o vídeo representa aproximadamente 58% do tráfego total da Internet;
  • a participação no tráfego criptografado da Internet excedeu 50% e continua a crescer (os usuários começaram a pensar em segurança e privacidade e contornar bloqueios, que estão se tornando cada vez mais);
  • a indústria de jogos contribui significativamente para o tráfego global, especialmente o tráfego de aplicativos para dispositivos móveis
  • o compartilhamento de arquivos não está morto, apesar de os usuários terem acesso a mais conteúdo do que nunca, o acesso a essas informações ainda não está bem organizado, mantendo o potencial de pirataria
  • as transmissões ao vivo afetam visivelmente a rede, por exemplo, a Copa do Mundo ou o Super Bowl geram mais tráfego de pico do que todo o YouTube e outros serviços de streaming em horários comuns.

De que problemas falaremos?


Historicamente, os principais geradores de tráfego eram Netflix, YouTube, Facebook e BitTorrent, até hoje continuam sendo os principais players, no entanto, o "cenário" da rede da Internet variou significativamente, as diferenças regionais são especialmente significativas, criando novos princípios para os operadores de rede em alguns casos, em particular " todo o tráfego da Internet é local. " Em particular, os “Super Bowls” e outros eventos locais levam a novas dificuldades - as redes devem ser capazes de “digerir” esses picos para que a qualidade do acesso a outros serviços não se deteriore significativamente.

A participação do tráfego criptografado excedeu 50%, o que, embora não forneça aos usuários segurança total ou significativa, reduz o risco de interceptação de dados e também aumenta a privacidade ao usar pontos de acesso públicos. No entanto, isso, por sua vez, cria um enorme problema para os provedores. Se anteriormente era possível analisar os componentes do tráfego e aplicar QoS (Qualidade de Serviço) a eles, dependendo do tipo de tráfego, agora que todos os usuários estão começando a usar uma VPN e criptografar seus dados quando necessário e não necessário, é cada vez mais difícil priorizar o tráfego. Como é impossível dizer inequivocamente onde está o tráfego de voz ou vídeo, que é sensível a atrasos e que tráfego pode "esperar" e ser atendido com prioridade mais baixa. Todo o tráfego se torna prioritário.

Também falaremos um pouco sobre as complexidades do compartilhamento moderno de arquivos. Embora o YouTube e o Netflix sejam uma das fontes mais significativas de tráfego de streaming de vídeo, sites cada vez mais diferentes aparecem no mercado, fornecendo certos tipos de serviços de streaming de vídeo, cujo acesso é limitado, inclusive no nível de estados individuais, o que novamente leva à necessidade de troca de P2P. Nem todos podem pagar uma assinatura para certos tipos de serviços, tanto financeira quanto legalmente.

Mais vídeos do que nunca


Primeiro de tudo, você precisa dividir o tráfego. O tráfego pode ser de saída (o assinante baixa dados para a rede) ou de entrada (o assinante baixa dados da rede ou assiste vídeo da rede, se falarmos de vídeo) em relação ao usuário. Mas mesmo quando o usuário assiste, são criadas "solicitações" para exibir este ou aquele conteúdo e respostas sobre a entrega bem-sucedida, que também ocupa uma largura de banda de saída.

Deve-se observar que o vídeo transmitido aos usuários, devido ao processo de codificação, consome muito menos tráfego do que os arquivos RAW que os usuários carregam na rede para processamento subsequente por codecs e streaming. É incrível a eficácia da codificação usada pela Netflix. Por exemplo, um filme de duas horas consumia apenas 459 MB de tráfego recebido, enquanto no iTunes o mesmo filme é oferecido para download com várias opções de taxa de bits - 4,6 GB para 1080, 4,15 GB para 720 e 1,86 GB para O SD e o concorrente, Amazon Prime, têm as seguintes opções de codificação - de 579 MB em 1 hora 29 minutos a 1,5 GB em 2 horas 7 minutos, o que é significativamente inferior ao Netflix.



Portanto, se a Netflix não codificasse o vídeo da mesma forma que a codificação, a participação no tráfego da Internet gerado por esse recurso aumentaria em 2-3 vezes, com o mesmo tráfego. Também é importante notar que muitas operadoras móveis oferecem acesso "ilimitado" aos serviços de vídeo on-line quando visualizados em baixa resolução, o que economiza tráfego não apenas para o Netflix, mas também para outros serviços.

Muitas redes domésticas e provedores locais oferecem serviços de TV direta e outros serviços de streaming P2P. O tráfego deles também é levado em consideração nos relatórios. No momento, você pode ver a distribuição do tráfego entre os principais serviços de streaming na figura abaixo.



No entanto, este ano a Netflix passou do 1º lugar na região norte-americana para o segundo. No total, de acordo com o relatório mais recente da Sandvine, a participação de vídeo foi de 60,6% do volume total de tráfego da Internet na direção do download para usuários (tráfego de entrada), que é 2,9% a mais do que em 2018. O tráfego HTTP de entrada (web) ficou em segundo lugar - 13,1% (3,8% a menos que um ano atrás), depois jogos com 8,0%, redes sociais com 6,1% e compartilhamento de arquivos com 4,2 %

O tráfego entre dezenas das aplicações mais populares do mundo foi distribuído da seguinte forma: streaming HTTP multimídia (12,8%); Netflix (12,6%); YouTube (8,7%); IPTV, cujo acesso é fornecido por provedores de Internet (7,2%); Tráfego HTTP de uploads de arquivos (4,5%); TLS HTTP (4,4%); HTTP (3,0%); Facebook (3,0%); downloads de jogos para o PlayStation (2,8%); BitTorrent (2,4%).



Curiosamente, de acordo com os dados do ano passado, a imagem era a seguinte:



Como você pode ver, o streaming assume uma posição de liderança. Juntamente com o download (assistindo a vídeos da rede), o vídeo é baixado ativamente na rede e distribuído, incluindo o uso da rede BitTorrent, cujo volume de download excede o volume do Netflix. No entanto, é claro, a maioria dos usuários visualiza ou distribui conteúdo, mas não o produz. Menos de 1% de todos os usuários do Youtube produzem conteúdo para este projeto. Além disso, em nosso mundo moderno, esse é um monte de trabalho relacionado à observância de direitos autorais e, às vezes, acompanhar uma sequência de vídeo de alta qualidade com um som igualmente de alta qualidade é um problema.

É por isso que, juntamente com conteúdo realmente útil, a rede está cheia de canais estúpidos do Youtube e Instagram, que destroem a consciência e ainda mais pessoas estúpidas. Além disso, quanto mais estúpido o conteúdo, mais público ele pode atrair. As pessoas ficam satisfeitas ao perceber que não são tão burras e, portanto, a "barra" de conteúdo cai. Afinal, se a parte predominante da população é "estúpida", que conteúdo eles querem ver? Que decisões devem ser tomadas? A "idiocracia" está se tornando cada vez mais um documentário do que uma comédia idiota, e às vezes, assistindo a um filme depois de quase 15 anos, não é nada engraçado.



No entanto, nem tudo é tão triste. Talvez ainda não evoluamos até o ponto em que usaremos a água apenas para limpar banheiros e, para saciar a nossa sede, desenvolveremos um extintor especial para a sede com eletrólitos. Talvez o programa "About my balls" perca popularidade.





Às vezes, a tecnologia também é usada para o bem, e não apenas para estuporar a população. E um bom exemplo aqui pode ser um dos projetos de streaming que nos demonstrará que o streaming não é apenas vídeos estúpidos, mas também saúde.

Assim, recentemente, o projeto Peloton apareceu e começou a ganhar popularidade nos Estados Unidos, que conecta bicicletas ergométricas à rede e as transmite em qualidade HD 1080p a um monitor montado no volante de 22 polegadas, que dá a impressão de uma viagem, inclusive em terrenos acidentados, simulando altos e baixos.

Por que os consideramos na seção de streaming? Há um ano, eles se tornaram muito populares nos EUA e tinham os seguintes indicadores:

18.000 membros online usam no pico;
~ 144 Gbps de largura de banda consumida (8 Mbps por fluxo);
~ 14,4 TB de tráfego (800 MB em média por cada).

Em geral, todos os dias o projeto é usado por:

56.000 participantes;
~ 45 TB de tráfego são consumidos.

Posso compartilhar o Game of Thrones?


Nos países da EMEA (Europa, Oriente Médio e África), o Bittorent ocupa mais de 30% do tráfego gerado pelos usuários e, quando, por exemplo, uma nova série é lançada na HBO, os residentes desses países ficam felizes em compartilhar conteúdo. E embora a Europa esteja lutando ativamente contra a distribuição ilegal de conteúdo, o tráfego BitTorrent ainda está liderando. Assim que um site é fechado, outro aparece imediatamente e de novo e de novo e de novo o jogo do whack-a-mole. Observe que as estatísticas são coletadas após o final das exibições de "Game of Thrones", portanto, os números podem ser mais baixos do que antes. O Google ocupa o segundo lugar na região EMEA. RTP, WhatsApp e WebRTC estão entre os dez principais mensageiros e, curiosamente, a popularidade do WhatsApp nem sempre se correlaciona com o Facebook, embora este último seja a empresa controladora deste projeto.



Líderes de mídia social para usuários da APAC


As redes sociais ocupam, pela primeira vez, posições de liderança nos países da APAC (região Ásia-Pacífico) em 2018. O Facebook Video, em segundo lugar, e o Instagram estão excluindo outros projetos para a região do TOP10. Não há nada mais importante para essas pessoas do que as redes sociais. Eles serão os líderes daqui por um longo tempo. Também é interessante que o serviço HTTP Media Stream de provedores locais tenha levado a uma redução na audiência no Youtube. A Netflix também tem um impacto, devido ao fato de que nem todos os fornecedores são capazes de fornecer qualidade de fluxo suficiente codificando filmes em baixa qualidade, a Netflix os disponibiliza para aqueles que anteriormente não tinham a capacidade técnica de assistir online. Outro ponto interessante é que há mais tráfego HTTP não criptografado no APAC do que em qualquer outro lugar, pois muitos aplicativos usam protocolos sem SSL ou TLS, o que afeta negativamente a segurança do usuário. Como nos países da EMEA, o BitTorrent também está incluído no TOP10, pois o compartilhamento de arquivos permite que as pessoas acessem conteúdo quando não há dinheiro para pagar pelo acesso ou a Internet não é alta o suficiente. No entanto, a principal diferença entre os países da APAC é a enorme fragmentação dos aplicativos que os usuários usam, atualmente mais de 4.000 assinaturas digitais de serviços de vídeo populares são registradas.



A classificação das redes sociais é sempre interessante, principalmente porque difere significativamente, dependendo da região selecionada. O YouTube não foi incluído na classificação, o que também pode ser considerado um tipo de rede social, pois distorceria significativamente os resultados. Curiosamente, o número de usuários nem sempre se correlaciona com o tráfego que esses usuários geram, vale a pena considerar. A propósito, alguns usuários de redes sociais não são, portanto, usuários da Internet, pois a maior parte do tempo é gasta exclusivamente na aplicação de uma determinada rede social. A própria Internet (com mecanismos de busca, sites e muitos outros aplicativos), acontece que eles simplesmente não precisam.

O Facebook e o Instagram ficaram em primeiro lugar, o que não é surpreendente (eles já são, de fato, uma empresa), mas o fato de o Snapchat ter saído em terceiro é muito interessante. Junto com eles, uma porcentagem significativa do global possui redes regionais como VK, Odnoklassniki e Yuku. Finalmente, Twitter, Pinterest e Imgur - também atingiram o TOP, mas o LiveJournal, amado por muitos ZhZshechki, já não está no ranking :(

O tráfego do jogo aumentou às vezes


Um fato interessante é que não apenas os aplicativos de jogos móveis contribuem. Se há 15 anos o jogo poderia caber em um CD com capacidade de 700 MB, bem, um máximo de DVD (4,7 GB), hoje os jogos às vezes não cabem em todos os Blu-ray. E, embora em 2010 tenham sido inventados discos Blu-ray com maior densidade de armazenamento - até 100 GB , nem todos os dispositivos podem trabalhar com eles. Com o aumento da velocidade da rede da Internet, um novo conceito foi inventado - para armazenar jogos online e "instalá-los" pela Internet. Como isso afetou a rede? Não é difícil de imaginar.



O popular jogo Call of Duty agora ocupa 101 GB de cota, o que equivale a 14 horas de exibição de vídeo em qualidade 4K. E a distribuição do público?



League of Legends é responsável por mais da metade de todas as conexões de jogos no mundo - 51,53%. No entanto, o Fortnite é menos líder nos EUA e o Unknown BattleGrounds (PUBG) na região asiática, nos países da APAC. Vale ressaltar que essa classificação foi construída em jogos individuais e não nos jogos mais populares do Steam, PSN ou Xbox Live, onde a distribuição é um pouco diferente.

Copa do Mundo de 2018


Em junho de 2018, a Copa do Mundo foi realizada na Rússia e o mundo inteiro assistiu. No passado, esses eventos consumiam muito pouco tráfego, tão pouco que nem eram registradas explosões no restante do consumo. Mas em 2018, a situação mudou. Na Europa, houve um aumento significativo no consumo, tanto em redes móveis quanto em redes cabeadas. Quando algum time da casa jogava, o tráfego que os usuários deste país consumiam enquanto assistia futebol excedia o consumo de tráfego do Youtube e de outros serviços de streaming. Curiosamente, durante os intervalos, o tráfego do YouTube aumentou, pois os espectadores queriam assistir a repetições dos principais momentos do jogo, mas diminuíram imediatamente assim que o segundo semestre começou. Então, após a partida, o tráfego das redes sociais cresceu, onde houve uma discussão ativa.



Curiosamente, cerca de 40% de todo o tráfego são canais de streaming pirateados, que também foram ganhos neste evento. Portanto, se você é um provedor, esteja preparado para o ano de 2022, quando o próximo evento será transmitido do Catar.

Quando um substantivo se torna um verbo


Sempre falamos sobre o Google como o site mais popular da web. Mais de 40,2% de todas as conexões nos países da APAC são contabilizadas pelos serviços desta empresa. No entanto, não vamos colocar tudo em uma "cesta" e considerar a distribuição do tráfego entre os serviços do Google em mais detalhes.

14.75% são conexões que não podem ser atribuídas a nenhum serviço em particular; esses dados também incluem consultas de pesquisa. O YouTube ocupa uma participação de 12,72% e aqui, talvez, nenhuma explicação adicional seja necessária. O Google Cloud Messaging (agora Firebase Cloud Messaging) é usado pelo navegador Chrome e pelos dispositivos Android para enviar mensagens para vários aplicativos. O DoubleClick com um compartilhamento de 1,96% é usado para exibir anúncios. Você pode não estar familiarizado com esse serviço diretamente, mas definitivamente viu os anúncios. Crashlytics com uma quota de 1,04% gera relatórios de falhas, registra aplicativos para análises estatísticas subsequentes. E, finalmente, o serviço de e-mail do Gmail, com uma participação de 0,49%, nem todo mundo usa o Google mail, embora seja incrivelmente conveniente!

Quanto ao Google Docs (0,37%) - um serviço de gerenciamento de documentos, o Google Play (0,28%) - um serviço para baixar e distribuir aplicativos para Android, o Google Proxy (0,08%) - um serviço de compressão de proxy para Google Chrome, Google Allo (0,06%) - serviço de mensagens, Google Drive (0,05%) para armazenamento e sincronização de arquivos, Google Maps (0,03%) - mapas e navegação do Google, navegação segura do Google (0, 02%) - um serviço para visualizar sites que não são confiáveis, então sua participação é muito menor.

O que posso dizer sobre aplicativos que ocupam menos de 0,01% para países da região da APAC - Google Play Music, Google AD, Google Duo, Google Earth, Google Music Manager, Google Hangouts, Google Sync, Google Goggles.

No entanto, o número total de 40% do mercado é impressionante. Apenas algumas outras métricas nos relatórios estão próximas desse resultado para uma região selecionada específica. O sucesso do Google com Android na região da APAC deve-se principalmente ao fato de a maioria dos usuários escolher um telefone Android barato do que um iPhone caro e, portanto, a posição só crescerá. No entanto, o desenvolvimento do segmento premium da Samsung, quando os telefones estão à frente do iPhone em funcionalidade, também pode desempenhar um papel.

Tráfego de saída e o papel do BitTorrent, Afreeca TV


, BitTorrent . — , , ( ). , , , «» -. , , , , . . .



, EMEA BitTorrent- , APAC . «» - , , .

, Google, Google Drive, iPhone Mac c iCloud . , Instagram, Youtube, , , , .

«» , K Grid % , 0 .

. HTTP Media Stream, YouTube,
Afreeca TV — TOP 10. Afreeca TV — , «Any
FREE broadCAsting», P2P , , BitTorrent, . , StarCraft, , , Twitch.



, APAC , Instagram Facebook TOP 10.

, , «»


Youtube , , -, . , 2018- , , .



56% - — -. , % . , . , , , xvideos 1 / , -. . , , , , «» , . , «» Youtube .

. , , - . , TOP10, Openload 8- , Hulu, HBO Go BBC iPlayer, . , , .

, ?


. The Buzz , , - , . VPN, - . , -.

— . , Spotify, Apple Music, Google Play Music .



YouTube Vimeo, -, , TOP10 - . , , .

VoIP


, , , «» , Voice over IP, «» IP.



, Sandvine , , , -, , VoIP -?

Skype, WhatsApp, Snapchat FaceTime , , , , -. WebRTC , - , Google Hangouts Facebook Messenger, , GoTo Meeting, Amazon Chime, -.

Rounds, Line, WeChat KakaoTalk , , TOP- , , , , .

, ?


«» , , , , « » . , -, , , IT-. . , , . , , .

«-» , , , , , , , .

— , , , -. «» , .



Um pouco de publicidade :)


Obrigado por ficar conosco. Você gosta dos nossos artigos? Deseja ver materiais mais interessantes? Ajude-nos fazendo um pedido ou recomendando aos seus amigos o VPS na nuvem para desenvolvedores a partir de US $ 4,99 , um desconto de 30% para os usuários do Habr em um analógico exclusivo de servidores de nível básico que inventamos para você: Toda a verdade sobre o VPS (KVM) E5-2650 v4 (6) Núcleos) 10GB DDR4 240GB SSD 1Gbps de US $ 20 ou como compartilhar um servidor? (as opções estão disponíveis com RAID1 e RAID10, até 24 núcleos e até 40GB DDR4).

Dell R730xd 2 vezes mais barato? Somente temos 2 TVs Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV a partir de US $ 199 na Holanda! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - a partir de US $ 99! Leia sobre Como criar um prédio de infraestrutura. classe usando servidores Dell R730xd E5-2650 v4 custando 9.000 euros por um centavo?

Source: https://habr.com/ru/post/pt474708/


All Articles