Ao pesquisar nomes gratuitos na zona .com, fiquei desagradável com o número de domínios já ocupados, mas não utilizados. Aparentemente, todas as combinações pronunciadas de letras nos principais idiomas do mundo são registradas. E até combinações curtas impronunciáveis. Existe um mercado de domínio grande ou os mesmos nomes vêm à mente de todos os outros? Vejamos as estatísticas simples ...

Atualmente, existem 137 milhões de nomes de domínio .com registrados. De acordo com a Verisign , em 27 de janeiro de 2019, existem 137.756.106 domínios .com na "zona ativa". Antes disso, verifiquei a exatidão da figura com o arquivo da zona DNS.

Destes, cerca de um terço são usados ​​(empresas, sites pessoais, e-mail etc.). Aparentemente, outro terço não é usado e o último terço é usado para vários fins especulativos.

Veja como os domínios são usados ​​(em uma amostra de 2188 partes):

Como eu consegui esses números

Comecei a rastrear com uma seleção aleatória de domínios de nível superior do arquivo DNS da zona (o arquivo foi baixado em 21/01/2019 e o rastreamento continuou até 23/01/2019) até chegar a 100.000 domínios válidos (nem todas as entradas são válidas por lá, algumas funcionam como pontos de captura para captura pessoas que distribuem ilegalmente arquivos de zona e cerca de 1% são servidores de nomes; após sua exclusão, permanecem 98 854 domínios válidos).

Para cada domínio, compilei o seguinte:

• Registro WHOIS
  
• todos os registros DNS para domínios de nível superior e subdomínios www (com ANY consulta DNS diretamente aos servidores de nomes especificados no registro WHOIS);
  
• Respostas HTTP e HTTPS (código de status, cabeçalhos e corpos) para a página principal do domínio de nível superior e do subdomínio www (certificados SSL inválidos classificaram o domínio na categoria Error );
  
• captura de tela da página principal no Mozilla Firefox 64.0 para Linux.

A digitalização demorou um pouco mais de 48 horas em um servidor no data center de Cingapura. Em seguida, iniciei o segundo estágio de rastreamento para todos os domínios que não podiam se conectar via HTTP ou HTTPS (no caso de erros temporários). E, finalmente, para 2188 domínios da amostra, verifiquei manualmente todos os erros caso o rastreador atingisse o tempo limite ou os eventos DOM fossem bloqueados no JavaScript.

Depois, escrevi um script auxiliar para acelerar a classificação manual de sites com base na captura de tela e no conteúdo.


O script apresenta as categorias possíveis como uma lista de botões com conteúdo padrão

Com esse script, categorizei os sites em dois dias. Nem todos os sites precisavam ser distinguidos manualmente: em alguns casos, a categoria era óbvia no campo <title>, então apliquei expressões regulares. Em outros casos, a captura de tela não era suficiente, então tive que abrir manualmente o domínio no navegador para verificação.

Estatísticas resumidas e conclusões

Os 10 principais registradores .com de uma seleção de 100.000 domínios

• O GoDaddy registrou um terço de todos os nomes de domínio. Esses são aproximadamente 45 milhões de domínios. Destes, a cada terceira página de estacionamento. Em outras palavras, mais de 10% de todos os domínios .com na Internet veiculam anúncios GoDaddy.
  
• Embora sejam uma amostra de 1851 registradores, eles são controlados por um pequeno número de operadores. Por exemplo, apenas o DropCatch.com controla mais de mil registradores: DropCatch.com 1000 LLC, DropCatch.com 1001 LLC, DropCatch.com 1002 e assim por diante; outros registradores usam esquemas semelhantes com números, mas alguns têm esquemas menos óbvios.
  
• No último ano, 25% dos domínios estão registrados.

Idade dos domínios de uma amostra de 100.000 unidades (em anos)

Categorias de Domínio

A lista de categorias foi complementada enquanto você trabalha. Por exemplo, eu não esperava um grande número de domínios para jogos de azar (sob aliases).

Para a maioria das categorias, é fornecida uma seleção aleatória de capturas de tela.

Conteúdo (31% ou ~ 43 milhões)

O conteúdo é um domínio com qualquer conteúdo exclusivo. Esta é a categoria padrão em que coloco sites em caso de dúvida.

Publicidade (23% ou ~ 31 milhões)

Observe que metade dos domínios desta categoria são as páginas de estacionamento do GoDaddy, onde o GoDaddy coloca anúncios do Google para palavras-chave relacionadas ao nome do domínio.

Nenhum servidor web (11% ou ~ 16 milhões)

Se não consegui conectar ou obter uma resposta válida na porta 80 ou 443 para o domínio de nível superior ou o subdomínio www, enquanto o domínio não possui um registro MX, coloquei-o nesta categoria. Alguns desses domínios provavelmente são usados ​​de alguma outra maneira, por exemplo, como servidores de FTP ou de jogos, mas parece-me que essa minoria. Todos os sites no IPv6 também chegaram aqui, porque o servidor de rastreador foi configurado apenas para IPv4.

Vazio (9,2% ou ~ 13 milhões)

Um domínio vazio é aquele pelo qual o servidor da web está respondendo, mas retorna páginas em branco, erros 404 ou modelos em branco (por exemplo, configurações padrão do WordPress).

A diferença entre um domínio vazio e um domínio estacionado é que o domínio vazio está presumivelmente configurado pelo usuário, mas o conteúdo ainda não foi adicionado.

Para venda (7,1% ou ~ 9,8 milhões)

Muitos domínios são colocados à venda através de vários corretores e plataformas de negociação. Quase metade deles parece ser vendida pelo HugeDomains, embora o site fale apenas sobre "mais de 200.000" domínios disponíveis para compra. Levei em conta apenas domínios de sites conhecidos ou quando os detalhes de contato não foram incluídos no anúncio, porque geralmente existem redes e corretores de anúncios que representam o proprietário do domínio (em vez disso, classifiquei todos esses domínios como anúncios).

Erro (5,7% ou ~ 7,9 milhões)

Se o domínio retornar um erro de qualquer tipo, seja um erro HTTP ou um erro na página, atribuai-o a esta categoria.

Observe que alguns domínios privados poderiam chegar aqui acidentalmente se usassem autenticação convencional, pois eu não diferenciei 403 Proibido (devido à falta de credenciais básicas para autenticação) de outros erros.

Estacionado (4,8% ou ~ 6,5 milhões)

Os domínios estacionados exibem a página do registrador ou indicam que o domínio ainda não foi configurado. Para se enquadrar nessa categoria, o domínio deve emitir uma página sem publicidade externa. Ele pode anunciar seus próprios serviços, mas não pode postar anúncios da rede de publicidade.

Jogos de azar (3,0% ou ~ 4 milhões)

Quase todos os sites desta categoria estão em chinês e funcionam com aliases: geralmente, são sequências curtas de números ou consoantes (por exemplo, 17770012 ou tdwhtr). Eles seguem padrões comuns e contêm imagens semelhantes, geralmente com logotipos gerados automaticamente. Acho que o objetivo deles é atrair as pessoas para dar boa sorte.

Correio (2,6% ou ~ 3,5 milhões)

Se o domínio não se enquadra em nenhuma categoria, mas possui um registro MX no DNS (para email), eu o atribuai à categoria "Correio". Não verificou se o servidor de correio ou a entrega está funcionando. É possível que muitos desses domínios não sejam usados ​​para email.

Redirecionar (1,1% ou ~ 1,6 milhões)

Isso inclui "domínios personalizados" que são enviados para páginas do Facebook, nomes alternativos de empresas etc.

Privado (0,64% ou ~ 0,9 milhão)

Esses são sites nos quais nenhum conteúdo está disponível sem autorização (ou, em alguns casos, registro).

Pornografia (0.59% ou ~ 0.8 milhões)

Como sites de apostas, muitos sites pornográficos operam sob diferentes apelidos. Os sites são predominantemente em chinês e os domínios seguem padrões de nomes semelhantes. Como muitos sites exibem material pornográfico diretamente (sem aviso), não tirei screenshots.