Al buscar nombres gratuitos en la zona .com, me sorprendió desagradablemente la cantidad de dominios ya ocupados pero no utilizados. Aparentemente, todas las combinaciones pronunciadas de letras en todos los idiomas principales del mundo están registradas. E incluso combinaciones cortas impronunciables. ¿Existe un gran mercado de dominios o los mismos nombres me vienen a la mente como todos los demás? Veamos las estadísticas básicas ...

Actualmente hay 137 millones de nombres de dominio .com registrados. Según Verisign , a partir del 27 de enero de 2019, hay 137,756,106 dominios .com en la "zona activa". Antes de eso, verifiqué la corrección de la figura con el archivo de zona DNS.

De estos, se usa aproximadamente un tercio (empresas, sitios web personales, correo electrónico, etc.). Otro tercio, aparentemente, no se usa, y el último tercio se usa para diversos fines especulativos.

Así es como se usan los dominios (en una muestra de 2188 piezas):

¿Cómo obtuve estos números?

Comencé a rastrear con una selección aleatoria de dominios de nivel superior del archivo DNS de la zona (el archivo se descargó el 21/01/2019, y el rastreo continuó hasta el 23/01/2019) hasta que alcancé 100,000 dominios válidos (no todas las entradas son válidas allí, algunas actúan como trampas para la captura personas que distribuyen ilegalmente archivos de zona, y aproximadamente el 1% son servidores de nombres; después de su exclusión, quedan 98 854 dominios válidos).

Para cada dominio, compilé lo siguiente:

• Registro de WHOIS
  
• todos los registros DNS para dominios de nivel superior y subdominios www (con ANY consulta DNS directamente a los servidores de nombres especificados en el registro WHOIS);
  
• Respuestas HTTP y HTTPS (código de estado, encabezados y cuerpos) para la página principal del dominio de nivel superior y el subdominio www (los certificados SSL no válidos clasificaron el dominio en la categoría Error );
  
• captura de pantalla de la página principal en Mozilla Firefox 64.0 para Linux.

El escaneo tomó un poco más de 48 horas desde un servidor en el centro de datos de Singapur. Luego, inicié la segunda etapa de rastreo para todos los dominios que no pudieron conectarse a través de HTTP o HTTPS (en caso de errores temporales). Y finalmente, para 2188 dominios de la muestra, verifiqué manualmente todos los errores en caso de que el rastreador se agotara o los eventos DOM estuvieran bloqueados en JavaScript.

Luego escribí un script de ayuda para acelerar la clasificación manual de los sitios en función de su captura de pantalla y contenido.


El script presenta las posibles categorías como una lista de botones con contenido predeterminado.

Con este script, clasifiqué los sitios en dos días. No todos los sitios debían distinguirse manualmente: en algunos casos, la categoría era obvia en el campo <título>, así que apliqué expresiones regulares. En otros casos, la captura de pantalla no fue suficiente, por lo que tuve que abrir manualmente el dominio en el navegador para su verificación.

Resumen de estadísticas y conclusiones

Los 10 principales registradores .com de una selección de 100,000 dominios

• GoDaddy ha registrado un tercio de todos los nombres de dominio. Estos son aproximadamente 45 millones de dominios. De estos, cada tercera página de estacionamiento. En otras palabras, más del 10% de todos los dominios .com en Internet colocan anuncios GoDaddy.
  
• Aunque es una muestra de 1851 registradores, son controlados por un pequeño número de operadores. Por ejemplo, solo DropCatch.com controla más de mil registradores: DropCatch.com 1000 LLC, DropCatch.com 1001 LLC, DropCatch.com 1002, etc. otros registradores usan esquemas similares con números, pero algunos tienen esquemas menos obvios.
  
• Durante el año pasado, el 25% de los dominios están registrados.

Edad de los dominios de una muestra de 100,000 unidades (en años)

Categorías de dominio

La lista de categorías se actualizó a medida que trabaja. Por ejemplo, no esperaba una gran cantidad de dominios para juegos de azar (bajo alias).

Para la mayoría de las categorías, se proporciona una selección aleatoria de capturas de pantalla.

Contenido (31% o ~ 43 millones)

El contenido es un dominio con cualquier contenido único. Esta es la categoría predeterminada donde pongo cualquier sitio en caso de duda.

Publicidad (23% o ~ 31 millones)

Tenga en cuenta que la mitad de los dominios en esta categoría son las páginas de estacionamiento de GoDaddy, donde GoDaddy coloca anuncios de Google para palabras clave relacionadas con el nombre de dominio.

Sin servidor web (11% o ~ 16 millones)

Si no pude conectarme o recibir una respuesta válida en el puerto 80 o 443 para el dominio de nivel superior o el subdominio www, mientras el dominio no tiene un registro MX, lo pongo en esta categoría. Algunos de estos dominios probablemente se usan de alguna otra manera, por ejemplo, como servidores FTP o de juegos, pero me parece una minoría. Todos los sitios en IPv6 también llegaron aquí, porque el servidor del rastreador se configuró solo para IPv4.

Vacío (9.2% o ~ 13 millones)

Un dominio vacío es aquel para el que el servidor web responde, pero devuelve páginas en blanco, errores 404 o plantillas en blanco (por ejemplo, la configuración predeterminada de WordPress).

La diferencia entre un dominio vacío y un dominio estacionado es que el dominio vacío es presumiblemente configurado por el usuario, pero el contenido aún no se ha agregado.

En venta (7.1% o ~ 9.8 millones)

Muchos dominios se ponen a la venta a través de varios corredores y plataformas de negociación. Casi la mitad de ellos parecen ser vendidos por HugeDomains, aunque su sitio web solo habla de "más de 200,000" dominios disponibles para la compra. Tomé en cuenta solo los dominios de sitios conocidos o cuando los detalles de contacto no se incluyeron en el anuncio, porque las redes publicitarias y los corredores a menudo mienten y representan al propietario del dominio (en cambio, clasifiqué todos esos dominios como anuncios).

Error (5.7% o ~ 7.9 millones)

Si el dominio devolvió un error de cualquier tipo, ya sea un error HTTP o un error en la página, lo asigné a esta categoría.

Tenga en cuenta que algunos dominios privados podrían acceder accidentalmente aquí si usaran autenticación convencional, ya que no distinguí 403 Prohibido (debido a la falta de credenciales básicas para la autenticación) de otros errores.

Estacionado (4.8% o ~ 6.5 millones)

Los dominios estacionados muestran la página de registro o indican que el dominio aún no se ha configurado. Para entrar en esta categoría, el dominio debe emitir una página sin publicidad externa. Puede anunciar sus propios servicios, pero no puede publicar anuncios de la red publicitaria.

Juegos de apuestas (3.0% o ~ 4 millones)

Casi todos los sitios de esta categoría están en chino y funcionan con alias: a menudo son cadenas cortas de números o consonantes (por ejemplo, 17770012 o tdwhtr). Siguen patrones comunes y contienen imágenes similares, a menudo con logotipos generados automáticamente. Supongo que su objetivo es atraer personas para la buena suerte.

Correo (2.6% o ~ 3.5 millones)

Si el dominio no pertenecía a ninguna categoría, pero tiene un registro MX en DNS (para correo electrónico), lo asigné a la categoría "Correo". No se verificó si el servidor de correo o la entrega funciona. Es posible que muchos de estos dominios no se utilicen para el correo electrónico.

Redirigir (1.1% o ~ 1.6 millones)

Esto incluye "dominios personalizados" que se envían a páginas de Facebook, nombres alternativos de empresas, etc.

Privado (0.64% o ~ 0.9 millones)

Estos son sitios en los que no hay contenido disponible sin autorización (o, en algunos casos, registro).

Porno (0.59% o ~ 0.8 millones)

Al igual que los sitios de juegos de azar, muchos sitios de pornografía operan con diferentes alias. Los sitios web están predominantemente en chino, y los dominios siguen patrones de nombres similares. Como muchos sitios muestran material pornográfico directamente (sin previo aviso), no tomé capturas de pantalla.