En este artículo, trataré de hablar sobre los sitios de análisis y sus principales matices. Mi empresa ha estado analizando sitios durante más de tres años y cada día analizamos unos 300 sitios. Por lo general, escribo abiertamente sobre esto en las redes sociales (además publicamos muchos de los resultados del análisis de las tiendas más grandes de Rusia de forma gratuita, públicamente), lo que provoca acalorados debates y la desaprobación de los usuarios. Después de leer los comentarios, es divertido mirar su PM y leer mensajes con ofertas de cooperación de las mismas personas que nos condenaron en los comentarios debajo de la publicación :) Todo el artículo estará en el formato de las preguntas más frecuentes y respuestas honestas (material de marketing, no técnico )
1. ¿Qué es el análisis?
Por definición, el análisis es la recopilación automatizada de información no estructurada, su transformación y salida en forma estructurada. Bastante inofensivo, ¿no es así? Sin embargo, la sociedad trata esto muy peculiarmente como la masturbación adolescente, muchos lo hicieron :), pero nadie habla de ello públicamente. Además, el análisis a menudo está mal visto y se considera algo vergonzoso. La razón, como en la mayoría de los casos similares, está en la percepción equivocada.
Te diré un secreto: todos están involucrados en el análisis ... Al menos, todos los principales jugadores del mercado. Hace un par de años, en uno de los artículos en Vedomosti, los representantes de M-video, Svyaznoy y Citylink incluso hablaron abiertamente sobre esto en respuesta al interés del FAS (ver
aquí ).
2. ¿Para qué sirve el análisis?
En primer lugar, el objetivo del análisis es la "inteligencia" de precios, el análisis de surtido y el seguimiento de las existencias de productos básicos. "¿Quién, qué, por cuánto y en qué cantidades se vende?" - Las principales preguntas que debe analizar el análisis. Con más detalle, analizando el rango de competidores o el mismo Yandex.Market responde las primeras tres preguntas.
Con la circulación de mercancías es algo más complicado. Sin embargo, compañías como “Wildberries”, “Lamoda” y Leroy Merlin brindan abiertamente información sobre ventas diarias (pedidos) o saldos de productos, con base en lo cual no es difícil formar una idea general de ventas (a menudo escucho la opinión de que estos datos pueden estar distorsionados). intencionalmente, tal vez, pero tal vez no). Observamos cuántos bienes había en stock hoy, mañana, pasado mañana, y así sucesivamente durante un mes, y el calendario ya está listo y la dinámica del cambio en la cantidad por posición se ha elaborado (la rotación de bienes es en realidad). Cuanto mayor es la dinámica, mayor es la rotación.
Una forma potencialmente posible de averiguar la rotación de productos mediante un análisis diario de los residuos del sitio web de Leroy Merlin.Puede, por supuesto, referirse al movimiento de bienes entre puntos. Pero en total, si tomamos, por ejemplo, Moscú, el número no cambiará mucho, y es difícil creer en movimientos significativos de bienes entre regiones.
La situación es similar con los volúmenes de ventas. Por supuesto, hay empresas que publican información en forma de muchos / pocos, pero incluso con esto puede trabajar, y las posiciones más vendidas se pueden rastrear fácilmente. Especialmente si cortas posiciones baratas y te enfocas únicamente en aquellas que son de mayor valor. Al menos hicimos ese análisis, resultó interesante.
En segundo lugar, el análisis se utiliza para obtener contenido. Aquí, las historias en el estilo de "tonos legales de gris" ya pueden tener lugar. Muchos están obsesionados con el hecho de que el análisis es precisamente el robo de contenido, aunque este no es el caso por completo. El análisis es solo una recopilación automatizada de información, nada más. Por ejemplo, analizar fotos, especialmente aquellas con “marcas de agua”, es puro robo de contenido e infracción de derechos de autor. Por lo tanto, generalmente no hacen esto (en nuestro trabajo nos limitamos a recopilar enlaces a imágenes, nada más ... bueno, a veces nos piden que contemos la cantidad de fotos, rastreemos la disponibilidad de video en el producto y le demos un enlace, etc.).
En cuanto a la recopilación de contenido, la situación con las descripciones de los productos es más interesante. Recientemente, recibimos una orden para recopilar datos en 50 sitios de grandes farmacias en línea. Además de la información sobre el surtido y el precio, se nos pidió que "reparta" la descripción de los dispositivos médicos; lo que se incluye en cada paquete es el llamado información objetiva, es decir Es poco probable que caiga bajo la ley de derechos de autor. Como resultado, en lugar de un conjunto manual de instrucciones, los clientes solo tendrán que hacer pequeños ajustes en las plantillas de instrucciones, y eso es todo: el contenido del sitio está listo. Pero sí, también puede haber descripciones de los autores de medicamentos certificados por un notario y hechos específicamente como una especie de trampa para ladrones de contenido :).
Considere también recopilar descripciones de libros, por ejemplo, con OZON.RU o Labyrinth.ru. Aquí la situación no es tan sencilla desde el punto de vista legal. Por un lado, el uso de dicha descripción puede infringir los derechos de autor, especialmente si la descripción de cada tarjeta con los productos ha sido notariada (lo cual dudo mucho; es posible que no esté certificada, la excepción son los pequeños recursos que quieren arrastrar a los ladrones de contenido a los tribunales). En cualquier caso, en esta situación tendrá que "sudar" mucho para demostrar la singularidad de esta descripción. Algunos clientes van aún más lejos: conectan sinónimos, que "sobre la marcha" cambian (bien o mal) las palabras en la descripción, manteniendo un sentido común.
Otra aplicación de análisis es bastante original: "análisis automático". Varios objetivos se persiguen aquí. Para empezar, está rastreando lo que sucede con el contenido del sitio: dónde están los enlaces rotos, dónde faltan descripciones, duplicación de productos, falta de ilustraciones, etc. Media hora de trabajo del analizador, y ahora tiene una tabla preparada con todas las categorías y datos. Convenientemente! El "análisis automático" también se puede utilizar para comparar los saldos en el sitio con los saldos de su almacén (también hay clientes que rastrean las fallas de las cargas en el sitio). Otra aplicación de "auto-análisis" que hemos encontrado en nuestro trabajo es estructurar datos de un sitio web para cargarlos en Yandex Market. Fue más fácil para los chicos hacer esto que hacerlo manualmente.
Los anuncios también se analizan, por ejemplo, en CIAN-e, Avito, etc. Los objetivos aquí pueden ser la reventa de bases a corredores de bienes raíces u operadores turísticos, o directamente el correo no deseado por teléfono, el redireccionamiento, etc. En el caso de Avito, esto es especialmente obvio, porque Se compila de inmediato una tabla con los teléfonos de los usuarios (a pesar de que Avito reemplaza los teléfonos de los usuarios para protegerlos y los publica como una imagen, todavía no es posible obtener llamadas entrantes).
3. "¿Qué hay en mi currículum para ti?" o analizar HH.RU
Recientemente, las solicitudes de análisis de Headhunter se han vuelto relevantes. Es cierto que al principio se les pide a las personas que les vendan una "base de Headhunter". Pero, cuando ya entienden que no tenemos y no podemos tener ninguna base, procedemos a hablar sobre el análisis en su perfil ("con una contraseña"). Esta es una dirección peculiar de análisis y, francamente, no es muy interesante para nosotros, pero vale la pena contarlo.
¿Qué es la sutileza? El cliente proporciona acceso a su cuenta y establece la tarea de recopilar datos según sus necesidades. Es decir Ya pagó el acceso a la base de datos de HH y, al firmar un acuerdo con nosotros, nos encarga la tarea de recopilar información automáticamente en su interés y bajo su cuenta, que es completamente bajo su responsabilidad. Si HH detecta actividad anormal, la cuenta será bloqueada. Por lo tanto, tratamos de simular la actividad humana en la recopilación de datos lo mejor posible.
Si HH (hasta donde yo sé, después de haber "exitosamente" fallado sus experimentos con la API) proporcionó (vendió) los datos en una tableta por región, por ejemplo, los contactos de todos los directores de marketing que trabajan actualmente en Moscú, nadie habría acudido a nosotros. Mientras tanto, la gente tiene que hacer esto con "bolígrafos", vienen a nosotros. Después de todo, cuando tiene una tabla de este tipo, es mucho más conveniente participar en publicidad no deseada: llamadas en frío.
Insisto nuevamente, no tenemos una base de datos HH, simplemente recopilamos datos para cada cliente para sus necesidades, su cuenta y su responsabilidad. Y la violación del contrato de oferta no está asociada con el uso del sitio por parte del analizador. Al firmar un acuerdo con nosotros, el cliente recibe para la ejecución contactos de unos 450 tomadores de decisiones, que ponemos sobre él en el servidor, y luego su departamento de ventas decidirá qué hacer con él. Eh, también seríamos "spam" si tuviéramos esa base. Es broma :)
Aunque, personalmente, creo que no hay perspectivas de analizar con una contraseña. Analizar los recursos abiertos es otra cuestión. Una vez que configura todo y analiza constantemente, revende el acceso a todos los datos recopilados. Esto es más prometedor.
4. ¿Es legal el análisis?
No hay ningún artículo en la ley rusa que prohíba el análisis. El pirateo, DDOS, el robo de contenido con derechos de autor está prohibido, y el análisis no es ni el uno ni el otro, ni el tercero y, en consecuencia, no está prohibido.
Algunas personas perciben el análisis como un ataque DDOS y lo dudan. Sin embargo, estas son cosas completamente diferentes, y cuando analizamos, por el contrario, intentamos cargar el sitio de destino lo menos posible y no dañar el negocio. Como en el caso del parasitismo saludable, no queremos que la empresa "deje de lado", de lo contrario no tendremos nada para "parasitar".
Por lo general, solicitan analizar sitios grandes, desde los mejores 300-500 sitios en Rusia. En tales sitios, el tráfico, por regla general, es de varios millones por mes, tal vez incluso más. Y en este contexto, analizar un producto por segundo o dos es casi invisible (no tiene sentido analizarlo con más frecuencia, 1-2 segundos por producto es la velocidad óptima para sitios grandes). En consecuencia, no hay indicios de un ataque DDOS en nuestras acciones. Muy raramente, las personas nos piden que actualicemos, por ejemplo, todo el sitio BERU.RU por día, digamos sin rodeos, es excesivo y la carga en el sitio es demasiado alta ... por lo general, demora de 3 a 4 días.
Permítame recordarle que el análisis es solo una colección de lo que podemos ver con nuestros propios ojos en el sitio y copiar en nuestras manos. Por lo tanto, solo las acciones con información ya recopilada, es decir, acciones del propio cliente. Es solo que una persona hace esto durante mucho tiempo lentamente y con errores, y analiza rápidamente y no comete errores. ¿Qué hacer cuando se trata de recopilar datos de AliExpress o Wildberies? Tal tarea está simplemente más allá del poder del hombre, y el análisis es la única salida.
Es cierto que recientemente pidieron analizar el sitio web de una organización estatal, un tribunal, si no me equivoco. Allí toda la información es de dominio público, pero nosotros (por si acaso) nos negamos. :)
5. “¿Por qué nos analiza, somos el cliente” o cuál es la diferencia entre analizar y monitorear precios?
El monitoreo de precios es una de las aplicaciones más populares para el análisis. Pero no es tan simple con él: en este caso, no solo tendremos que trabajar, sino también el propio cliente.
Al ordenar el monitoreo de precios, advertimos de inmediato que analizaremos no solo a los competidores, sino también al cliente. Esto es necesario para obtener tablas similares con productos y precios, que podemos actualizar automáticamente. Sin embargo, tales datos por sí solos no tienen valor hasta que se interconectan (la llamada coincidencia de bienes). Podemos correlacionar automáticamente algunas posiciones de diferentes sitios, pero, desafortunadamente, en este momento las "máquinas" no son tan buenas como para garantizar esto sin errores, y nadie es mejor que una persona (por ejemplo, trabajando remotamente en un empleado de medio tiempo de las regiones) lo haré
Si todos mostraran un código de barras en el sitio, sería genial, y podríamos hacer todos los "paquetes" automáticamente. Pero, desafortunadamente, esto no es así, e incluso diferentes compañías escriben diferentes nombres de productos de manera diferente.
Es bueno que dicho trabajo deba realizarse una vez, y luego volver a comprobarlo periódicamente y hacer pequeños ajustes, si es necesario. Si hay enlaces, ya podemos actualizar dichas tablas automáticamente. Además, por lo general, las personas no necesitan monitorear los precios de todo: hay condicionalmente 3-5 mil posiciones que están en la parte superior, y un poco no es de interés. Y un operador de la región puede hacer fácilmente ese trabajo por unos 10.000 rublos al mes.
El caso más exitoso y correcto en este caso, en mi opinión, es cargar la lista de precios obtenida de los competidores directamente a su 1C-ku (u otro sistema ERP) y allí ya puede realizar la comparación. Por lo tanto, el monitoreo de precios es más fácil de implementar en las actividades diarias de sus analistas. Y sin análisis, nadie necesita tal análisis.
6. ¿Cómo protegerse del análisis?
De ninguna manera ¿Y vale la pena protegerse del análisis? No lo haría Todavía no hay una protección del 100% que funcione (más precisamente, aún no nos hemos encontrado), por lo que no veo mucho sentido en tratar de defenderme. La mejor protección contra el análisis es simplemente colocar la tabla terminada en el sitio y escribir: tómala desde aquí y actualízala una vez cada dos días. Si la gente hace esto, entonces no tendremos pan.
Por cierto, recientemente llamaron al director de TI de una red grande: querían probar su protección contra el análisis. Le pregunté directamente por qué no lo hacen. Como especialista técnico, comprende perfectamente que ninguna protección contra el análisis analizará, solo asustará a los aficionados; pero las empresas que ganan dinero con el análisis pueden permitirse actividades de investigación en esta dirección: comprender la nueva protección durante un tiempo largo y doloroso, y eventualmente sortearla ...
Como regla general, todos usan el mismo tipo de protección, y tal estudio será útil más de una vez. Entonces, resultó que el departamento de marketing no está preparado para esto: "¿Por qué simplificamos la vida de los competidores?" Parecería lógico, pero ... Como resultado, la compañía gastará dinero en protección, lo que no ayudará, y la carga parasitaria en el sitio permanecerá. Aunque, para ser justos, vale la pena señalar que los "estudiantes" que aprenden la pitón y se elevan todo lo que "se mueve" pueden ayudar.
Por cierto, tanto Yandex como Google están involucrados en el análisis: van al sitio y lo indexan, recopilan información. Solo todos quieren que Yandex y Google indexen sus sitios por razones obvias, y nadie quiere ser analizado :)
7. "Busqué aquí gratis ..." o una historia sobre vuelos
Una vez que se nos acercaron con un orden interesante para el análisis de prueba. La compañía maneja boletos aéreos y estaban interesados en los precios de los competidores para un par de los destinos más populares. La tarea no fue trivial, porque Tuve que jugar con la sustitución y comparación de vuelos. Resultó interesante que los precios de "Onetwotrip", "Aviasales" y "Skyscanner" para los mismos vuelos son ligeramente diferentes (el diferencial es de aproximadamente 5-7%).
El proyecto me pareció muy interesante y publiqué una publicación al respecto en las redes sociales. Para mi sorpresa, la discusión en la publicación fue bastante agresiva, y no entendí de inmediato por qué. Entonces el director general de una de las compañías del líder del mercado en venta de entradas en Rusia me escribió y la situación se aclaró. Resultó que las solicitudes de precios de boletos para tales compañías son pagadas, porque toman información de los servicios internacionales de pago. Y, además de la carga parasitaria, el análisis también es financiero para ellos.
En cualquier caso, nadie le exige el pago si está buscando personalmente boletos para estos servicios, y la gente común también hace muchas solicitudes mientras clasifica las diferentes opciones ... En general, existe un dilema comercial :)
8. "Recetas del chef-analizador". o como trabajamos
Creo que para comprender mejor todos los aspectos del análisis, vale la pena abrir el velo de nuestra "cocina interior".
Todo comienza con un pedido. A veces, los clientes se comunican con nosotros mismos, y a veces llamamos. Resulta especialmente bien con pedidos de monitoreo de precios. En este caso, tenemos que analizar no solo a los competidores, sino también al cliente mismo. Por lo tanto, a veces llamamos a aquellos a quienes analizamos de una manera u otra, y hablamos abiertamente sobre esto, ofreciendo nuestros servicios: el trabajo ya lo estamos haciendo nosotros. Al principio, la reacción es muy negativa, pero pasan un par de días, las emociones disminuyen y los propios clientes vuelven a llamar diciendo: “¡Maldita sea! ¿A quién sigues analizando?
Analizar con MUY muchos propietarios de los recursos visitados causa emociones. Al principio negativo, porque es similar a espiar en un ojo de cerradura. Luego se convierte en interés, y luego en una conciencia de la necesidad. Los empresarios son personas inteligentes. Cuando las emociones se quedan sin valor y el cálculo frío permanece, siempre surge la pregunta: "¿O tal vez estábamos subdesarrollados en algún lugar, y también necesitamos esto?"
Gracias a estas emociones, estamos creciendo y desarrollándonos de manera bastante activa. Por el momento, analizamos unos 300 sitios al día. Por lo general, nos ordenan de 8 a 15 sitios, y analizar uno cuesta de 5 a 9 mil rublos al mes, dependiendo de la complejidad de la conexión, porque cada sitio debe conectarse individualmente (el recurso demora entre 4 y 5 horas). La dificultad es que algunos están protegidos. La lucha no es tanto con el análisis como con una carga parasitaria, lo que no les brinda ganancias, pero a veces hay que jugar.
En cualquier caso, TODO ESTÁ PARROQUIDO, incluso si el precio de los productos se publica en el sitio como una imagen :) Para aquellos que quieran probar el análisis, les recomiendo trabajar en el sitio web de Stolichki Pharmacy y
precios de precios .
Tienda en línea de una red de farmacias “Stolichki”: los precios están escritos en letra interna y, para analizarlos, una de las soluciones será la formación de la imagen y su reconocimiento. Hacemos esto al menos.Los datos recopilados se transmiten al cliente. Por lo general, los colocamos en nuestra propia nube, actualizando constantemente, y proporcionamos acceso del cliente a ellos a través de la API. Si algo falla repentinamente con los datos (y esto ocurre raramente, una vez cada 3-4 meses), nos llaman inmediatamente y nos escriben, e intentamos solucionar el problema lo más rápido posible. Tales fallas ocurren cuando se instala una nueva protección o bloque, y se resuelven usando investigación y proxies, respectivamente. En otro caso, cuando algo cambia en el sitio, el bot simplemente deja de entender dónde está ubicado, y nuestro programador tiene que reconfigurarlo. Pero todo está resuelto, y los clientes suelen tratar estos problemas con comprensión.
Observo que en nuestro negocio la identidad del cliente nunca ha sido revelada; somos bastante sensibles a esto y nadie canceló las cláusulas del acuerdo de confidencialidad. Aunque no hay nada reprobable en el análisis, muchos son tímidos.
En realidad, para resumir, si usted es un negocio en crecimiento, comercia con bienes generalizados o trabaja en un entorno que cambia rápidamente (como contratar personal u ofrecer servicios específicos para una determinada categoría de creadores, currículums y el contenido de otros "tableros de mensajes" en Internet), entonces es temprano o más tarde se encuentra con el análisis (como cliente o como objetivo).PD: si nos gusta el artículo, escribiremos sobre el aspecto técnico de las cosas: cómo eludimos la protección, qué capacidades usamos, en qué está escrito (spoiler .net), etc.Maxim Kulgin, xmldatafeed.com