Image: PexelsPour les sites d'agrégation de commerce électronique, il est essentiel de conserver des informations à jour. Sinon, leur principal avantage disparaît - la possibilité de voir les données les plus pertinentes en un seul endroit.
Pour résoudre ce problème, vous devez utiliser la technique de grattage Web. Sa signification est que des logiciels spéciaux sont créés - le robot, qui contourne les sites nécessaires de la liste, les analyse et les télécharge sur le site d'agrégation.
Le problème est que souvent les propriétaires des sites sur lesquels ces agrégateurs prennent des données ne veulent pas leur donner accès si facilement. Cela peut être compris - si les informations de prix dans la boutique en ligne arrivent sur le site de l'agrégateur et s'avèrent être supérieures à celles des concurrents qui y sont présentées, l'entreprise perdra des clients.
Méthodes anti-grattage
Par conséquent, souvent les propriétaires de ces sites s'opposent au raclage - c'est-à-dire au téléchargement de leurs données. Ils peuvent identifier les demandes envoyées par les robots d'exploration par adresse IP. En règle générale, ces logiciels utilisent ce que l'on appelle l'IP du serveur, qui est facile à calculer et à bloquer.
De plus, au lieu de bloquer les demandes, une autre méthode est souvent utilisée - les bots détectés affichent des informations non pertinentes. Par exemple, ils surestiment ou sous-estiment le prix des marchandises ou modifient leurs descriptions.
Un exemple souvent cité à cet égard est le billet d'avion. En effet, bien souvent, les compagnies aériennes et les agences de voyages peuvent afficher des résultats différents pour les mêmes vols, en fonction de l'adresse IP. Le cas réel: une recherche de vol de Miami à Londres à la même date à partir d'une adresse IP en Europe de l'Est et en Asie renvoie des résultats différents.
Dans le cas d'une adresse IP en Europe de l'Est, le prix ressemble à ceci:
Et pour une adresse IP d'Asie comme celle-ci:
Comme vous pouvez le voir, le prix du même vol est sensiblement différent - la différence est de 76 $, ce qui est vraiment beaucoup. Pour un site d'agrégateur, il n'y a rien de pire que cela - si des informations incorrectes y sont présentées, les utilisateurs ne les utiliseront pas. En outre, si un produit spécifique a le même prix sur l'agrégateur, et lorsqu'il change sur le site Web du vendeur, il change - cela affecte également négativement la réputation du projet.
Solution: utilisez des proxys résidents
Vous pouvez éviter les problèmes lors de la mise au rebut des données pour les besoins de leur agrégation à l'aide de proxys résidents. Les adresses IP des serveurs sont fournies par les fournisseurs d'hébergement. L'identification de l'adresse appartenant au pool d'un fournisseur particulier est assez simple - chaque IP a un numéro ASN qui contient ces informations.
Il existe de nombreux services pour analyser les numéros ASN. Souvent, ils s'intègrent à des systèmes anti-bots qui bloquent l'accès aux robots ou jonglent avec les données renvoyées en réponse à leurs demandes.
Les adresses IP résidentes aident à contourner ces systèmes. Ces fournisseurs de propriété intellectuelle donnent aux propriétaires de maison, avec des marques correspondantes dans toutes les bases de données connexes. Il existe des services spéciaux de mandataires résidents qui vous permettent d'utiliser des adresses résidentes.
Infatica est un tel service.
Les demandes que les robots d'exploration des sites d'agrégation envoient à partir d'adresses IP résidentes semblent provenir d'utilisateurs réguliers d'une région spécifique. Et personne ne bloque les visiteurs ordinaires - dans le cas des boutiques en ligne, ce sont des clients potentiels.
En conséquence, l'utilisation de proxys tournés d'Infatica permet aux sites d'agrégateur de recevoir des données précises garanties et d'éviter les blocages et les difficultés d'analyse.
Autres articles sur l'utilisation des procurations des résidents pour les entreprises: