Gambar: PexelsUntuk situs agregator e-niaga, penting untuk selalu mendapatkan informasi terbaru. Jika tidak, keunggulan utama mereka menghilang - kemampuan untuk melihat data yang paling relevan di satu tempat.
Untuk mengatasi masalah ini, Anda perlu menggunakan teknik pengikisan web. Artinya adalah perangkat lunak khusus dibuat - perayap, yang mem-bypass situs yang diperlukan dari daftar, mem-parsing informasi dari mereka dan mengunggahnya ke situs agregator.
Masalahnya adalah bahwa seringkali pemilik situs tempat agregator ini mengambil data tidak ingin memberi mereka akses dengan mudah. Ini dapat dipahami - jika informasi harga di toko online sampai ke situs agregator dan ternyata lebih tinggi daripada pesaing yang disajikan di sana, bisnis akan kehilangan pelanggan.
Metode Anti-Scraping
Oleh karena itu, seringkali pemilik situs tersebut menentang pengikisan - yaitu mengunduh data mereka. Mereka dapat mengidentifikasi permintaan yang dikirim bot perayap dengan alamat IP. Biasanya, perangkat lunak tersebut menggunakan yang disebut IP server, yang mudah untuk dihitung dan diblokir.
Selain itu, alih-alih memblokir permintaan, metode lain sering digunakan - bot yang terdeteksi ditampilkan informasi yang tidak relevan. Misalnya, mereka melebih-lebihkan atau meremehkan harga barang atau mengubah deskripsi mereka.
Contoh yang sering dikutip dalam hal ini adalah tiket pesawat. Memang, seringkali maskapai dan agen perjalanan dapat menunjukkan hasil yang berbeda untuk penerbangan yang sama, tergantung pada alamat IP. Kasus sebenarnya: pencarian penerbangan dari Miami ke London pada tanggal yang sama dari alamat IP di Eropa Timur dan Asia memberikan hasil yang berbeda.
Dalam hal alamat IP di Eropa Timur, harganya terlihat seperti ini:
Dan untuk alamat IP dari Asia seperti ini:
Seperti yang Anda lihat, harga penerbangan yang sama sangat berbeda - perbedaannya adalah $ 76, yang sangat banyak. Untuk situs agregator, tidak ada yang lebih buruk dari ini - jika informasi yang disajikan salah, maka pengguna tidak akan menggunakannya. Selain itu, jika produk tertentu memiliki harga yang sama pada agregator, dan ketika itu berubah ke situs web penjual, ia berubah - ini juga berdampak negatif terhadap reputasi proyek.
Solusi: gunakan proxy penduduk
Anda dapat menghindari masalah saat membuang data untuk kebutuhan agregasi mereka menggunakan proksi penduduk. IP server disediakan oleh penyedia hosting. Mengidentifikasi alamat milik kumpulan penyedia tertentu cukup sederhana - setiap IP memiliki nomor ASN yang berisi informasi ini.
Ada banyak layanan untuk menganalisis nomor ASN. Seringkali mereka berintegrasi dengan sistem anti-bot yang memblokir akses ke perayap atau menyulap data yang dikembalikan sebagai tanggapan atas permintaan mereka.
Alamat IP lokal membantu menghindari sistem tersebut. Penyedia IP tersebut memberikan kepada pemilik rumah, dengan tanda yang sesuai di semua database terkait. Ada layanan khusus dari proxy penduduk yang memungkinkan Anda untuk menggunakan alamat penduduk.
Infatica hanyalah layanan seperti itu.
Permintaan yang dikirim perayap situs agregator dari IP penduduk sepertinya berasal dari pengguna reguler dari wilayah tertentu. Dan tidak ada yang menghalangi pengunjung biasa - dalam hal toko online, ini adalah pelanggan potensial.
Akibatnya, penggunaan proxy yang diputar dari Infatica memungkinkan situs agregator untuk menerima data akurat yang dijamin dan menghindari penyumbatan dan kesulitan dengan penguraian.
Artikel lain tentang penggunaan proxy penduduk untuk bisnis: