
各种任务可能需要屏蔽IP地址-从访问阻止的内容到绕过搜索引擎反机器人系统和其他在线资源。 我找到了一篇有趣的
文章 ,介绍如何使用该技术解决公司问题,并准备了经过改编的翻译。
有几种实现代理的选项:
- 居民代理 -Internet提供商向房主颁发的IP地址称为居民代理 ;它们在区域Internet寄存器(RIR)的数据库中注明。 驻留代理仅使用此类IP,因此来自代理的请求与真实用户发送的请求没有区别。
- 服务器代理(数据中心代理) 。 此类代理绝不与个人的Internet提供商关联。 此类地址由已购买地址池的托管服务提供商发布。
- 共享代理。 在这种情况下,一个代理可同时由多个用户使用。 既可以是服务器,也可以由提供商为其用户提供。
- 私人代理人 。 在专用或专用代理的情况下,只有一个用户有权访问IP地址。 此类代理既提供专门服务,又提供主机,Internet提供商和VPN服务。
所有这些选项都有其优势,但是对于公司使用,越来越多地使用本地代理。 造成这种情况的主要原因是,这些代理使用不同位置(国家/地区,州/地区和城市)中不同Internet提供商的真实地址。 结果,无论与谁进行交互,它看起来都好像是由真实用户执行的。 任何在线服务都永远不会阻止来自真实地址的请求,因为这可能会吸引潜在客户。
这为公司带来了许多机会。 让我们谈谈他们如何使用常驻代理来解决业务问题。
为什么要使用代理
根据反机器人流量公司Distil Networks的说法,当今Internet上多达40%的Web流量不是由人产生的。
同时,并非所有的漫游器都是好的(就像搜索引擎的爬虫一样),站点所有者倾向于保护自己免受许多漫游器的侵害,以免他们访问资源本身的数据或发现重要的业务信息。
2017年通常不劝阻的僵尸程序的数量为20.40%,另有21.80%的僵尸程序被认为是“不好的”:网站所有者试图禁止它们。

公司为什么要尝试规避此类障碍?
从竞争对手网站获取真实信息
驻留代理的主要使用领域之一是竞争情报。 如今,有一些工具可以轻松跟踪服务器代理的使用-已知代理提供程序地址池,因此可以轻松阻止它们。 许多流行的在线服务(例如Amazon,Netflix,Hulu)通过托管提供商的IP地址范围来实施阻止系统。
在使用常驻代理的情况下,任何请求看起来都像是普通用户发送的。 如果您需要使用常驻代理发送大量请求,则可以从任何国家,城市和相关Internet提供商的地址发送它们。
品牌保护
常驻代理的另一个实际应用是品牌保护和伪造。 例如,药品制造商(例如Viagra)一直在与假冒仿制药的销售商作斗争。
此类复制品的卖家通常会限制制造商官方代表办事处所在国家/地区的访问权限:这使得难以识别假冒经销商并向其提出法律要求。 在居民代理人的帮助下,地址与假冒站点位于同一国家/地区,可以轻松解决此问题。
测试新功能并监控性能
使用常驻代理的另一个重要领域是测试其网站或应用程序上的新功能-这使您可以通过普通用户的眼光看清一切的工作方式。 通过发送来自不同国家和城市的IP地址的大量请求,还可以测试应用程序在高负载下的运行情况。
此功能对于监视性能也很有用。 例如,对于国际服务而言,了解某些国家/地区的用户加载网站的速度非常重要。 在绩效监控系统中使用常驻代理有助于获得最相关的信息。
优化营销和广告
常驻代理的另一个应用是测试广告活动。 使用常驻代理,您可以查看特定广告的外观,例如,在特定区域居民的搜索结果中,以及该广告是否会出现。
此外,当在各种市场上推广时,驻地代理有助于理解效率,例如,搜索引擎优化的工作原理:该网站是用于以目标语言进行正确查询的顶级搜索引擎中的网站,以及其位置随时间的变化。
搜索引擎非常反对使用其资源来收集数据。 因此,他们正在不断改进识别数据收集器并有效阻止它们的机制。 结果,现在完全不可能使用它来收集来自搜索引擎的数据。
通过驻留代理阻止大量相同搜索查询的执行是不可能的-搜索引擎无法限制对真实用户的访问。 因此,此工具非常适合确保从搜索引擎收集数据。
居民代理也可用于分析竞争对手的广告和营销活动及其有效性。 公司本身和从事定制促销的机构都使用此技术。
内容汇总
在大数据时代,许多企业建立在来自不同站点的内容聚合之上,并将其整合到自己的平台上。 这样的公司通常还必须使用居民代理,否则将难以维护最新的价格数据库,例如,不同在线商店中某些类别的商品的价格:禁令的风险太大。
例如,要创建一个定期更新的比较表以及在线商店中吸尘器的价格,您需要一个机器人,该机器人将不断进入这些资源的必要页面并进行更新。 在这种情况下,要绕过反机器人系统,最有效的方法就是使用此工具。
定制数据收集和分析
在过去的几年中,专业地收集和分析自定义数据的公司一直在积极发展。 PromptCloud项目是该市场上最出色的参与者之一,它开发了自己的搜寻器工具,该工具可收集信息以进一步用于市场营销,销售或竞争性分析。
顺理成章地也禁止这类公司的漫游器,但是由于使用了常驻IP,实际上是不可能的。
节省当地折扣
其中,拥有私有本地IP地址可以节省资源。 例如,许多机票和酒店预订网站都显示针对地理位置的促销信息。 只有特定地区的客户才能使用它们。
如果公司需要组织去这个国家的商务旅行,那么在居民代表的帮助下,它可以尝试找到更优惠的价格并节省更多。
结论
模拟具有真实本地IP地址的真实用户的请求的功能非常有用,包括商业用途。 公司使用常驻代理来收集数据,进行各种测试,使用必要的但受阻的资源等。