Scraper API

刮板API

Scraper API是用于Web抓取的代理API。他们提供了可处理代理,浏览器和验证码的API,因此您可以通过简单的API调用从任何网页获取HTML。您可以访问超过2000万个住宅IP的池。它们提供无限带宽,仅计算您发出的API请求的数量。

快速,功能齐全的代理API

  • 池中超过2000万个住宅IP
  • 简单的仪表板即可管理使用情况和计费
  • 地理位置定位:定位到全球12个以上的国家/地区
  • 具有1000个请求和所有功能的免费计划
  • 第七天,无疑问,退款政策
  • 24/7全天候支持和出色的客户服务
  • 轮转和粘性IP会话
  • 设置简单
  • 能够呈现JavaScript页面
  • 自定义浏览器标题
  • 高级代理池
  • 从热门网站自动提取数据


代理API

Scraper API提供了专为Web抓取而设计的代理服务。凭借遍布12个国家/地区的超过2000万个住宅IP,以及可以处理JavaScript渲染和解决CAPTCHA的软件,您可以快速完成大型抓取作业,而不必担心被任何服务器阻塞。

实施非常简单,并且它们提供无限的带宽。代理会自动轮换,但是用户可以根据需要选择维护会话。您所需要做的就是使用您要抓取的URL调用API,它将返回原始HTML。使用Scraper API,您只需专注于解析数据,其余的就由它们处理。


商业刮板API计划


Scraper API概述

Scraper API的服务非常适合于爬网大型站点,尤其是对诸如Amazon和eBay之类的电子商务站点以及企业目录的爬网。它可以轻松地从搜索引擎获取结果。他们使用住宅IP网络,这意味着它们的IP难以检测和阻止,并且他们的软件能够解决CAPTCHA(如果确实存在)。您甚至都不会注意到-只专注于处理收到的HTML!

有一个免费层供您测试1000个请求和所有功能。在那之后,有一个Hobby层($ 29),一个Startup层($ 99)和一个Business层($ 249)。每个层允许不同数量的API调用,范围从Hobby层每月250,000个到Business层每月3,000,000个。

如果您需要更多或有不同的要求,只需向团队发送消息,他们就会为您创建适合您需求的自定义计划。

Scraper API是否适合您?我们将在此评论中更深入地介绍他们提供的产品,以便您做出决定。

Scraper API解决方案

  • Scraper API会自动从十几个ISP的2000万个住宅IP池中轮换IP地址,并将自动重试失败的请求。如果页面存在,您将可以访问它。
  • Scraper API上的高级软件将解决所有出现的验证码。
  • 它可用于抓取以Javascript呈现的页面-只需在API调用中设置“ render = true”,它将使用无头浏览器呈现页面并将数据返回给您。
  • 您可以设置自定义标题,因此网站将无法将您的活动与正常的浏览活动区分开。
  • 他们在12个以上的不同国家/地区拥有服务器,您可以轻松设置希望来自哪个位置的请求。
  • 无限带宽–与其他代理服务不同,Scraper API不会向您收取带宽费用–根据您需要的请求数量和所需的选项向您收费。
  • 这些服务器速度很快,速度高达100Mb / s,并保证99.9%的正常运行时间。
  • 他们提供专业的支持,周转时间短

Scraper API的工作方式

当您注册Scraper API时,会获得一个访问密钥。您需要做的就是使用您的密钥和要抓取的URL调用API,这样您将收到页面的原始HTML。就像这样简单:

卷曲“ http://api.scraperapi.com?api_key=3ff1f5e972791859ac9960827414be23&url=http://httpbin.org/ip”

在后端,当Scraper API收到您的请求时,他们的服务将通过其代理服务器之一访问URL,获取数据,然后将其发送回给您。

IP轮换是自动进行的,因此,除非您有特定的需求(例如Javascript渲染,需要来自特定位置的IP或额外的标头),否则除了调用API外,您无需执行任何其他操作。如果您需要这些功能,则只需在API调用的末尾添加一些额外的文本,但是稍后我们将对此进行更详细的介绍。

这些计划都带有一定数量的并发请求,因此您可以更快地抓取内容。如果您同时发送太多请求,则Scraper API将返回429状态代码,这意味着您需要稍微降低请求的速度,但是它们不会因此而受到处罚。

Scraper API的定价包

Scraper API具有三个标准定价计划,一个免费计划,您还可以请求自定义计划。

有7天,没有任何问题,要求退款政策。免费计划不需要您输入任何付款信息,因此完全免费。

Scraper API的定价

业余爱好计划是每月29美元,它可为您的标准代理提供250,000个API调用,最多可有10个并发请求。在启动计划中,您的标准代理会收到1,000,000个API调用,最多可有25个并发请求。您还可以选择将IP设置为仅来自美国或DE服务器。每月收费$ 99。

商业计划的费用为每月249美元,每月可为您提供3,000,000次API调用。您将可以从IP来源的12个国家中选择。该计划还允许Javascript渲染,高级代理,并且最多允许50个并发请求。

如果每月需要更多并发请求或API调用,则可以联系销售团队以组织企业自定义计划。

商业和企业客户将获得优先电子邮件支持。

如何使用Scraper API

Scraper API的免费计划每月将为您提供1000个请求,并具有所有可用功能,因此您可以自己进行测试。

登录Scraper API帐户时,系统会显示一个仪表板,该仪表板将显示您已使用了多少个请求,当月剩余了多少个请求以及失败的请求数(不计入您的请求限制)。

scraperapi的仪表板

主页上还将显示您的API密钥以及示例链接,您可以将其直接复制并粘贴到代码中。

在左侧栏中,您将看到一个指向其“文档”页面的链接,该页面对每个功能都有清晰的说明。它包含可以直接复制并粘贴到Bash,Node,Python / Scrapy,PHP和Ruby脚本中的代码。

默认情况下,您的IP将针对每个请求自动轮换– CAPTCHA在服务器端自动解决。

基本用法

访问API的基本方法是:

http://api.scraperapi.com/?api_key=[yourAPIkey]&url=[URL]

您甚至可以尝试通过浏览器访问密钥。然后,服务器将返回网页的HTML,然后您可以将其存储为变量:

<html>
 <头>
  </ head>
  <身体>
    你好,世界
  </ body>
</ html>

真的就是这么简单。

渲染JavaScript

如果您需要呈现Javascript,则只需在API调用的末尾添加’&render = true’,例如:

http://api.scraperapi.com/?api_key=[yourAPIkey]&url=[URL]&render=true

Scraper API服务器将使用无头的Chrome实例来访问该页面,进行渲染,然后将代码返回给您。

自定义标题

如果您需要保留原始请求标头以保留相同的用户代理,Cookie等,只需在结果中添加’&keep_headers = true’。这仅是为了获得自定义结果,而不是避免块,因为Scraper API的软件将在内部处理块。

http://api.scraperapi.com/?api_key=[yourAPIkey]&url=[URL]&keep_headers=true

届会

您可以继续使用同一代理进行多种用途。会话将在最后一次使用后60秒过期。您需要做的就是在请求中添加’&session_number = [number]’-该数字可以是任何整数。例如:

http://api.scraperapi.com/?api_key=[yourAPIkey]&url=[URL]&session_number=123

地理位置

可以使用’&country_code = [flag]’将代理设置为来自特定位置。使用启动计划及更高版本的用户将能够将代理位置设置为美国。商业计划客户将可以访问加拿大(code = ca),英国(code = uk),德国(code = de),法国(code = fr),西班牙(code = es),​​巴西(code = br)的代理),墨西哥(code = mx),印度(code = in),日本(code = jp),中国(code = cn)和澳大利亚(code = au)。例:

http://api.scraperapi.com/?api_key=[yourAPIkey]&url=[URL]&country_code=us

高级代理池

某些网站可能更难抓取,因此Scraper API保留了私有的内部住宅和移动IP池,供企业或企业计划的用户使用。这些IP的收费是普通IP费率的10倍(即,它们将算作10个请求而不是一个),如果需要Javascript呈现,则每个请求将计为25个请求。要使用高级IP,只需在您的请求中添加’&premium = true’:

http://api.scraperapi.com/?api_key=[yourAPIkey]&url=[URL]&premium=true

帐户信息

帐户信息

您可以编写一个程序来自动监视您的帐户。只需向API发送请求,而无需任何URL或任何其他设置,它将返回您当前的帐户状态:

http://api.scraperapi.com/?api_key=[yourAPIkey]

结果示例:

{

  “ concurrentRequests”:553,

  “ requestCount”:6655888,

  “ failedRequestCount”:1118,

  “ requestLimit”:10000000,

  “ concurrencyLimit”:1000

}

Scraper API ISP测试

对于Scraper API,仅提供代理API来抓取数据,因此很难测试它们的速度,因此在这里我们可以轻松地测试其某些ISP。

scraperapi的IP

ip:  “ 161.0.15.198”

  城市:  “纽约”

  地区:  “纽约”

  国家:  “美国”

  位置:  “ 40.7503,-74.0014”

  邮政:  “ 10001”

  时区:  “ America / New_York”

  asn:  对象

  编号:  “ AS263740”

  名称:  “ Corporacion Laceibanetsociety”

  域:  “ laceibanetsociety.com”

  路线:  “ 161.0.0.0/19”

  类型:  “ isp”

  公司:  对象

  名称:  “ Rodrigo Rodriguez”

  域:  “ laceibanetsociety.com”

  类型:  “ isp”

  滥用:  对象

  地址:  “ 2826 Nuzum Court,22 ,, 10001 –纽约– NY”

  国家:  “美国”

  电子邮件:  admin1@LACEIBANETSOCIETY.COM

  名称:  “ Rodrigo Rodriguez”

  网络:  “ 161.0.0.0/20”

  电话:  “ + 504 3383 8343 []”

更多:
ISP对scraperAPI的测试

因此,您知道他们使用的是真正的住宅IP。

我们的判决

9.6 总成绩
易于使用的代理API

IP轮换,浏览器和CAPTCHA的解决方案。

价格值
9.5

网络执行
9.5

代理功能
9.5

客户支持
9.8

优点
  • 超过2000万个住宅IP地址
  • 代理API-自动旋转IP
  • 能够渲染Java脚本并解决验证码
  • 用户友好的仪表板,用于代理管理
  • 免费计划,每月有1000个请求

缺点
  • 仅可用于网页抓取
  • 不适用于浏览
  • 这不是实际的“代理”

Scraper API是当今市场上用于Web抓取的最佳代理API服务。他们的服务易于集成和使用,并解决了抓取漫游器的一系列问题,包括Javascript渲染,代理轮换和CAPTCHA解析。

它们能够适应所有级别/大小的刮涂项目。Scraper API在多个国家/地区具有快速代理,您可以指定要将请求发送到的位置。如果您有任何认真的抓取项目,那么Scraper API绝对值得研究。即使您是临时用户,也可以从使用免费计划中受益。

感谢您抽出宝贵的时间阅读此评论!如果您过去曾从Scraper API购买计划,并且想要分享评论,请随时在下面的评论中留下。我们希望听到您的意见!

Scraper API功能

  • Scraper API拥有超过2000万个地址的住宅IP网络。没有网站能够检测到您的请求来自何处。您两次在站点上使用相同IP的机会非常渺茫,而且由于地址是住宅地址,因此它们看起来像是来自真实的人。
  • 通过地理位置定位,您可以确保IP地址来自特定国家/地区,因此访问阻止或限制特定区域的网站不会有任何问题。
  • 专业的客户支持团队可以通过电子邮件和实时聊天提供24/7全天候服务,以帮助您。
  • Scraper API的代理可以提供高达100 Mb / s的速度,并且具有99.9%的正常运行时间保证。
  • 他们有7天无条件退款保证,因此您可以使用他们的服务而不必担心。
  • 您可以通过并发连接将刮板设置为高速。
  • 用Javascript呈现的页面将不再成为问题,因为Scraper API将为您呈现页面。
  • 再也不会遇到任何验证码-Scraper API将为您解决任何验证码。
  • 为阻止某些浏览器或根据浏览器显示不同信息的网站设置自定义标题。
  • 轻松维护会话-只需更改设置并保留IP
  • 使用Scraper API的简单易用仪表板监控和跟踪您的使用情况。
  • 您所需要做的就是将脚本设置为调用API,然后解析您收到的数据-简单易用。
  • 在亚马逊,谷歌,Instagram等热门网站上将页面自动提取为有用的数据。

[/ wpsm_box]