总览
新手开发者可通过如下3个步骤使用私密代理:
一、先在网页上,进行本地调试和验证。
二、 参考代码样例请求私密代理。
三、 在程序中通过调用api接口获取代理,然后请求目标网站。
api接口
私密代理api接口一览
接口名称 | 接口功能 |
---|---|
getdps | 获取私密代理ip |
checkdpsvalid | 检测私密代理有效性 |
getdpsvalidtime | 获取私密代理的可用时长 |
getipbalance | 获取订单ip提取余额 |
getipwhitelist | 获取私密代理ip白名单 |
setipwhitelist | 设置私密代理ip白名单 |
getproxyauthorization | 获取私密代理鉴权信息 |
测试代理可用性
私密代理支持白名单和用户名密码两种验证方式,建议您先在本机测试,测试ok后就可以正常使用了。
频率限制
程序请求私密代理服务器的建议频率是1个ip不超过1秒5次。
请求超过建议频率可能收到503
错误。
注意控制请求频率,持续过快请求,您的ip可能被临时屏蔽。
如果您需要更高的请求频率请定制。
错误码一览
http返回码 | response body内容 | 说明 |
---|---|---|
407 | - | 1. 没有带上用户名密码验证 2. 用户名密码错误,验证失败 |
503 | too many request | 请求频率超过限制 |
403 | over white ip count | 用户名密码验证通过,但ip超出最大数量限制 |
403 | binary post forbidden | 2小时内向超过10个网站post二进制数据会返回这个错误 |
403 | access forbidden | 禁止访问该网站 |
ip使用统计
功能提供了对请求量和请求错误的统计分析。
您可以随时关注采集程序的运行走势,了解发生的错误并及时修正。我们还为几种常见的错误提供了分析和提示,帮助您提升采集程序运行的成功率。
开发建议
参考如下开发建议,可以帮助您更加顺利地完成开发和调试:
- 关注代理服务器的返回码可协助您排查错误。
- 关注了解程序的请求量和出错情况的统计分析,不断优化。
- 提取ip后尽快使用,不要在ip池里放太久,可随时调用api接口获取ip的剩余可用时长,淘汰掉不可用的ip。
- 控制好请求频率,用同一ip请求同一网站建议不超过1秒1次,避免ip被目标网站屏蔽。
- 使用用户名密码访问请不要设置ip白名单,因为ip白名单和用户名密码共用白名单ip额度。
- 尽可能采用gzip压缩加速访问,在header里添加:accept-encoding: gzip
使用gzip详解
使用gzip压缩传输数据可显著提升访问速度,方法非常简单:
只需在http请求的header里加上:
accept-encoding: gzip
收到http response后检查header里是否包含:
content-encoding: gzip
如果包含,则对body进行gzip解压,就能得到原始内容。