python爬虫ip代理服务器的简要思路

python爬虫有的时候会遇到被禁ip的情况，这个时候你可以找一下代理网站，抓取一下ip，来进行动态的轮询就没问题了，也可以用别人做好的第三方ip代理平台，比如说crawlera，crawlera是一个利用代理IP地址池来做分布式下载的第三方平台，除了scrapy可以用以外，普通的java、php、python等都可以通过curl的方式来调用

如果不使用第三方的平台做代理ip，我们就必须得手动抓取ip了，可以google搜索代理ip，可以找到一大堆网站，找几个稳定的代理网站，可以写一个爬虫脚本持续抓取，要是使用量不大的话，也可以手动粘贴抓取，要是土豪一点呢就买一点其实也可以，大概1块钱可以买几千个，还是挺值得的。

这时候如果你使用的是python，你需要自己维护一个ip池，控制每个ip的访问次数，随机更换ip什么的，但是如果你想做成服务化，你可以使用Squid绑定多个ip地址，做正向代理，Squid是一种在Linux系统下使用的比较优秀的代理服务器软件，把代理列表的代理ip，按照squid的cache_peer机制按照一定格式，写在配置文件中即可。

这个就相当于将管理和调度的问题全交给了squid来做，你只需要使用爬虫访问squid的服务端口就可以了。

现在可以将所有步骤归纳总结一下：

1.利用爬虫脚本每天定时抓取代理网站上的免费ip，或者买一定数量的ip，写入mongodb或者其他的数据库中，这张表作为原始表。

2.使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时可以利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法可以参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3.将有效的ip写入squid的配置文件，重新加载配置文件。

4.让爬虫程序去指定的squid的服务ip和端口，进行抓取。

天下数据专业提供python爬虫ip代理服务器；十五年的IDC行业服务经验；拥有全球超过120个国家地区的数据中心！

天下数据IDC提供香港服务器、美国服务器等全球海外服务器租用托管，是采集、智能家居、安防、视频、物联网、区域链、直销、流媒体、外贸、游戏、电商等服务器解决方案首选品牌。

【免责声明】：部分内容、图片来源于互联网，如有侵权请联系删除，QQ：228866015