首页>比特动态>独享IP的优势和scrapy添加代理ip
独享IP的优势和scrapy添加代理ip

  独享IP的优势和scrapy添加代理ip!独享IP还是共享IP相信很多站长都在这个问题上纠结过,相信使用过的人都深有体会:同样都是IP,差别不是般的大,独立IP的强悍,不用的人是没有办法体会的。奉劝亲爱的站友们,选择IP的时候定要慎重的考虑好了。


独享IP的优势和scrapy添加代理ip


  其实对于大部分网站来说,使用的都是共享IP,共享IP其实很好理解,就像一个房子租给了很多人居住,彼此间难免会有影响和不便,但是价格便宜,而独享IP那就是单间啦,干净,安全,舒适。当然价格上可能会稍贵一点,但是也不乏有价格公道又好用的独享IP。


  主要是想说一下独享IP与共享IP比有什么优势,为什么都选择独享IP呢第一点,独享IP能够规避风险,便面因为个别网站的违规而殃及池鱼;第二点是可以提高网站的权重,如果个IP只对应个网站,则搜索引擎会评定该网站质量高从而提高收录别,搜索引擎更容易抓取到该网站的页面,有利于网站的宣传和网络营销;第三点,可以开通,SSL是种保密数据传输的协议,就是支付宝使用的那种,可以有效的防治数据中途被窃取,提升网站安全质量,而独享IP是开通SSL必备条件;第四点,支持泛域名解析。泛解析可以支持无限子域名,而且可以通过通配符来设置所有二域名均访问同IP地址,有效避免用户因为错误输入而导致不能访问网站;第五点,可以直接使用IP访问网站。用户可以直接通过独立IP访问网站,避免般的共享IP直接用IP访问会得到报错,可以增加企业形象。


  听我分析完独享IP相较于共享IP的优势之后,你是不是也觉得独享IP更好用呢这里给大家推荐一个独享IP定制的网站,,国内领先的HTTP代理IP提供平台。


  首先要做好准备工作,创建一个scrapy项目,给请求添加代理有2种方式,第一种是重写你的爬虫类的start_request方法,第二种是添加download中间件。这里只介绍第一种方法,比较简单。


  重写start_request方法,比较简单,只是在meta中加了一个proxy代理。然后可以测试了,那么问题来了,我怎么知道我的请求是否带上了代理呢可以在测试的时候去爬,需要注意的一点是,在使用那种Basic认证的代理ip时,scrapy不同于python的requests包,这里不能直接把用户名和密码与代理ip放在一起。假设我这里使用一个基于Basic认证的代理ip,


  比如:http://username:passwd@180.125.196.155,把上述代码简单的改成:meta={'proxy':'http://username:passwd@180.125.196.155'}是不正确的:它会给你报一个407的错误(在可为此请求提供服务之前,您必须验证此代理服务器。请登录到代理服务器,然后重试)。正确的做法是将验证消息加到header的Proxy-Authorization中。