python3爬虫总结(共4篇)

学用python也有3个多月了，用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过在discuz论坛中自动登录自动发贴的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本，本来想写googlemusic的抓取脚本的，结果有了强大的gmbox，也就不用写了。　　-　　这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，再加上simplecd这个半爬虫半网站的项目，累积不少爬虫抓站的经验，在此总结一下，那么以后做东西也就不用重复劳动了。　　-　　1.最基本的抓站　　importurllib2　　content=('http://XXXX').read()　　-　　2.使用代理服务器　　这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。　　importurllib2　　proxy_support=　　({'http':'http://:XXXX'})　　opener=_opener(proxy_support,)_opener(opener)　　content=('http://XXXX').read()　　-　　3.需要登录的情况　　登录的情况比较麻烦我把问题拆分一下：　　-　　cookie的处理　　importurllib2,cookielib　　cookie_support=(())opener=_opener(cookie_support,)_opener(opener)　　content=('http://XXXX').read()　　是的没错，如果想同时用代理和cookie，那就加入proxy_support然后operner改为　　opener=_opener(proxy_support,cookie_support,)　　-　　表单的处理　　登录必要填表，表单怎么填？首先利用工具截取所要填表的内容　　比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包　　这个我就举个例子好了，以verycd为例，先找到自己发的POST请求，以及POST表单项：　　-　　可以看到verycd的话需要填　　username,password,continueURI,fk,login_submit这几项，其中fk是随机生成的，需要从网页获取，也就是说得先访问一次网页，用正则表达式等工具截取返回数据中的fk项。continueURI顾名思义可以随便写，login_submit是固定的，这从源码可以看出。还有username，password那就很显然了。　　-　　好的，有了要填写的数据，我们就要生成postdata　　importurllib　　postdata=({　　'username':'XXXXX',　　'password':'XXXXX',　　'continueURI':'/',　　'fk':fk,　　'login_submit':'登录'　　})　　-　　然后生成http请求，再发送请求：　　req=(　　url='http:///signin/*//',data=postdata　　)　　result=(req).read()　　-　　伪装成浏览器访问　　某些网站反感爬虫的到访，于是对爬虫一律拒绝请求　　这时候我们需要伪装成浏览器，这可以通过修改http包中的header来实现#…　　headers={　　'User-Agent':'Mozilla/(Windows;U;WindowsNT;en-US;rv:)Gecko/XX1201Firefox/'　　}　　req=(　　url='http:///signin/*//',data=postdata,　　headers=headers　　)　　#…　　-　　反”反盗链”　　某些站点有所谓的反盗链设置，其实说穿了很简单，就是检查你发送请求的header里面，referer站点是不是他自己，所以我们只需要像一样，把headers的referer改成该网站即可，以黑幕著称地cnbeta为例：　　#…　　headers={　　'Referer':'/articles'　　}　　#…　　headers是一个dict数据结构，你可以放入任何想要的header，来做一些伪装。例如，有些自作聪明的网站总喜欢窥人隐私，别人通过代理访问，他偏偏要读取header中的X-Forwarded-For来看看人家的真实IP，没话说，那就直接把X-Forwarde-For改了吧，可以改成随便什么好玩的东东来欺负欺负他，呵呵。-　　终极绝招