前言：

  网络爬虫这个东西看上去还是很神奇的。不过，如果你细想，或是有所研究就知道，其实爬虫并不那么高深。高深的是在我们的数据量很大的时候，就是当我们网络“图”的回环越来越多的时候，应该怎么去解决它。

  本篇文章在这里只是起一个抛砖引玉的作用。本文主要是讲解了如何使用Java/Python访问网页并获得网页代码、Python模仿浏览器进行访问网页和使用Python进行数据解析。希望我们以本文开始，一步一步解开网络蜘蛛神秘的一面。

参考：

1.《自己动手写网络爬虫》

2.用python 写爬虫，去爬csdn的内容,完美解决 403 Forbidden

运行效果图：

  内容有点多，我只选取了一部分进行展示。

笔者环境：

  系统：     Windows 7

            CentOS 6.5

  运行环境:  JDK 1.7

            Python 2.6.6

  IDE:      Eclipse Release 4.2.0

            PyCharm 4.5.1

  数据库:    MySQL Ver 14.14 Distrib 5.1.73

开发过程：

1.使用Java抓取页面

  对于页面抓取我们采用Java来实现，当然你可以使用其他的语言来开发。不过

  下面以“博客园”的首页为例，展示一下使用Java进行网页页面抓取的过程：

public class RetrivePageSimple {

private static HttpClient httpClient = new HttpClient();

// 设置代理服务器 static { httpClient.getHostConfiguration().setProxy("58.220.2.132", 80); }

public static boolean downloadPage(String path) throws HttpException, IOException { PostMethod postMethod = new PostMethod(path);

// 执行，返回状态码 int statusCode = httpClient.executeMethod(postMethod); System.out.println(statusCode);

// 针对状态码进行处理 (简单起见，只处理返回值为200的状态码) if (statusCode == HttpStatus.SC_OK) {

String a = postMethod.getResponseBodyAsString(); System.out.println(a);

return true; }

return false; }

public static void main(String[] args) { try { RetrivePageSimple.downloadPage("http://www.cnblogs.com/"); } catch (HttpException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } }  
  结果信息在这里就不再展示，太多了。。。- -!

2.使用Python抓取页面

  可能你会问我，为什么上面写了使用Java版的页面抓取，这里又要写一个Python？这是有必要的。因为笔者在开发这个demo之前没有考虑一个问题。我们使用Java抓取了一个网页给Python的时候，这个网页字符串过长，无法作为参数传递。可能你会觉得保存文件是一个不错的选择，那html文件太多又要怎么办呢？是的，这里我们不得不舍弃这种让人心累的做法。

  考虑到是因为参数长度的限制，这里我们在Java端只给出页面地址，抓取网页使用Python来进行。

  按照最简单的方式，通常我们会像这样来使用Python网页：

import urllib2 result = urllib2.urlopen('http://blog.csdn.net/mobile/index.html') html = result.read()

print html
  可是，笔者代码中使用的是CSDN的博客频道的url，CSDN对来自爬虫的访问进行一层过滤，如下我们会得到如下错误信息：

  403，我被拒绝了。

3.使用模仿浏览器登录网站

  前面说到我们去访问带有保护措施的网页时，会被拒绝。不过我们可以尝试使用自己的浏览器来访问它，是可以访问的。

  也就是说如果我们可以在Python中去模仿自己是浏览器就可以对这个网页进行访问了。下面是Python模仿浏览器的代码：

import random import socket import urllib2 import cookielib

ERROR = { '0':'Can not open the url,checck you net', '1':'Creat download dir error', '2':'The image links is empty', '3':'Download faild', '4':'Build soup error,the html is empty', '5':'Can not save the image to your disk', }

class BrowserBase(object):

def __init__(self): socket.setdefaulttimeout(20) self._content = None

def speak(self, name, content): print '[%s]%s' % (name, content)

def open_url(self, url): """ 打开网页 """ cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar()) self.opener = urllib2.build_opener(cookie_support,urllib2.HTTPHandler) urllib2.install_opener(self.opener) user_agents = [ 'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11', 'Opera/9.25 (Windows NT 5.1; U; en)', 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)', 'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12', 'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9', "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7", "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 ", ]

agent = random.choice(user_agents) self.opener.addheaders = [("User-agent", agent), ("Accept", "*/*"), ('Referer', 'http://www.google.com')]

try: res = self.opener.open(url) self._content = res.read() # print self._content except Exception, e: self.speak(str(e)+url) raise Exception else: return res

def get_html_content(self): return self._content

def get_html_response(html): spider = BrowserBase() spider.open_url(html) return spider.get_html_content()

  上面的代码是可以正常得到返回值的。如下就来看看对返回的结果的解析过程吧。

4.数据解析

  使用Python来进行Html的解析工作，是异常的简单：

import HTMLParser

class ListWebParser(HTMLParser.HTMLParser): def __init__(self): HTMLParser.HTMLParser.__init__(self) self.tagDIVFlag = False self.tagDIVAFlag = False self.tagH1Flag = False self.tagSecondHrefFlag = False

self._name = None self._address = None

def handle_starttag(self, tag, attrs): if tag == 'div': for name, value in attrs: if name == 'class' and value == 'blog_list': self.tagDIVFlag = True

if tag == 'h1': if self.tagDIVFlag: self.tagH1Flag = True # print 'h1->', self.tagH1Flag

if tag == 'a': #if self.tagDIVAFlag: #print 'h1: ', self.tagH1Flag if self.tagH1Flag: for name, value in attrs: if name == 'target' and value == '_blank': self.tagDIVAFlag = True

if name == 'href': if self.tagSecondHrefFlag: print '网址：', value self._address = value self.tagSecondHrefFlag = True

# if name == 'href' and self.tagDIVAFlag: # print '网址：', value # self._address = value

def handle_endtag(self, tag): if tag == 'div': self.tagDIVFlag = False

if tag == 'h1': self.tagH1Flag = False # print 'false h1.'

if tag == 'a': self.tagDIVAFlag = False

def handle_data(self, data): if self.tagDIVAFlag: print u"名称：", data.decode("utf-8")
  如果你说你在网上查找到的Html文件没有这个麻烦。这个我是承认的，因为正常情况下，我们解析一些简单数据的确很简单。上面代码中的复杂逻辑是在处理筛选。

  说到筛选，这里我用到一个小技巧（当然，当用的人多了，这就不再只是技巧。不过这种方法可以在以后的编码过程中有所借鉴）。我们通过一些tag的特殊属性（如：id, class等）来锁定块。当我们开始块的时候，我们相应的标志位会被打成True，当我们退出块的时候，我们相应标志位会被打成False。可能你觉得这太麻烦。其实，你仔细想想就会知道，这是有道理的。

注意事项：

1.在使用Java进行页面抓取的时候，我们用到了代理服务器。这个代理服务器的host和port是可以直接在网上查到免费的。

2.你需要准备以下jar包，并导入到你的Eclipse工程中：

3.修改MySQL的默认编码为UTF-8

  这里因为会有一些中文信息，所以我们需要对MySQL进行编码格式的转换。

  如果你是在Linux下编码，那么你可以参考：http://blog.csdn.net/lemon_tree12138/article/details/46375637