什么是网络爬虫？

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件

爬虫有什么用？

• 作为通用搜索引擎网页收集器。（google,baidu）
• 做垂直搜索引擎.
• 研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
• 偷窥，hacking，发垃圾邮件……

为什么最终选择Python？

• 跨平台，对Linux和windows都有不错的支持。
• 计算，数值拟合：Numpy，Scipy
• 可视化：2d：Matplotlib(做图很漂亮), 3d: Mayavi2
• 复杂网络：Networkx
•  统计：与R语言接口：Rpy
• 交互式终端
• 网站的快速开发

今天给大家分享一份《用Python写网络爬虫》的资料。文档讲解了如何使用Python来编写网络爬虫程序。

内容包括：

• 网络爬虫简介
• 从页面中抓取数据的三种方法
• 提取缓存中的数据
• 使用多个线程和进程来进行并发抓取
• 如何抓取动态页面中的内容
• 与表单进行交互
• 处理页面中的验证码问题
• 使用Scarpy和Portia来进行数据抓取

这份资料非常适合有一定Python编程经验而且对爬虫技术感兴趣的读者阅读，全文共9个章节，212页，现在免费分享给大家。

【领取方式见文末！！】

 第1章网络爬虫简介

1.1网络爬虫何时用

1.2网络爬虫是否合法

1.3 Fython 3

1.4背景调研

1.5 编写第一个网络爬虫

1.6本章小结

第2张 数据爬取

2.1分析网页

2.23 种网页抓取方法

2.3 CSS选择器和浏览器控制台

2.4 XPath选择器

2.5 LXML和家族树

2. 6性能对比

2.7 抓取结果

2.8本章小结

第3章下载缓存

3.1 何时使用缓存

3.2 为链接爬虫添加缓存支持

3.3磁盘缓存

3.4键值对存储缓存

3.5 本章小结

第4章并发下载

4.1 100 万个网页

4.2 串行爬虫

4.3多线程爬虫

4. 4线程和进程如何工作

4.5性能

4.6本章小结

第5章动态内容

5.1 动态网页示例

5.2_对动态网页进行逆向工程

5.3渲染动态网页

5.4渲染类

5.5 本章小结