python爬虫就是模拟浏览器打开网页，获取网页中想要的那部分数据。利用爬虫我们可以抓取商品信息、评论及销量数据；可以抓取房产买卖及租售信息；可以抓取各类职位信息等。

爬虫：

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有ipipgo、自动索引、模拟程序或者蠕虫。

通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据。

python爬虫能做什么？

从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地，进而提取自己需要的数据存放起来使用。

利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：

爬取知乎优质答案，为你筛选出各话题下最优质的内容。

抓取淘宝、京东商品、评论及销量数据，对各种商品及用户的消费场景进行分析。

抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。

爬取各类职位信息，分析各行业人才需求情况及薪资水平。

爬虫的本质：

爬虫的本质就是模拟浏览器打开网页，获取网页中我们想要的那部分数据。