爬虫，这个词对于学习python的小伙伴来说一定不陌生，python语言的简洁性使得在频繁变化的爬虫与反爬的对抗中发挥了很好的作用。

那么，到底是什么是爬虫呢？百度，大家都知道，其实百度就是一个最大的爬虫，它回去抓取全网的html页面遵循robots的规则去下载到本地，这也就是搜索引擎的作用。

我们一般自己的爬虫只是为了定向的获取到一些目标数据。比如新闻资讯、电商商品数据等等，又很多对技术不是很懂的人以为爬虫是将病毒之类的东西放到对方的服务器中，直接去搞人家的服务器，很尴尬的是。。。每个爬虫工程师的梦想都是能直接去人家服务器做数据采集。。。然而这时不道德并且不合法的，通过渗透等等一些黑客的技术当然也可以做到，这个坑大家还是不要去踩了。。为了自由~

我们的爬虫在理论上来说其实是代替人力采集数据的工具，而不是超越人能看到的数据，一般的来说爬虫的作用就是 可见即可得，不管反爬是多难，总有办法是可以突破反爬的，毕竟这些数据都是给人看的，只要人能看到，爬虫都是可以获取的，只是一个难度的问题。只要有目标的链接基本上都是可以获取到数据的，现在互联网的技术日新月异，反爬的技术也越来越高明，爬虫的日子越来越不好过，只有不断的提升自己才能紧跟反爬的脚步。