信息基本上都是共享的,我们在想获取其他网站的内容的同时,其他的网站也同时想要吸取我们的内容,但是除了主动攻击,也有被动防御,比如,现在不少的网站都是有密码的,一般我们使用简单的代码并不能直接进行爬取,这难道就万无一失,没有办法了吗?然而并不是,我们可以用以下内容代码,解决这些问题。
步骤一:查看要爬取的网站信息
进入登录页面 。你会看到如下图所示的页面。
然后进行查看元素,查看到name、password,最终我们得到以下内容
payload = { "username": "<USER NAME>", "password": "<PASSWORD>", "csrfmiddlewaretoken": "<CSRF_TOKEN>" }
步骤二、配置网站登录设置
创建一个登录对象。
session_requests = requests.session()设置一个登录的url
result = session_requests.post( login_url, data = payload, headers = dict(referer=login_url) )
步骤三、爬取信息内容
到了这个步骤,我们已经成功进行登录了,用以下方式进行爬取:
url = '链接' result = session_requests.get( url, headers = dict(referer = url) )
或者您也可以使用通过检查请求来验证请求结果哦~没有密码的网站,很好进去爬取内容,有网站密码的,也不必担心,按照上述小编给大家安排的登录密码爬取解决内容即可哦~
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试