如何绕过python反爬虫获取租房信息

774次阅读
没有评论

如何绕过python反爬虫获取租房信息

为了寻求一些更好的发展机会,很多人选择去一些大城市工作,租房子就是其中要考虑的一个大问题。最近有小伙伴问小编python中有没有搜集一些租房信息的方法,小编收到后就用python爬虫试了一下,但是遇到了反爬虫的阻拦,不过最终还是通过修改代码解决了。接下来我们就一起看看绕过python反爬虫获取租房信息的方法吧。

 

在有的页面后面会出现一段代码,通过禁用浏览器JavaScript发现每页其实初始界面是一段JS代码,然后跳转至目标页

如何绕过python反爬虫获取租房信息

 

百度了一下这种反爬虫的绕过措施都是Python加载JS代码,自己感觉比较麻烦就没有实施,但是在查看网页源代码时发现了下面这段代码,其目的应该是检测到移动端跳转至移动端网页

 

如何绕过python反爬虫获取租房信息

 

既然使用了Ajax,抓包抓一下浏览时传输的数据就得到了下面的URL

如何绕过python反爬虫获取租房信息

 

上图黄色画出的就是每次向下浏览加载的页面,通过修改后面的数字可以定位不同的页面,构造URL,那么剩下的就是爬取数据了,下面贴一下简略代码

import requests
from lxml import etree
import xlwt
import time
 
headers = {
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
                     '/70.0.3538.110 Safari/537.36'
}
all_info_list = []
 
 
def get_photo(url):
    res = requests.get(url, headers=headers)
    selector = etree.HTML(res.text)
    divs = selector.xpath('//div[@class="list_con"]')
    for div in divs:
        names = div.xpath('div[2]/h3/text()')[0].strip()
        types = div.xpath('div[2]/p[1]/text()[1]')[0]
        area = div.xpath('div[2]/p[1]/text()[2]')[0]
        direction = div.xpath('div[2]/p[1]/text()[3]')[0]
        price = div.xpath('div[2]/div/p/text()')[0]
        info_list = [names, types, area, direction, price]
        all_info_list.append(info_list)
    time.sleep(1)
 
 
if __name__=='__main__':
    urls = ['https://m.5i5j.com/bj/zufang/index-_%E6%9C%9B%E4%BA%AC/n{}'.format(str(i)) for i in range(1,4)]
    for url in urls:
        get_photo(url)
    xls_header = ['地点', '户型', '面积', '朝向', '价格']
 
    book = xlwt.Workbook(encoding='utf-8')
    sheet = book.add_sheet('5i5j')
    for h in range(len(xls_header)):
        sheet.write(0,h,xls_header[h])
    i = 1
    for list in all_info_list:
        j = 0
        for data in list:
            sheet.write(i, j, data)
            j += 1
        i += 1
    book.save('5i5j.xls')

 

通过代码修改之后,我们就可以获取一些想要的租房信息,相信有很多在外工作需要租房的小伙伴,迫切的需要学会这个方法。话不多说,赶快打开电脑跟随小编的方法试试吧。

 

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-23发表,共计1835字。
新手QQ群:570568346,欢迎进群讨论 Python51学习