小生博客：http://xsboke.blog.51cto.com

——-谢谢您的参考，如有疑问，欢迎交流

注意:BOSS应该是做了防爬虫的功能，好像是如果频繁访问,就需要输入一下验证码. 为了节省时间，当前只爬取了热门城市的python相关职位信息

代码如下:

from bs4 import BeautifulSoup import requests,re,sys sys.setrecursionlimit(10000)

Init_Url = ‘https://www.zhipin.com’

Index_Url = ‘https://www.zhipin.com/job_detail/?query=python’

h = {‘user-agent’:’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36′} r = requests.get(Index_Url,headers=h) r.encoding = ‘utf-8′ content = r.text soup = BeautifulSoup(content,features=’html.parser’)

so_tag = soup.find(‘dd’,class_=’city-wrapper’)

Areas_tag = so_tag.find_all(href=re.compile("^/c"),text=re.compile("[^全国]"))

for Area in Areas_tag: HREF = Area[‘href’] KA = Area[‘ka’] AreaName = Area.text

NextPage = Init_Url + ‘/’ + HREF arg = {‘query’: ‘python’,’ka’:KA}

def Make(NURL,HEAD,PAR): r2 = requests.get(NURL,headers=HEAD,params=PAR) r2.encoding = ‘utf-8′ content2 = r2.text soup2 = BeautifulSoup(content2,features=’html.parser’) so2 = soup2.find(‘div’,class_=’job-list’) so2_tags = so2.find_all(‘li’) for so2_tag in so2_tags: List = [] Job_Type = so2_tag.find(‘div’,class_="info-primary").h3.find(‘div’,class_=’job-title’).get_text() # 招聘职位 Compensation = so2_tag.find(‘div’,class_="info-primary").h3.find(‘span’,class_=’red’).get_text() # 薪资 CompanyAddress = so2_tag.find(‘div’,class_="info-primary").p.get_text("|").split(‘|’)[0] # 公司地址 WorkTime = so2_tag.find(‘div’,class_="info-primary").p.get_text("|").split(‘|’)[1] # 工作年限 Education = so2_tag.find(‘div’,class_="info-primary").p.get_text("|").split(‘|’)[2] # 学历 CompanyName = so2_tag.find(‘div’,class_="info-company").find(‘div’,class_=’company-text’).h3.a.get_text() # 公司名称

List.extend([Job_Type,Compensation,CompanyAddress,WorkTime,Education,CompanyName]) CompanyInfo = so2_tag.find(‘div’,class_="info-company").find(‘div’,class_=’company-text’).p.get_text("|").split(‘|’) if len(CompanyInfo) == 1: Trade = so2_tag.find(‘div’, class_="info-company").find(‘div’, class_=’company-text’).p.get_text("|").split(‘|’)[0] # 公司行业 List.append(Trade) elif len(CompanyInfo) == 2: Trade = so2_tag.find(‘div’, class_="info-company").find(‘div’, class_=’company-text’).p.get_text("|").split(‘|’)[0] # 公司行业 CompanyStage = so2_tag.find(‘div’, class_="info-company").find(‘div’, class_=’company-text’).p.get_text("|").split(‘|’)[1] # 公司发展阶段 List.extend([Trade,CompanyStage]) elif len(CompanyInfo) == 3: Trade = so2_tag.find(‘div’, class_="info-company").find(‘div’, class_=’company-text’).p.get_text("|").split(‘|’)[0] # 公司行业 CompanyStage = so2_tag.find(‘div’, class_="info-company").find(‘div’, class_=’company-text’).p.get_text("|").split(‘|’)[1] # 公司发展阶段 CompanyScale = so2_tag.find(‘div’, class_="info-company").find(‘div’, class_=’company-text’).p.get_text("|").split(‘|’)[2] # 公司规模 List.extend([Trade,CompanyStage,CompanyScale])

print(‘t’.join(List))

# 判断是否有下一页 IFNextPage = so2.find(‘a’,ka=’page-next’) if ‘disabled’ not in IFNextPage[‘class’]: NextPage2 = Init_Url + IFNextPage[‘href’] arg2 = IFNextPage[‘ka’] print(NextPage2) Make(NURL=NextPage2, HEAD=h, PAR=arg2)

Make(NURL=NextPage,HEAD=h,PAR=arg)

输出如下:

cto有广告过滤机制,防止文章被删除,这里有些字段用xx覆盖了

pythonxx生 3k-4k 北京 海淀区 知春路 1年以内 学历不限 xxx计算所 计算机软件 未融资 100-499人 Pythonxx开xx程师 15k-30k 北京 海淀区 中关村 3-5年 本科 xxx科技 移动互联网 C轮 1000-9999人 高级pythonxx工程师 20k-35k 北京 朝阳区 高碑店 3-5年 本科 xxx科技 互联网 已上市 500-999人 高级Pythoxx工程师 20k-40k 北京 海淀区 五道口 3-5年 本科 xxxndy 移动互联网 不需要融资 100-499人 Pythonxx工程师 12k-15k 北京 海淀区 五道口 1-3年 本科 阿凡题 移动互联网 B轮 100-499人 高级Pythonxx工程师 30k-50k 北京 朝阳区 望京 5-10年 本科 xxxapp 互联网 D轮及以上 100-499人 SDK后端python工程师 12k-24k 北京 朝阳区 北苑 1-3年 本科 xxx游戏 游戏 B轮 100-499人 …………..