我们在使用python爬虫爬取页面的过程中爬到某个时刻异常报错,如果是被反爬抓到了,就是403错误,那有的时候会出现429错误是什么意思呢?429错误是指在爬虫的过程中同一时间访问频率过高,因此控制访问的速度就可以了。本文介绍python爬虫中处理429错误的方法及具体代码。
什么是429错误?
429是Too Many Requests,http代码429表示访问过快。意思就是同一时间访问频率过高,大多是因为程序并发太高超过代理那边给的帐号的并发限制了。
如何处理?
控制访问的速度就可以了。
有些服务器会在返回的头部中添加"Retry-After",这是通知多久之后重试,获取这个值,然后sleep就可以了。
python爬虫中处理429错误?
捕获错误
try: ..... except aiohttp.ClientResponseError as e: # 响应错误 if status== 429: retryAfter="Retry-After" headers=e.headers sec=getHeader(headers, retryAfter) if len(sec)>0: sec=int(sec) print(status, "请求过快,服务器要求待",sec , url ) time.sleep(sec) # If the rate limit is renewed in a minute, put 60 seconds, and so on. else: print(status, "服务器拒绝了请求,表示请求过快。取消重试,请稍后再试!", url)
def getHeader(headers, key): key_lower=key.lower() headers_lower = {k.lower():v for k,v in headers.items()} if (key_lower in headers_lower) : return headers_lower[key_lower] else: return ''
以上就是python爬虫中处理429错误的方法及具体代码,希望能解决你的问题哟~
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试