之前在用python写爬虫时,遇到的相对路径一般是规则的,所以都是采用字符串拼接的方式就完事儿了,直到昨天我遇到一个难题。
像这种不规则的路径可让我犯了难,字符串怎么拼也不成啊。
后来我发现用urllib中的parse.urljoin就可以做到。
from urllib.parse import urljoin ret = urljoin('http://www.cwi.nl/%7Eguido/Python.html', 'FAQ.html') print(ret)
这样就可以得到完整的url地址啦
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试