例： chinese = input(‘请输入要查询的中文词语:’)

wd = {‘wd’:chinese} wd = urllib.parse.urlencode(wd)

read -> decode -> loads -> json.dumps

通过read读取过来为字节码 data = response.read()

将字节码解码为utf8的字符串 data = data.decode(‘utf-8’)

将json格式的字符串转化为json对象 obj = json.loads(data)

禁用ascii之后，将json对象转化为json格式字符串 html = json.dumps(obj, ensure_ascii=False)

json 对象通过 str转换后 使用 utf-8 字符集格式写入 保存和之前的方法相同

page = int(input(‘请输入要获取页码:’)) start = (page – 1) * 20 limit = 20

key = { ‘start’:start, ‘limit’:limit }

key = urllib.parse.urlencode(key) url = url + ‘&’ + key headers = { ‘X-Requested-With’:’XMLHttpRequest’, ‘User-Agent’:’Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36′ }

request = urllib.request.Request(url, headers=headers)

# context = ssl._create_unverified_context() response = urllib.request.urlopen(request)

jsonret = response.read()

request = urllib.request.Request(‘http://www.baidu.com/’) reponse = opener.open(request)

http_proxy_handler = urllib.request.ProxyHandler({‘https’:’ip地址:端口号’})

例： try:

urllib.request.urlopen(url)

except urllib.error.HTTPError as e: print(e.code) print(e.reason)

cookie_handler = urllib.request.HTTPCookieProcessor(cookie)

47.match 只匹配开头字符

pattern.match(‘字符串'[,起始位置,结束位置])

例：m = pattern.split(‘i love you, do you love me, yes, i love me’, 1) 返回值为 [‘i ‘, ‘ you, do you love me, yes, i love me’]

例：m = pattern.split(‘i love you, do you love me, yes, i love me’, 2) 返回值为 [‘i ‘, ‘ you, do you ‘, ‘ me, yes, i love me’]

例： string = ‘i love you, do you love me, yes, i love me’ pattern = re.compile(r’is(.*?),’) m = pattern.match(string)

例： 获取路径 image_path = ‘./qiushi’

图片路径 image_path = os.path.join(image_path, image_name + extension)

例：html_tree = etree.HTML(text) 返回值为 <Element html at 0x26ee35b2400>

with open(file_name, ‘wb’) as f: f.write(image_bytes) print(file_name + ‘图片已经成功下载完毕’)

例： def load_page(url): headers = { #’User-Agent’:’Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36′, } print(url) # exit() request = urllib.request.Request(url, headers=headers) response = urllib.request.urlopen(request) html = response.read()

# 这是专业的图片网站，使用了懒加载，但是可以通过源码来进行查看，并且重新写xpath路径 with open(‘7image.html’, ‘w’, encoding=’utf-8′) as f: f.write(html.decode(‘utf-8’)) exit()

# 将html文档解析问DOM模型 html_tree = etree.HTML(html) # 通过xpath，找到需要的所有的图片的src属性，这里获取到的 img_list = html_tree.xpath(‘//div[@class=”box picblock col3″]/div/a/img/@src2’) for img_url in img_list: # 定制图片名字为url后10位 file_name = ‘image/’ + img_url[-10:] load_image(img_url, file_name)

def load_image(url, file_name): headers = { ‘User-Agent’:’Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36′, } request = urllib.request.Request(url, headers=headers) response = urllib.request.urlopen(request) image_bytes = response.read()

with open(file_name, ‘wb’) as f: f.write(image_bytes) print(file_name + ‘图片已经成功下载完毕’) def main(): start = int(input(‘请输入开始页面:’)) end = int(input(‘请输入结束页面:’)) url = ‘http://sc.chinaz.com/tag_tupian/’ for page in range(start, end + 1): if page == 1: real_url = url + ‘KaTong.html’ else: real_url = url + ‘KaTong_’ + str(page) + ‘.html’ load_page(real_url) print(‘第’ + str(page) + ‘页下载完毕’)

def handle_tree(html_tree): node_list = html_tree.xpath(‘//div[@class=”detail-wrapper”]’) duan_list = [] for node in node_list: # 获取所有的用户名，因为该xpath获取的是一个span列表，然后获取第一个，并且通过text属性得到其内容 user_name = node.xpath(‘./div[contains(@class, “header”)]/a/div/span[@class=”name”]’)[0].text # 只要涉及到图片，很有可能都是懒加载，所以要右键查看网页源代码，才能得到真实的链接 # 由于这个获取的结果就是属性字符串，所以只需要加上下标0即可 face = node.xpath(‘./div[contains(@class, “header”)]//img/@data-src’)[0] # .代表当前，一个/表示一级子目录，两个//代表当前节点里面任意的位置查找 content = node.xpath(‘./div[@class=”content-wrapper”]//p’)[0].text zan = node.xpath(‘./div[@class=”options”]//li[@class=”digg-wrapper “]/span’)[0].text item = { ‘username’:user_name, ‘face’:face, ‘content’:content, ‘zan’:zan, } # 将其存放到列表中 duan_list.append(item)

# 将列表写入到文件中 with open(‘8duanzi.txt’, ‘a’, encoding=’utf-8′) as f: f.write(json.dumps(duan_list, ensure_ascii=False) + ‘n’) print(‘over’)

def main(): # 爬取百度贴吧，不能加上headers，加上headers爬取不下来 url = ‘http://neihanshequ.com/’ headers = { ‘User-Agent’:’Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36′, } request = urllib.request.Request(url, headers=headers) response = urllib.request.urlopen(request) html_bytes = response.read()

# fp = open(‘8tieba.html’, ‘w’, encoding=’utf-8′) # fp.write(html_bytes.decode(‘utf-8’)) # fp.close() # exit()

# 将html字节串转化为html文档树 # 文档树有xpath方法，文档节点也有xpath方法 # 【注】不能使用字节串转化为文档树，这样会有乱码 html_tree = etree.HTML(html_bytes.decode(‘utf-8’))

handle_tree(html_tree)

div 下 class 为 “content-wrapper” 的所有 p 标签内容 content = node.xpath(‘./div[@class=”content-wrapper”]//p’)[0].text

div 下 class 为 “options” 的所有 li 标签下 class为 “digg-wrapper” 的所有 span 标签内容

1.获取 div 到 img 之间的数据 2.img 下 src 的数据 3.img 下 alt 的数据 4.一直到 div 结束的数据

import requests params = { ‘wd’:’中国’ } r = requests.get(‘http://www.baidu.com/s?’, headers=headers, params=params)

78.发送请求 s.post(url,data,headers)

79.接收请求 s.get(url[,proxies])

80.当返回为 json 样式时 例： city = input(‘请输入要查询的城市:’) params = { ‘city’:city } r = requests.get(url, params=params) r.json() 会打印出响应的内容

81.BeautifulSoup 创建对象 from bs4 import BeautifulSoup soup = BeautifulSoup(open(url,encoding=’utf-8),’lxml’)

82.查找第一个<title> 标签 soup.title 返回值为 <title>三国猛将</title>

83.查找第一个 a 标签 soup.a 返回值为 <a class=”aa” href=”http://www.baidu.com” title=”baidu”>百度</a>

84.查找第一个 ul 标签 soup.ul

85.查看标签名字 a_tag = soup.a a_tag.name 返回值为 a

86.查看标签内容 a_tag.attrs 返回值为 {‘href’: ‘http://www.baidu.com’, ‘title’: ‘baidu’, ‘class’: [‘aa’]}

87.获取找到的 a 标签的 href 内容(第一个 a) soup.a.get(‘href’) 返回值为 http://www.baidu.com

88.获取 a 标签下的 title 属性(第一个 a) soup.a.get(‘title’) 返回值为 baidu

89.查看 a 标签下的内容 soup.标签.string 标签还可以是 head、title等 soup.a.string 返回值为 百度

90.获取 p 标签下的内容 soup.p.string

91.查看 div 的内容,包含 ‘n’ soup.div.contents 返回值为 [‘n’, <div class=”div”> <a class=”la” href=”www.nihao.com”>你好</a> </div>, ‘n’, <div> <a href=”www.hello.com”>世界</a> </div>, ‘n’]

92.查看使用的字符集 soup.div.contents[1] 返回值为 <meta charset=”utf-8″/>

93.查看body的子节点 soup.标签.children 例：soup.body.children 返回值是一个迭代对象,需要遍历输出 返回值为 <list_iterator object at 0x0000021863886C10> for child in soup.body.children: print(child) 返回值为 body 中的所有内容

94.查看所有的子孙节点 soup.标签.descendants 例：soup.div.descendants 返回值为 <div class=”div”> <a class=”la” href=”www.nihao.com”>你好</a> </div> <a class=”la” href=”www.nihao.com”>你好</a> 你好

95.查看所有的 a 标签 soup.find_all(‘a’) 返回值为 包含所有的 a 标签的列表

96.查看 a 标签中第二个链接的内容 soup.find_all(‘a’)[1].string

97.查看 a 标签中第二个链接的href值 soup.find_all(‘a’)[1].href

98.将 re 正则嵌入进来,找寻所有以 b 开头的标签 soup.findall(re.compile(‘^b’)) 返回值为 <body>标签 <b>

99.找到所有的 a 标签和 b 标签 soup.findall(re.compile([‘a’,’b’])) 返回值为 <a> 和 <b> 标签

100.通过标签名获取所有的 a 标签 soup.select(‘a’) 返回值为 所有的 <a> 标签

101.通过 类名 获取标签(在 class 等于的值前面加 .) soup.select(‘.aa’) 返回值为 class=’aa’ 的标签

102.通过 id 名获取标签(在 id 等于的值前面加 #) soup.select(‘#wangyi’) 返回值为 id=’wangyi’的标签

103.查看 div 下 class=’aa’ 的标签 soup.select(‘标签 .class 等于的值’) soup.select(‘div .aa’)

104.查看 div 下,第一层 class=’aa’ 的标签 soup.select(‘.标签名 > .class= 的值’) soup.select(‘.div > .la’)

105.根据属性进行查找,input 标签下class为 haha 的标签 soup.select(‘input[class=”haha”]’)

例： import requests from bs4 import BeautifulSoup import json import lxml

def load_url(jl, kw): headers = { ‘User-Agent’:’Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36′, }

url = ‘http://sou.zhaopin.com/jobs/searchresult.ashx?’ params = { ‘jl’:jl, ‘kw’:kw, } # 自动完成转码，直接使用即可 r = requests.get(url, params=params, headers=headers)

handle_data(r.text)

def handle_data(html): # 创建soup对象 soup = BeautifulSoup(html, ‘lxml’) # 查找职位名称 job_list = soup.select(‘#newlist_list_content_table table’) # print(job_list) jobs = [] i = 1 for job in job_list: # 因为第一个table只是表格的标题，所以要过滤掉 if i == 1: i = 0 continue item = {} # 公司名称 job_name = job.select(‘.zwmc div a’)[0].get_text()

# 职位月薪 company_name = job.select(‘.gsmc a’)[0].get_text() # 工作地点 area = job.select(‘.gzdd’)[0].get_text()

# 发布日期 time = job.select(‘.gxsj span’)[0].get_text() # 将所有信息添加到字典中 item[‘job_name’] = job_name item[‘company_name’] = company_name item[‘area’] = area item[‘time’] = time jobs.append(item)

# 将列表转化为json格式字符串，然后写入到文件中 content = json.dumps(jobs, ensure_ascii=False) with open(‘python.json’, ‘w’, encoding=’utf-8′) as f: f.write(content) print(‘over’)

def main(): # jl = input(‘请输入工作地址:’) # kw = input(‘请输入工作职位:’) load_url(jl=’北京’, kw=’python’)

if __name__ == ‘__main__’: main()

106.将字典进行 json 转换为 import json str_dict = {“name”:”张三”, “age”:55, “height”:180} print(json.dumps(str_dict, ensure_ascii=False)) 使用 ensure_ascii 输出则为 utf-8 编码

107.读取转换的对象,(注意 loads 和 load 方法) json.loads(json.dumps 对象) string = json.dumps(str_dict, ensure_ascii=False) json.loads(string) {“name”:”张三”, “age”:55, “height”:180}

108.将对象序列化之后写入文件 json.dump(字典对象,open(文件名.json,’w’,encoding=’utf-8,ensure_ascii=False)) json.dump(str_dict, open(‘jsontest.json’, ‘w’, encoding=’utf-8′), ensure_ascii=False)

109.转换本地的 json 文件转换为 python 对象 json.load(open(‘文件名.json’,encoding=’utf-8))

110.jsonpath 示例： book.json文件 { “store”: { “book”: [ { “category”: “reference”, “author”: “Nigel Rees”, “title”: “Sayings of the Century”, “price”: 8.95 }, { “category”: “fiction”, “author”: “Evelyn Waugh”, “title”: “Sword of Honour”, “price”: 12.99 }, { “category”: “fiction”, “author”: “Herman Melville”, “title”: “Moby Dick”, “isbn”: “0-553-21311-3”, “price”: 8.99 }, { “category”: “fiction”, “author”: “J. R. R. Tolkien”, “title”: “The Lord of the Rings”, “isbn”: “0-395-19395-8”, “price”: 22.99 } ], “bicycle”: { “color”: “red”, “price”: 19.95 } } }

import json import jsonpath

obj = json.load(open(‘book.json’, encoding=’utf-8′))

所有book book = jsonpath.jsonpath(obj, ‘$..book’) print(book)

所有book中的所有作者 authors = jsonpath.jsonpath(obj, ‘$..book..author’) print(authors)

book中的前两本书 ‘$..book[:2]’ book中的最后两本书 ‘$..book[-2:]’ book = jsonpath.jsonpath(obj, ‘$..book[0,1]’) print(book)

所有book中，有属性isbn的书籍 book = jsonpath.jsonpath(obj, ‘$..book[?(@.isbn)]’) print(book)

所有book中，价格小于10的书籍 book = jsonpath.jsonpath(obj, ‘$.store.book[?(@.price<10)]’) print(book)

111.requests.get 方法的流程 r = requests.get(‘https://www.baidu.com/’).content.decode(‘utf-8’) 从状态码到 二进制码到 utf-8 编码

112.对 soup 对象进行美化 html = soup.prettify() <title> 百度一下，你就知道 </title>

113.将内容 string 化 html.xpath(‘string(//*[@])’)

114.获取属性 soup.p[‘name’]

115.嵌套选择 soup.head.title.string

116.获取父节点和祖孙节点 soup.a.parent list(enumerate(soup.a.parents))

117.获取兄弟节点 soup.a.next_siblings list(enumerate(soup.a.next_siblings))

soup.a.previous_siblings list(enumerate(soup.a.previous_siblings))

118.按照特定值查找标签 查找 id 为 list-1 的标签 soup.find_all(attrs={‘id’: ‘list-1′}) soup.find_all(id=’list-1’)

119.返回父节点 find_parents()返回所有祖先节点 find_parent()返回直接父节点

120.返回后面兄弟节点 find_next_siblings()返回后面所有兄弟节点 find_next_sibling()返回后面第一个兄弟节点。

121.返回前面兄弟节点 find_previous_siblings()返回前面所有兄弟节点 find_previous_sibling()返回前面第一个兄弟节点。

122.返回节点后符合条件的节点 find_all_next()返回节点后所有符合条件的节点 find_next()返回第一个符合条件的节点

123.返回节点前符合条件的节点 find_all_previous()返回节点前所有符合条件的节点 find_previous()返回第一个符合条件的节点

124.requests 的请求方式 requests.post(url) requests.put(url) requests.delete(url) requests.head(url) requests.options(url)

125.GET请求 response = requests.get(url) print(response.text)

126.解析 json response.json() json.loads(response.text)

127.发送 post 请求 response = requests.post(url, data=data, headers=headers) response.json()

128.文件上传 在 post 方法内部添加参数 files 字典参数 import requests files = {‘file’: open(‘favicon.ico’, ‘rb’)} response = requests.post(“http://httpbin.org/post”, files=files) print(response.text)

129.获取 cookie response.cookie 返回值是 字典对象 for key, value in response.cookies.items(): print(key + ‘=’ + value)

130.模拟登录 requests.get(‘http://httpbin.org/cookies/set/number/123456789’) response = requests.get(‘http://httpbin.org/cookies’)

131.带有 Session 的登录 s = requests.Session() s.get(‘http://httpbin.org/cookies/set/number/123456789’) response = s.get(‘http://httpbin.org/cookies’)

132.证书验证 urllib3.disable_warnings() response = requests.get(‘https://www.12306.cn’, verify=False)

response = requests.get(‘https://www.12306.cn’, cert=(‘/path/server.crt’, ‘/path/key’))

133.超时设置 from requests.exceptions import ReadTimeout response = requests.get(“http://httpbin.org/get”, timeout = 0.5)

response = urllib.request.urlopen(url, timeout=1)

134.认证设置 from requests.auth import HTTPBasicAuth r = requests.get(‘http://120.27.34.24:9001’, auth=HTTPBasicAuth(‘user’, ‘123’))

r = requests.get(‘http://120.27.34.24:9001’, auth=(‘user’, ‘123’))

135.异常处理 超时 ReadTimeout 连接出错 ConnectionError 错误 RequestException

136.URL 解析 from urllib.parse import urlparse result = urlparse(‘http://www.baidu.com/index.html;user?id=5#comment’)

result = urlparse(‘www.baidu.com/index.html;user?id=5#comment’, scheme=’https’)

result = urlparse(‘http://www.baidu.com/index.html;user?id=5#comment’,allow_fragments=False)

136.urllib.parse.urlunparse data = [‘http’, ‘www.baidu.com’, ‘index.html’, ‘user’, ‘a=6’, ‘comment’] print(urlunparse(data))

http://www.baidu.com/index.html;user?a=6#comment