python中lxml的使用使用注意
(1)lxml 能够修正 HTML 代码,但是可能会改错了,解决方法:
使用etree.tostring观察修改之后的html的样子,根据修改之后的html字符串写xpath
(2)提取页面数据的思路
先分组,取到一个包含分组标签的列表
遍历,取其中每一组进行数据的提取,不会造成数据的对应错乱
(3)lxml 能够接受bytes和str的字符串
python中lxml的使用实例
from lxml import etree text = ''' <div> <ul> <li><a href="link1.html">first item</a></li> <li><a href="link2.html">second item</a></li> <li><a href="link3.html">third item</a></li> <li><a href="link4.html">fourth item</a></li> <li><a href="link5.html">fifth item</a> </ul> </div> ''' html = etree.HTML(text) print(html) # <Element html at 0x1f1007c9d08> print(etree.tostring(html).decode()) # 获取 class 为 item-1 li 下的 a 的 href ret1 = html.xpath('//li[@class="item-1"]/a/@href') print(ret1) # 获取 class 为 item-1 li 下的文本 ret2 = html.xpath("//li[@class='item-1']/a/text()") print(ret2) # 把 url 和 文本组成字典 # 如果其中一个获取失败或者没有数据,则url 和 title 就不是原来对应的结果 for i in ret1: item = {} item['url'] = i item['title'] = ret2[ret1.index(i)] print(item) # 改进 ret3 = html.xpath('//li[@class="item-1"]') for i in ret3: item = {} item['url'] = i.xpath('./a/@href')[0] if len(i.xpath('./a/@href')) else None # ./a/@href 表示当前节点下的 item['title'] = i.xpath('./a/text()')[0] if len(i.xpath('./a/text()')) else None print(item)
以上就是python中lxml的使用注意点,希望能对大家有所帮助。
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试