xpath一直都享有者python爬虫神器的美称,可以通过xpath定位一个或多个节点,这样的话,能够获取网页中的正文或者属性,甚至是获取全部所需要的各种信息,除此以外,它还是比较简洁清晰明了的路径选择表达式,好啦,根据上述所说,下面我们一起来掌握了解基本的xpath用法吧。
xpath 表达式:
//div[@class="document"]
属性:
Class
值:
Document
实例应用——解析网站
from lxml import etree text = """ <div> <ul> <li class="pl2"><a href="https://book.douban.com/subject/1007305/">红楼梦</a> <li class="pl2"><a href="https://book.douban.com/subject/4913064/">活着</a></li> <li class="pl2"><a href="https://book.douban.com/subject/6082808/">百年孤独</a></li> <li class="pl1"><a href="https://book.douban.com/subject/4820710/">1984</a></li> </ul> </div> """ html = etree.HTML(text) result = etree.tostring(html) print(result.decode('utf-8'))
输出结果:
<html><body><div> <ul> <li class="pl2"><a href="https://book.douban.com/subject/1007305/">红楼梦</a> </li><li class="pl2"><a href="https://book.douban.com/subject/4913064/">活着</a></li> <li class="pl2"><a href="https://book.douban.com/subject/6082808/">百年孤独</a></li> <li class="pl1"><a href="https://book.douban.com/subject/4820710/">1984</a></li> </ul> </div> </body></html>
现在大家可以看到节点的变化了吧,自动添加了body、html 节点,好啦,感兴趣的小伙伴,可以根据上述内容,学习尝试下哦~
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试