python爬虫中xpath怎么用?【xpath爬虫】

470次阅读
没有评论
python爬虫中xpath怎么用?【xpath爬虫】

xpath一直都享有者python爬虫神器的美称,可以通过xpath定位一个或多个节点,这样的话,能够获取网页中的正文或者属性,甚至是获取全部所需要的各种信息,除此以外,它还是比较简洁清晰明了的路径选择表达式,好啦,根据上述所说,下面我们一起来掌握了解基本的xpath用法吧。

xpath 表达式:

//div[@class="document"]

属性:

Class

值:

Document

实例应用——解析网站

from lxml import etree
text = """
<div>
    <ul>
        <li class="pl2"><a href="https://book.douban.com/subject/1007305/">红楼梦</a>
        <li class="pl2"><a href="https://book.douban.com/subject/4913064/">活着</a></li>
        <li class="pl2"><a href="https://book.douban.com/subject/6082808/">百年孤独</a></li>
        <li class="pl1"><a href="https://book.douban.com/subject/4820710/">1984</a></li>
    </ul>
</div>
"""
 
html = etree.HTML(text)
result = etree.tostring(html)
print(result.decode('utf-8'))

输出结果:

 <html><body><div>
    <ul>
        <li class="pl2"><a href="https://book.douban.com/subject/1007305/">红楼梦</a>
        </li><li class="pl2"><a href="https://book.douban.com/subject/4913064/">活着</a></li>
        <li class="pl2"><a href="https://book.douban.com/subject/6082808/">百年孤独</a></li>
        <li class="pl1"><a href="https://book.douban.com/subject/4820710/">1984</a></li>
    </ul>
</div>
</body></html>

现在大家可以看到节点的变化了吧,自动添加了body、html 节点,好啦,感兴趣的小伙伴,可以根据上述内容,学习尝试下哦~

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-10发表,共计1157字。
新手QQ群:570568346,欢迎进群讨论 Python51学习