爬虫中lxml模块

421次阅读
没有评论

每日分享:

 

我们不需要迎合所有人,只需要过滤出来和自己同频的人就OK了

  • lxml.etree.HTML(html_str)可以自动补齐标签
  • 可以将element对象转换为HTML字符串
  • 爬虫如果使用lxml来提取数据,应以lxml.etree.tostring的返回结果作为提取数据的依据

例:

from lxml import etree
text = ''' 
<div> 
  <ul> 
    <li class="item-1">
      <a href="link1.html">first item</a>
    </li> 
    <li class="item-1">
      <a href="link2.html">second item</a>
    </li> 
    <li class="item-inactive">
      <a href="link3.html">third item</a>
    </li> 
    <li class="item-1">
      <a href="link4.html">fourth item</a>
    </li> 
    <li class="item-0">
      <a href="link5.html">fifth item</a>
  </ul> 
</div>
'''
# 转化为element对象
html = etree.HTML(text)
print(html)
print('-'*20)
print(etree.tostring(html))

结果:

爬虫中lxml模块

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-19发表,共计605字。
新手QQ群:570568346,欢迎进群讨论 Python51学习