聚焦网络爬虫原理
对爬取目标的定义和描述。在聚焦网络爬虫中,我们首先要依据爬取需求定义好该聚焦网络爬虫爬取的目标,以及进行相关的描述
获取初始的URL
根据初始的URL爬取网页,并获得新的URL
从新的URL中过滤掉与爬取目标无关的链接。因为聚焦网络爬虫对网页的抓取是有目的性,所以与目标无关的网页将会被过滤掉。同时,也需要将已爬取的URL地址存放到一个列表中,用于去重和判断爬取的进程
将过滤后的链接放到URL队列中
从URL队列中,根据搜索算法 ,确当URL的优先级,并确定下一步要抓取的URL地址。在通用网络爬虫中,下一步爬取那些URL,是不太重要的,但是在聚焦网络爬虫中,由于其具有目的性,故而下一步爬取哪些URL地址相对来说是比较重要的。对于聚焦网络爬虫来说,不同的爬取顺序,可能导致爬虫的执行效率不同,所以,我们需要依据搜索策略来确定下一步需要爬取那些URL地址
从下一步要爬取的URL地址中,读取新的URL,然后依据新的URL地址爬取网页,并重复上述爬取的过程
满足系统中设置的停止条件时,或无法获取新的URL地址时,停止爬行
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试
相关文章:
新手QQ群:570568346,欢迎进群讨论