用pycharm在phthon环境下做的一个简单爬虫

Python版本： Python3.7

运行平台： Windows

IED: pyCharm 2020.3

import requests

from lxml import etree

from bs4 import BeautifulSoup

import re

import urllib.request

def getArtical():

url = 'http://www.cntour.cn/'

# 用 GET 方式获取数据; 将获取到的数据存到 strhtml 变量中

strhtml = requests.get(url)

# strhtml.text 表示网页源码

print(strhtml.text)

soup = BeautifulSoup(strhtml.text, 'lxml')

# data = soup.select('#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a')

# 获取所有a标签

data = soup.find_all('a')

print(data)

with open('./中国旅游网.txt', 'w', encoding='utf-8') as f:

# 遍历获取的所有a标签

for item in data:

# 提取标签的正文用 get_text() 方法

title = item.get_text()

# 提取标签中的 href 属性用 get() 方法，在括号中指定要提取的属性数据，即 get(＇href＇)。

link = item.get('href')

# 获取链接末尾的id

id = re.findall('\d+', item.get('href'))

print(result)

# 不知道为什么link最后一个打印出来是none，可能是href属性里面是空的。

# 加上link的判断，解决报错，虽然报错，但是还是保存成功了……没加之前报错 TypeError: write() argument must be str, not None

if(link):

# 保存到文件

f.write('标题：'+title+' , ')

f.write('链接：'+link)

f.write('\n')

# 调用函数

getArtical()

目录结构

保存的文件