说明

1、定义数据模块类，名为DataLoader。

2、类中有核心变量data用于保存爬行数据，以及两个相关界面grab_data(爬取数据)和save_data(保存数据到当地)。

实例

grab_data() 的核心代码

def grab_data(self):
    # 获取入口链接
    entries = self.get_entry()
    # 遍历入口链接，解析得到文章链接
    links = self.parse4links(entries)
    # 遍历文章链接，解析得到文章内容
    datas = self.parse4datas(links)
    # 将相关数据写入变量 data
    self.data = pd.DataFrame(datas)

save_data() 的核心代码

def save_data(self):
    # 将变量 data 写入 csv 文件
    self.data.to_csv(self.data_path, index = None)

我们已经爬取并保存好数据 data，数据以 DataFrame 形式存储，保存在 csv 文件，格式如下：

|---------------------------------------------------|
|    id    |     link   |     cont     |    title   |
|---------------------------------------------------|
|  page id |  page link | page content | page title |
|---------------------------------------------------|
|  ......  |   ......   |    ......    |   ......   |
|---------------------------------------------------|