在创建完成项目并创建爬虫的基础上，编写保存到TXT的项目

0.设置setting文件

1.将 ROBOTSTXT_OBEY 设置为false

2.将 ITEM_PIPELINES 打开

1.定义items.py数据容器

item是Scrapy提供的类似于字典类型的数据容器，它与字典最大的区别在于它规定了统一的数据规格样式，即具有统一性与结构性。这样既方便数据的保存与处理，也可以避免打错字段或数据不一致的情况。

import scrapy

class BaikeItem(scrapy.Item): # define the fields for your item here like: name = scrapy.Field()

2.编写spiders.py

parse()方法控制爬取的链接与爬取结果的处理，通常我们在获取链接后使用 scrapy.Request(url,callback=) 方法获取网页，可以callback=后面指定解析的方法。

在解析的方法中，需要定义一个字典类型 dic={},将解析完的结果，按照items定义的容器模板，更新字典内容，并将字典返回。使用return或yield返回，返回后值被pipelines获取到。

class DemoSpider(scrapy.Spider): name = 'demo' # allowed_domains = ['mp.csdn.net'] start_urls = ['http://www.gx211.com/collegemanage/content45_03.shtml']

def parse(self, response): for i in range(45,1000): url='http://www.gx211.com/collegemanage/content'+str(i)+'_03.shtml' try: yield scrapy.Request(url, callback=self.parse_history) except: continue

def parse_history(self, response): dic={} try: school = response.css('h1 a::text').extract()[0] dic['name'] = school yield dic except Exception as e: print(e)

3.在pipeline中处理并保存数据

定义:

open_spider(self,spider)

—-爬虫开始运行时执行

close_spider(self,spider)

—-爬虫关闭时执行

process_item(self,item,spider)

—-在有spiders中的parse函数返回值时执行

我们在open_spider中打开一个txt文件，如果没有该文件则创建，并指定文本写入模式：

在此处指定写入的编码格式为'utf-8' (默认'gdk')

def open_spider(self,spider): self.file = open('items2.txt', 'w'，encoding='utf-8')

在close_spider中关闭txt文件的写入：

def close_spider(self,spider): self.file.close()

在process_item中指定item中内容按照一定格式写入txt文件:

def process_item(self, item, spider): try: res=dict(item) line=res['name'] self.file.write(line+'n') except: pass

注意：

windows默认的文件写入格式为'gdk'，我们往往要改变编码才能正确写入文件，

在open方法中指定编码方式为'utf-8'是常用的防止乱码和无法写入问题方法

1.为了便于处理，我们首先要将item使用dict()转化为字典类型

2.文本默认为unicode编码，这样无法写入到txt文件中，我们需要将其转换为‘utf-8'编码

可以对unicode字符使用str()方法转化为字符串，这样可以将其写入TXT，但编码还是Unicode

可以对unicode字符使用.encode('utf-8')方法，写入TXT中打开便是中文。

由于python2对汉字不太友好，导致这部分造成了额外的麻烦

全部代码：

spiders/demo.py

# -*- coding: utf-8 -*- import scrapy import re

class DemoSpider(scrapy.Spider): name = 'demo' # allowed_domains = ['mp.csdn.net'] start_urls = ['http://www.gx211.com/collegemanage/content45_03.shtml']

def parse(self, response): for i in range(45,1000): url='http://www.gx211.com/collegemanage/content'+str(i)+'_03.shtml' try: yield scrapy.Request(url, callback=self.parse_history) except: continue

def parse_history(self, response): dic={} try: school = response.css('h1 a::text').extract()[0] dic['name'] = school yield dic except Exception as e: print(e)

items.py

import scrapy

class BaikeItem(scrapy.Item): # define the fields for your item here like: name = scrapy.Field()

pipelines.py

class BaikePipeline(object):

def open_spider(self,spider): self.file = open('items2.txt', 'w')

def close_spider(self,spider): self.file.close()

#item在后期使用的时候还要转换回来，他存在的意义只是防止出错导致程序中止 def process_item(self, item, spider): try: res=dict(item) line=res['name'] self.file.write(line.encode('utf-8')+'n') except: pass