Python Spacy分词说明
Spacy语言模型包含一些强大的文本分析功能,如词性标记和命名实体识别。
导入spacy相关模块后,需要加载中文处理包。然后读小说数据,nlp处理天龙八部小说,包括分词、定量、词性标注、语法分析、命名实体识别,用符号/分隔小说。最后,通过is_stop函数判断单词中的单词是否为无效单词,删除无效单词后,将结果写入txt文件。
Python Spacy分词用法实例
import spacy import pandas as pd import time from spacy.lang.zh.stop_words import STOP_WORDS nlp = spacy.load('zh_core_web_sm') def fenci_stopwords(data,newdata1): fenci = [] qc_stopwords =[] article = pd.read_table(data,encoding="utf-8") start1 = time.time() with open(newdata1,'w',encoding='utf-8') as f1: for i in article["天龙八部"]:#分词 doc = nlp(i) result1 = '/'.join([t.text for t in doc]) fenci.append(result1) for j in fenci:#去除停用词 words = nlp.vocab[j] if words.is_stop == False: qc_stopwords.append(j) result2 = '/'.join(qc_stopwords) f1.write(result2) end1 = time.time() return end1-start1
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试