1、统计回归所需处理的数据量可能非常大,必要时需对文件进行拆分或合并。
2、可以用 pandas2、将 Excel 文件分割为多个文件或合并。
将 Excel 文件分割为多个文件
# 将 Excel文件分割为多个文件 import pandas as pd dfData = pd.read_excel('./example.xls', sheetname='Sheet1') nRow, nCol = dfData.shape # 获取数据的行列 # 假设数据共有198,000行,分割为 20个文件,每个文件 10,000行 for i in range(0, int(nRow/10000)+1): saveData = dfData.iloc[i*10000+1:(i+1)*10000+1, :] # 每隔 10,000 fileName= './example_{}.xls'.format(str(i)) saveData.to_excel(fileName, sheet_name = 'Sheet1', index = False)
将多个Excel文件合并为一个文件
# 将多个 Excel 文件合并为一个文件 import pandas as pd ## 两个 Excel 文件合并 #data1 = pd.read_excel('./example0.xls', sheetname='Sheet1') #data2 = pd.read_excel('./example1.xls', sheetname='Sheet1') #data = pd.concat([data1, data2]) # 多个 Excel 文件合并 dfData = pd.read_excel('./example0.xls', sheetname='Sheet1') for i in range(1, 20): fileName = './example_{}.xls'.format(str(i)) dfNew = pd.read_excel(fileName) dfData = pd.concat([dfData, dfNew]) dfData.to_excel('./example', index = False)
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试