UU Blog

Python给Excel表格去重

某日看到妹子整理表格,需要对excel一万多条记录中的重复数据删除处理。

但是处理两小时没好,耽误了两人看动漫时间,最后帮她搞了这个脚本。

为了速度,存在很多硬编码,但是应该不影响阅读。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# coding: utf-8
import xlrd
import xlwt


data = xlrd.open_workbook("/Users/phan/Desktop/work/深圳_4.xls")
table = data.sheets()[0]
workbook = xlwt.Workbook(encoding='utf-8')
sheet_w = workbook.add_sheet('data')
nrows = table.nrows
ncols = table.ncols
col = []
ws = 0
count=0
for i in range(1,nrows):
# 去重条件
if not table.row_values(i)[3] in col and table.row_values(i)[14]!='F':
col.append(table.row_values(i)[3])
for j in range(ncols):
sheet_w.write(ws,j,table.row_values(i)[j])
ws = ws + 1
else:
count += 1

workbook.save("/Users/phan/Desktop/work/深圳_去重.xls")
给作者打一针鸡血