有趣的事

awk去除重复行

如果只是简单的删除重复的行数据,可以将现有的数据进行排序,然后删除重复。

sort uk.txt | uniq > uk1.txt 
```

但是如果是行数据中某一部分需要按照相同就去除的规则来完成就需要更复杂的操作了。

sort -t, -k1 uk.txt | awk -F, '
{
$1 == CUST_ID {

}
$1 != CUST_ID {
  CUST_ID = $1;
  print $0;
}' > uk1.txt
```

uk.txt的内容:

130000006800,17,151,01,250100
130000006800,17,151,01,250101
1300001077,17,151,01,256600
1300002764,17,151,01,256600
1300002764,17,151,01,256630
1300003690,17,151,01,256600
1300004771,17,151,01256600
1300006064,17,151,01,251900
130000693300,17,151,01370102690715295
1300013082,17,151,01,51700
```

 

发现 1300001077,17,151,01,256600 这条记录只有一条了

2 根据指定列进行去除重复行

 这里的重复是指如果两行的某一列数据相同,则认为是重复数据

例如第1行与第2行数据根据域分隔符","分割的第一列(CUST_ID)

第4行与第5行数据也是CUST_ID 相同 现在我们如何去除列相同的重复项

第一步: sort 进行排序

第二步: 用awk对相邻两行数据进行比较如果第一列的数据相同则去除重复行(保留第一个相同的行,)

 这里的去除重复行 并不是真正的删除重复行而是 利用unix shell 管道 对重复行的不进行重定向输出

 

 

语法解释:

  sort -t, -k1   

 -t,   指定文件记录域分隔符为","  

 -k1  是指根据第1列进行排序

 

 awk -F, ' {

 $1 == CUST_ID {

 }

 $1 != CUST_ID {

  CUST_ID = $1;

  print $0;

 } ' > uk1.txt

 

 -F, 指定域分隔符为","

 $1 == CUST_ID 判断 第一列是否与变量 CUST_ID 相等  (不必要担心 CUST_ID变量的值 在初始化时 awk 为 CUST_ID 赋值 为"")

 如果相等什么多不做

$1 != CUST_ID { CUST_ID = $1 ;print $0;}   如果 一列不等于 CUST_ID 变量的值  将 $1 赋值为 CUST_ID

然后打印 这行数据 ,然后进行下一行  比较 下一行数据与上一行数据的CUST_ID 是否相等 相等 什么都不敢 也就是说

不打印着一行 如果不相等则打印着一行 从而起到去除重复数据的作用

awk 重复行 去除