Sadık KILIÇ

Web Tabanlı Hafıza Yerleşimi

Tekrar eden satırlar – Duplicate entries

Bir dosyada tekrar eden satırları bulmanın ve silmenin en bilinen yolu dosyayı sort edip, daha sonra uniq komutunu kullanmaktir.

örnek dosya şu şekilde olsun

sadikk@sadikk-ubuntu:~$ cat /tmp/sil
aaa
bbb
ccc
bbb
aaa
bbb
bbb
eee
ccc

Burdaki tekrar eden satirlari silmek için aşağıdaki komut iş görecektir.

sadikk@sadikk-ubuntu:~$ sort /tmp/sil | uniq
aaa
bbb
ccc
eee

burada uniq komutunu -c parametresi ile kullanarak her biri için kaç tane tekrarlı satır olduğunuda öğrenebilirdik.

sadikk@sadikk-ubuntu:~$ sort /tmp/sil | uniq -c
2 aaa
4 bbb
2 ccc
1 eee

Diğer bir yöntemde bu işi awk ile yapmak. üstelik bu yöntemle dosyayı sort etmediğimiz için çok büyük dosyalar üzerinde çalışırken daha performanslı olacaktir.

komut şu şekilde:

sadikk@sadikk-ubuntu:~$ awk !''x[$0]++'' /tmp/sil
aaa
bbb
ccc
eee

, ,

Leave a Reply

Your email address will not be published. Required fields are marked *