Mendeteksi dan Menghapus Duplikasi
Tujuan Pembelajaran
- Menemukan duplikasi dan menghapus menurut definisi baris.
- Menjelaskan alasan di balik langkah analisis dan memeriksa hasilnya.
Duplikasi bergantung pada unit analisis dan key
Dua baris yang terlihat sama belum tentu duplikat jika keduanya mewakili dua kejadian yang berbeda. Sebaliknya, dua baris dapat berbeda di satu kolom tetapi tetap mewakili pesanan yang sama bila key bisnisnya berulang. Sebelum menghapus baris, tentukan satu baris seharusnya mewakili apa dan kolom mana yang membuat catatan itu unik.
Duplikasi harus didefinisikan berdasarkan jenis catatan yang sedang dihitung. duplicated() tanpa argumen mencari baris yang sama pada semua kolom. Dengan subset, kita dapat memeriksa key tertentu, seperti order_id, tetapi dua baris dengan order ID sama mungkin merupakan detail item yang sah atau pembaruan status yang berbeda.
Setelah memutuskan baris mana yang benar-benar ganda, drop_duplicates() dapat menyimpan satu salinan. Secara default, salinan pertama dipertahankan. Jangan menggunakan penghapusan duplikat sebagai langkah otomatis sebelum memeriksa kolom yang berbeda, urutan waktu, dan definisi satu baris. Penghapusan yang salah dapat menghilangkan transaksi atau item yang valid.
Baris yang tampak mirip belum tentu duplikat. Seseorang dapat membuat dua pesanan pada waktu berbeda dengan total sama; keduanya transaksi terpisah. Sebaliknya, satu order bisa memiliki beberapa baris item karena membeli produk berbeda. Untuk menentukan duplikasi, pahami identitas catatan: apakah satu baris mewakili pesanan, item, pelanggan, atau riwayat perubahan status?
Jika menemukan kemungkinan duplikat, lihat baris lengkap dan bandingkan kolom yang menjelaskan waktu, produk, jumlah, serta sumber input. Setelah itu, tetapkan kebijakan mana yang dipertahankan, misalnya catatan paling baru atau salinan pertama yang sudah diverifikasi. Catat jumlah baris sebelum dan sesudah pembersihan. Ini membantu menjelaskan mengapa total transaksi berubah dan mencegah pembersihan yang sulit ditelusuri.
Menemukan baris transaksi yang berulang
import pandas as pd
orders = pd.read_csv("datasets/orders_dirty.csv")
print(len(orders), orders.duplicated().sum())
clean = orders.drop_duplicates()
print(len(clean))
Hapus hanya duplikasi yang sudah didefinisikan dengan jelas
13 baris; 1 duplikat penuh; lalu 12 baris
File dirty memiliki 13 baris. Satu pasangan baris identik membuat duplicated() menghitung satu duplikat penuh; setelah satu salinan dibuang, tersisa 12 baris. Pemeriksaan ini aman untuk menemukan baris persis sama.
Itu belum membuktikan bahwa semua order_id seharusnya unik pada setiap tabel. Pada tabel item, satu order dapat memiliki beberapa produk, sehingga pengulangan order_id memang normal. Sebelum menghapus berdasarkan subset key, putuskan unit tabel: satu baris per order, per item, atau per kejadian status.
Tampilkan duplikat keep=False dan tinjau kunci sebelum menghapus.
Subset key keliru dapat membuang catatan sah.
Latihan Interaktif
Latihan 01
Hapus duplikat penuh dan kembalikan jumlah baris.
Subset key keliru dapat membuang catatan sah.
import pandas as pd
orders = pd.read_csv("datasets/orders_dirty.csv")
clean = orders.drop_duplicates()
result = len(orders)
print(result)
Keluaran program
Python belum dimuat. Pilih Jalankan Kode untuk memulai.
Keluaran
Pesan diagnostik
Kesalahan program
Pratinjau Pandas
Grafik
Lihat penjelasan hasil
Aturan identitas mengikuti unit analisis.
Lihat Petunjuk
Subset key keliru dapat membuang catatan sah.
Lihat Pembahasan
Aturan identitas mengikuti unit analisis.
Latihan 02
Apa dasar menentukan duplikasi?
Lihat Pembahasan
Aturan identitas mengikuti unit analisis.
Ringkasan
- Menemukan duplikasi dan menghapus menurut definisi baris.
- Catat asumsi yang memengaruhi hasil sebelum menyampaikan kesimpulan.
Bacaan lebih lanjut
Langkah berikutnya