Menangani Masalah Hasil Join
Tujuan Pembelajaran
- Mengisolasi penggandaan dari duplikat header sebelum join item.
- Menjelaskan alasan di balik langkah analisis dan memeriksa hasilnya.
Key berulang dapat melipatgandakan baris hasil
Untuk melacak baris yang berlipat, bandingkan jumlah baris sebelum dan sesudah merge, lalu hitung kemunculan key pada kedua tabel. Periksa terutama tabel yang seharusnya unik, seperti header pesanan atau lookup pelanggan. Jangan menghapus pengulangan sebelum memastikan tabel mana yang berisi salinan tidak sengaja dan mana yang memang mencatat banyak item untuk satu pesanan.
Hasil merge yang terlalu banyak baris sering berasal dari key berulang pada kedua tabel. Bayangkan satu baris order dipasangkan dengan tiga baris item: hasil tiga baris itu normal, karena satu order memang bisa mempunyai beberapa item. Namun, bila header order yang sama muncul dua kali, setiap itemnya bisa ikut muncul dua kali. Bila kedua sisi memiliki beberapa baris dengan key sama, jumlah pasangan dapat bertambah lebih cepat lagi.
Pada dataset latihan, orders_dirty.csv memiliki satu baris header identik yang tercatat dua kali. drop_duplicates() tanpa daftar kolom membuang baris yang benar-benar sama di seluruh kolom, lalu validate="one_to_many" menyatakan bahwa setiap header yang tersisa boleh memiliki banyak item, tetapi satu baris header tidak boleh menggandakan pasangan dengan header lain pada key yang sama. Validasi membantu menguji asumsi itu saat merge dijalankan.
Jangan langsung menghapus semua baris yang memiliki order_id sama. Dalam tabel item, order_id berulang memang wajar karena satu pesanan dapat berisi beberapa produk. Sebelum deduplikasi, tentukan unit observasi tabel (header atau detail), identifikasi kolom yang seharusnya unik, lalu periksa apakah barisnya salinan yang tidak disengaja. Simpan bukti atau aturan pembersihan tersebut agar hasil dapat dijelaskan dan diulang.
Memeriksa key sebelum menggabungkan order dan item
import pandas as pd
headers = pd.read_csv("datasets/orders_dirty.csv").drop_duplicates()
items = pd.read_csv("datasets/order_items.csv")
joined = headers.merge(items, on="order_id", how="inner", validate="one_to_many")
print(len(joined))
Satu order memang dapat cocok dengan banyak baris item
18 baris item setelah duplikat header identik dihapus
Sesudah satu salinan header identik dibuang, join menghasilkan 18 baris item. Tanpa pembersihan itu, semua item milik pesanan yang header-nya berulang akan berpasangan lagi dan hasil menjadi 19 baris. Perubahan satu baris ini adalah petunjuk bahwa duplikasi header memengaruhi hasil, tetapi kita tetap harus membuktikan bahwa baris tersebut salinan yang tidak disengaja.
Cara menelusurinya: hitung baris dan key unik sebelum merge, periksa frekuensi key yang berulang, lakukan merge dengan validate, lalu bandingkan jumlah hasil dengan jumlah item yang diharapkan. Jika hasil bertambah, lihat key yang menyumbang pasangan tambahan. Jangan menyamakan setiap pengulangan order_id dengan duplikasi: beberapa baris detail dengan ID order sama adalah bagian normal dari struktur transaksi.
Bandingkan key dan jumlah baris, kemudian validasi one_to_many.
Jangan menghapus key berulang dari tabel detail secara membabi buta.
Latihan Interaktif
Latihan 01
Bersihkan duplikat header penuh, join item dengan one_to_many, dan kembalikan row count.
Jangan menghapus key berulang dari tabel detail secara membabi buta.
import pandas as pd
headers = pd.read_csv("datasets/orders_dirty.csv").drop_duplicates()
items = pd.read_csv("datasets/order_items.csv")
joined = headers.merge(items, on="order_id", how="inner")
result = len(joined)
print(result)
Keluaran program
Python belum dimuat. Pilih Jalankan Kode untuk memulai.
Keluaran
Pesan diagnostik
Kesalahan program
Pratinjau Pandas
Grafik
Lihat penjelasan hasil
validate membantu menemukan pelanggaran asumsi kardinalitas.
Lihat Petunjuk
Jangan menghapus key berulang dari tabel detail secara membabi buta.
Lihat Pembahasan
validate membantu menemukan pelanggaran asumsi kardinalitas.
Latihan 02
Apa sebab umum hasil merge berlipat?
Lihat Pembahasan
validate membantu menemukan pelanggaran asumsi kardinalitas.
Ringkasan
- Mengisolasi penggandaan dari duplikat header sebelum join item.
- Catat asumsi yang memengaruhi hasil sebelum menyampaikan kesimpulan.
Bacaan lebih lanjut
Langkah berikutnya