Daftar Materi

Menggabungkan Dataset Materi 28

Menangani Masalah Hasil Join

Tujuan Pembelajaran

  • Mengisolasi penggandaan dari duplikat header sebelum join item.
  • Menjelaskan alasan di balik langkah analisis dan memeriksa hasilnya.

Key berulang dapat melipatgandakan baris hasil

Untuk melacak baris yang berlipat, bandingkan jumlah baris sebelum dan sesudah merge, lalu hitung kemunculan key pada kedua tabel. Periksa terutama tabel yang seharusnya unik, seperti header pesanan atau lookup pelanggan. Jangan menghapus pengulangan sebelum memastikan tabel mana yang berisi salinan tidak sengaja dan mana yang memang mencatat banyak item untuk satu pesanan.

Hasil merge yang terlalu banyak baris sering berasal dari key berulang pada kedua tabel. Bayangkan satu baris order dipasangkan dengan tiga baris item: hasil tiga baris itu normal, karena satu order memang bisa mempunyai beberapa item. Namun, bila header order yang sama muncul dua kali, setiap itemnya bisa ikut muncul dua kali. Bila kedua sisi memiliki beberapa baris dengan key sama, jumlah pasangan dapat bertambah lebih cepat lagi.

Pada dataset latihan, orders_dirty.csv memiliki satu baris header identik yang tercatat dua kali. drop_duplicates() tanpa daftar kolom membuang baris yang benar-benar sama di seluruh kolom, lalu validate="one_to_many" menyatakan bahwa setiap header yang tersisa boleh memiliki banyak item, tetapi satu baris header tidak boleh menggandakan pasangan dengan header lain pada key yang sama. Validasi membantu menguji asumsi itu saat merge dijalankan.

Jangan langsung menghapus semua baris yang memiliki order_id sama. Dalam tabel item, order_id berulang memang wajar karena satu pesanan dapat berisi beberapa produk. Sebelum deduplikasi, tentukan unit observasi tabel (header atau detail), identifikasi kolom yang seharusnya unik, lalu periksa apakah barisnya salinan yang tidak disengaja. Simpan bukti atau aturan pembersihan tersebut agar hasil dapat dijelaskan dan diulang.

Memeriksa key sebelum menggabungkan order dan item

import pandas as pd
headers = pd.read_csv("datasets/orders_dirty.csv").drop_duplicates()
items = pd.read_csv("datasets/order_items.csv")
joined = headers.merge(items, on="order_id", how="inner", validate="one_to_many")
print(len(joined))

Satu order memang dapat cocok dengan banyak baris item

18 baris item setelah duplikat header identik dihapus

Sesudah satu salinan header identik dibuang, join menghasilkan 18 baris item. Tanpa pembersihan itu, semua item milik pesanan yang header-nya berulang akan berpasangan lagi dan hasil menjadi 19 baris. Perubahan satu baris ini adalah petunjuk bahwa duplikasi header memengaruhi hasil, tetapi kita tetap harus membuktikan bahwa baris tersebut salinan yang tidak disengaja.

Cara menelusurinya: hitung baris dan key unik sebelum merge, periksa frekuensi key yang berulang, lakukan merge dengan validate, lalu bandingkan jumlah hasil dengan jumlah item yang diharapkan. Jika hasil bertambah, lihat key yang menyumbang pasangan tambahan. Jangan menyamakan setiap pengulangan order_id dengan duplikasi: beberapa baris detail dengan ID order sama adalah bagian normal dari struktur transaksi.

Bandingkan key dan jumlah baris, kemudian validasi one_to_many.

Jangan menghapus key berulang dari tabel detail secara membabi buta.

Latihan Interaktif

Latihan 01

Bersihkan duplikat header penuh, join item dengan one_to_many, dan kembalikan row count.

Jangan menghapus key berulang dari tabel detail secara membabi buta.

import pandas as pd
headers = pd.read_csv("datasets/orders_dirty.csv").drop_duplicates()
items = pd.read_csv("datasets/order_items.csv")
joined = headers.merge(items, on="order_id", how="inner")
result = len(joined)
print(result)

Lihat penjelasan hasil

validate membantu menemukan pelanggaran asumsi kardinalitas.

Lihat Petunjuk

Jangan menghapus key berulang dari tabel detail secara membabi buta.

Lihat Pembahasan

validate membantu menemukan pelanggaran asumsi kardinalitas.

Latihan 02

Apa sebab umum hasil merge berlipat?

Pilih satu jawaban
Lihat Pembahasan

validate membantu menemukan pelanggaran asumsi kardinalitas.

Ringkasan

  • Mengisolasi penggandaan dari duplikat header sebelum join item.
  • Catat asumsi yang memengaruhi hasil sebelum menyampaikan kesimpulan.

Bacaan lebih lanjut