Daftar Materi

Membersihkan Data Materi 13

Menangani Missing Values

Tujuan Pembelajaran

  • Memilih tindakan missing berdasarkan alasan analisis.
  • Menjelaskan alasan di balik langkah analisis dan memeriksa hasilnya.

Nilai kosong perlu dipahami sebelum diisi atau dibuang

Bayangkan kolom quantity kosong pada sebuah item. Nol berarti kita tahu tidak ada unit yang dibeli, sedangkan nilai kosong berarti jumlahnya belum diketahui. Jika kita menggantinya dengan nol tanpa memeriksa sumber, total penjualan dapat tampak lebih kecil. Arti kolom dan pertanyaan analisis menentukan apakah nilai perlu diisi, dibiarkan kosong, atau dikeluarkan dari hitungan tertentu.

Menangani missing bukan sekadar mengisi lubang. Pertama, tanyakan apa arti kosong pada kolom tersebut: belum diketahui, tidak berlaku, belum tercatat, atau memang tidak ada? Arti itu menentukan apakah baris dipertahankan, dikeluarkan dari perhitungan tertentu, atau diisi dengan nilai pengganti. Tindakan yang memudahkan kode dapat sekaligus mengubah kesimpulan jika alasannya tidak jelas.

fillna() mengganti nilai hilang, sedangkan dropna() membuang baris atau kolom yang memenuhi kriteria missing. Untuk kolom bilangan bulat, tipe nullable Int64 dari Pandas dapat menyimpan bilangan bulat sekaligus pd.NA. Tanpa tipe nullable, kolom integer yang berisi missing dapat berubah menjadi bilangan desimal agar bisa mewakili NaN.

Sebelum memilih pengisian, bandingkan dampaknya pada pertanyaan yang akan dijawab. Jika tujuan kita menghitung jumlah item dan kosong benar-benar berarti belum dibeli, nol mungkin masuk akal. Jika kosong berarti pegawai lupa mengisi, menggantinya dengan nol membuat jumlah tampak lebih rendah daripada yang diketahui. Bila nilai tidak dapat diperbaiki, mempertahankan missing dan melaporkan berapa baris yang dikeluarkan bisa lebih jujur daripada menebak.

Pengisian juga dapat mengubah statistik. Mengganti harga yang hilang dengan rata-rata, misalnya, menciptakan nilai buatan dan mengurangi variasi yang terlihat. Dalam laporan, sebutkan kolom yang diisi, alasan, dan berapa banyak nilai yang terdampak. Jika langkah ini hanya diperlukan untuk satu metrik, jangan mengubah sumber mentah secara permanen; buat kolom hasil atau salinan kerja yang menyimpan keputusan tersebut.

Memilih kapan nol dapat mewakili nilai yang hilang

import pandas as pd
qty = pd.Series([2, pd.NA, 5], dtype="Int64")
result = qty.fillna(0)

Mengisi missing dengan nol dapat mengubah makna metrik

[2, 0, 5], dtype Int64

Series awal berisi dua jumlah unit yang diketahui dan satu yang belum diketahui. Setelah diisi nol, hasil menjadi [2, 0, 5] dan tetap bertipe Int64. Pilihan nol masuk akal hanya jika aturan sumber menyatakan bahwa kolom kosong memang berarti tidak ada unit.

Jika kosong berarti “belum dicatat”, mengisinya nol menyatakan sesuatu yang tidak kita ketahui sebagai fakta. Median atau rata-rata juga bukan pengganti netral: imputasi dapat mengubah sebaran data. Simpan indikator missing atau kolom asal bila keputusan pengisian penting untuk audit, lalu bandingkan ringkasan sebelum dan sesudah perubahan.

Bandingkan missing dan ringkasan sebelum/sesudah serta catat alasan.

fillna(0) bukan tindakan netral.

Latihan Interaktif

Latihan 01

Isi missing Series [2, NA, 5] dengan nol, pertahankan Int64.

fillna(0) bukan tindakan netral.

import pandas as pd
qty = pd.Series([2, pd.NA, 5], dtype="Int64")
result = qty.fillna(0)
print(result)

Lihat penjelasan hasil

Isi hanya jika makna domain mendukung nol.

Lihat Petunjuk

fillna(0) bukan tindakan netral.

Lihat Pembahasan

Isi hanya jika makna domain mendukung nol.

Latihan 02

Kapan fillna(0) dapat dibenarkan?

Pilih satu jawaban
Lihat Pembahasan

Isi hanya jika makna domain mendukung nol.

Ringkasan

  • Memilih tindakan missing berdasarkan alasan analisis.
  • Catat asumsi yang memengaruhi hasil sebelum menyampaikan kesimpulan.

Bacaan lebih lanjut