Daftar Materi

Memahami Data Materi 12

Mengenali Missing Values

Tujuan Pembelajaran

  • Menemukan missing value dengan isna dan merangkum per kolom.
  • Menjelaskan alasan di balik langkah analisis dan memeriksa hasilnya.

Missing value perlu ditemukan sebelum analisis

Nilai kosong sering tidak terlihat saat kita hanya membaca beberapa baris. Hitung missing pada setiap kolom agar tahu bagian mana yang perlu diperiksa. Lalu lihat contoh baris yang terdampak dan tentukan apakah kosong berarti belum dicatat, tidak berlaku, atau informasi hilang.

Missing value berarti informasi tidak tersedia pada suatu sel; ia bukan selalu angka nol atau teks kosong biasa. Nilai dapat hilang karena tidak diisi saat input, tidak punya pasangan ketika Series diselaraskan, atau gagal diubah menjadi angka/tanggal. Mengetahui asalnya penting karena tindakan yang tepat berbeda untuk tiap kasus.

Gunakan isna() atau isnull() untuk membuat penanda boolean, lalu jumlahkan per kolom untuk melihat lokasi masalah. Hindari membandingkan langsung dengan NaN; nilai missing memiliki perilaku khusus sehingga hasil perbandingan biasa dapat mengejutkan. Dataset dirty pada latihan sengaja memiliki tanggal yang tidak valid dan channel yang kosong.

Nilai kosong dapat memiliki dampak berbeda tergantung pertanyaan. Untuk mengetahui pesanan per channel, baris tanpa channel tidak dapat masuk ke kelompok channel tertentu. Namun order_date yang kosong tidak selalu menghalangi kita menghitung order per status. Karena itu, catat lokasi missing per kolom dan putuskan berdasarkan analisis yang sedang dikerjakan, bukan dengan satu aturan untuk seluruh tabel.

Pemeriksaan jumlah missing juga membantu menentukan langkah berikutnya. Jika hanya satu atau dua nilai yang tidak tersedia, kita dapat memeriksa catatan asal secara manual. Jika jumlahnya besar, perlu dicari pola sistematis seperti formulir yang tidak mewajibkan kolom, perubahan format file, atau proses impor yang gagal. Jangan menyebut nilai sebagai “hilang” tanpa melihat kolom dan konteksnya.

Menghitung sel kosong pada setiap kolom

import pandas as pd
orders = pd.read_csv("datasets/orders_dirty.csv")
result = orders.isna().sum()
result = result[result > 0]
print(result)

Jumlah missing perlu dibaca sesuai peran kolom

order_date 1; channel 1

Hasil menunjukkan satu nilai hilang pada order_date dan satu pada channel. Ini memberi tahu lokasi dan jumlahnya, tetapi belum memberi tahu penyebab maupun kebijakan yang benar. Kita perlu melihat baris terkait, membandingkannya dengan sumber lain jika tersedia, dan menentukan apakah catatan masih dapat dipakai untuk pertanyaan tertentu.

Jangan langsung menghapus semua baris yang memiliki missing. Jika pertanyaannya tentang tanggal pesanan, tanggal kosong mungkin membuat baris itu tidak dapat dimasukkan ke analisis per bulan. Namun informasi status atau channel pada baris yang sama masih dapat berguna untuk pemeriksaan lain. Simpan alasan keputusan agar orang lain dapat menilai dampaknya.

Hitung missing per kolom lalu lihat baris yang bermasalah sebelum memutuskan tindakan.

Jangan mengisi channel kosong dengan kategori mayoritas tanpa dasar substantif.

Latihan Interaktif

Latihan 01

Hitung missing per kolom pada orders_dirty.csv dan simpan hanya jumlah positif sebagai result.

Jangan mengisi channel kosong dengan kategori mayoritas tanpa dasar substantif.

import pandas as pd
orders = pd.read_csv("datasets/orders_dirty.csv")
counts = orders.isna().sum()
result = counts[counts > 0]
print(result)

Lihat penjelasan hasil

Metode eksplisit mengenali sentinel missing; penyebab dan tindakan perlu dianalisis.

Lihat Petunjuk

Jangan mengisi channel kosong dengan kategori mayoritas tanpa dasar substantif.

Lihat Pembahasan

Metode eksplisit mengenali sentinel missing; penyebab dan tindakan perlu dianalisis.

Latihan 02

Bagaimana cara aman mengenali missing?

Pilih satu jawaban
Lihat Pembahasan

Metode eksplisit mengenali sentinel missing; penyebab dan tindakan perlu dianalisis.

Ringkasan

  • Menemukan missing value dengan isna dan merangkum per kolom.
  • Catat asumsi yang memengaruhi hasil sebelum menyampaikan kesimpulan.

Bacaan lebih lanjut