Daftar Materi

Membersihkan Data Materi 16

Memvalidasi dan Memperbaiki Data

Tujuan Pembelajaran

  • Mem-parse tanggal campuran dan mengisolasi nilai invalid.
  • Menjelaskan alasan di balik langkah analisis dan memeriksa hasilnya.

Validasi membandingkan nilai dengan aturan yang disepakati

Nilai yang dapat dibaca komputer belum tentu masuk akal untuk analisis. Angka quantity 500 mungkin berhasil dikonversi, tetapi tetap perlu diperiksa jika batas wajar pesanan jauh lebih rendah. Karena itu, validasi memerlukan aturan format sekaligus aturan bisnis; jika suatu nilai melanggar aturan, tandai dan selidiki sebelum memutuskan perbaikannya.

Validasi membandingkan data dengan aturan yang ditetapkan, misalnya “tanggal harus dapat dibaca sebagai kalender” atau “diskon berada antara nol dan satu”. Saat sebuah nilai gagal, pisahkan tiga hal: nilai mentah, hasil pemeriksaan, dan tindakan koreksi. Dengan begitu, perubahan dapat dijelaskan dan kesalahan sumber tidak tertutup oleh pembersihan.

Parser tanggal Pandas 3 lebih ketat untuk format campuran. format="mixed" meminta Pandas membaca format setiap nilai secara terpisah; errors="coerce" mengubah yang tidak dapat dibaca menjadi NaT. Simpan kolom tanggal asli agar format dan kesalahan sumber tetap terlihat. Nilai yang berhasil diparse belum tentu benar secara bisnis, misalnya tanggal yang valid tetapi ternyata tertukar hari dan bulan.

Aturan validasi sebaiknya ditulis sebagai kondisi yang bisa diperiksa, misalnya quantity tidak negatif, diskon berada pada rentang yang disepakati, order_id tidak kosong, dan tanggal berada dalam periode yang masuk akal. Baris yang gagal bukan selalu sampah; bisa jadi ada kasus khusus yang belum tercakup aturan. Simpan atau tampilkan baris bermasalah sebelum mengubahnya supaya kita mengetahui pola kesalahan dan dapat membedakan salah ketik dari pengecualian yang sah.

Perbaikan perlu memiliki jejak yang jelas: nilai asli, nilai hasil pemeriksaan, alasan perubahan, dan tindakan yang diambil. Jika satu tanggal salah format tetapi sumber resmi menyediakan tanggal benar, koreksi dapat didukung bukti. Jika tidak ada sumber pembanding, lebih baik tandai tidak diketahui daripada menebak. Dengan pendekatan ini, proses pembersihan menjadi bagian yang dapat ditinjau, bukan langkah tersembunyi yang hanya menghasilkan tabel “rapi”.

Menandai tanggal yang tidak dapat diparse

import pandas as pd
orders = pd.read_csv("datasets/orders_dirty.csv")
parsed = pd.to_datetime(orders["order_date"], format="mixed", errors="coerce")
print(parsed.isna().sum())

errors=coerce menyimpan masalah sebagai missing untuk ditinjau

1 tanggal invalid; format slash berhasil

Hasil menunjukkan satu tanggal tidak dapat diparse, sementara format dengan garis miring berhasil dibaca. Artinya parser memahami dua format yang valid di file ini; ia tidak menebak tanggal pengganti untuk teks tanggal-rusak.

Langkah berikutnya adalah menampilkan baris dengan NaT, memeriksa sumber yang dapat dipercaya, lalu memutuskan apakah tanggal bisa diperbaiki atau catatan harus dikecualikan dari analisis waktu. Mencatat jumlah kegagalan sebelum dan sesudah koreksi membantu memastikan proses validasi tidak diam-diam kehilangan data.

Bandingkan tanggal asli dan hasil parse; tampilkan baris NaT.

Jangan menebak tanggal pengganti tanpa sumber.

Latihan Interaktif

Latihan 01

Parse tanggal mixed dan hitung tanggal invalid.

Jangan menebak tanggal pengganti tanpa sumber.

import pandas as pd
orders = pd.read_csv("datasets/orders_dirty.csv")
parsed = pd.to_datetime(orders["order_date"], format="mixed", errors="coerce")
result = int(parsed.isna().sum())
print(result)

Lihat penjelasan hasil

Coercion mengisolasi nilai yang tetap gagal.

Lihat Petunjuk

Jangan menebak tanggal pengganti tanpa sumber.

Lihat Pembahasan

Coercion mengisolasi nilai yang tetap gagal.

Latihan 02

Apa fungsi format="mixed"?

Pilih satu jawaban
Lihat Pembahasan

Coercion mengisolasi nilai yang tetap gagal.

Ringkasan

  • Mem-parse tanggal campuran dan mengisolasi nilai invalid.
  • Catat asumsi yang memengaruhi hasil sebelum menyampaikan kesimpulan.

Bacaan lebih lanjut