Daftar Materi

Memahami Data Materi 09

Data Types dan Konversi

Tujuan Pembelajaran

  • Memeriksa tipe kolom, mengonversi tanggal, dan menghitung hasil parsing valid.
  • Menjelaskan alasan di balik langkah analisis dan memeriksa hasilnya.

Tipe data menentukan operasi yang masuk akal

Tipe dapat mengubah arti operasi tanpa mengubah tampilan nilainya. Misalnya, '10' dan '5' tampak seperti angka, tetapi sebagai teks keduanya dapat digabung menjadi '105'; sebagai angka, hasil penjumlahannya 15. Periksa tipe kolom ketika hasil terasa janggal, lalu konversikan hanya setelah memastikan format sumbernya.

Tipe data menentukan operasi yang masuk akal. Kolom berisi angka bisa dijumlahkan; teks biasanya digabung atau dicari; tanggal dapat diurutkan menurut waktu dan dipakai untuk menghitung periode. Saat membaca CSV, Pandas menebak tipe dari nilai yang ditemukan, tetapi tebakan itu belum tentu cocok dengan maksud bisnis.

pd.to_datetime() mencoba mengubah teks menjadi tanggal. Jika format rusak atau tidak sesuai, errors="coerce" mengubah kegagalan itu menjadi NaT, padanan “tidak ada tanggal” di Pandas. Ini membantu proses berjalan tanpa berhenti, tetapi nilai yang gagal tidak boleh hilang dari perhatian. Hitung jumlah NaT dan periksa teks sumbernya sebelum memutuskan apakah perlu koreksi atau pengecualian.

Tipe data yang salah sering membuat perhitungan gagal atau diam-diam menghasilkan arti yang keliru. Sebagai contoh, teks “100” dapat tampak seperti angka tetapi tidak dapat dijumlahkan sebagai nilai numerik tanpa konversi; dua teks bisa digabung, bukan dijumlahkan. Begitu pula tanggal yang dibaca sebagai teks dapat terurut secara alfabetis, bukan secara kronologis. Pemeriksaan tipe sejak awal membantu menghindari kejutan seperti ini.

Konversi yang berhasil bukan jaminan bahwa hasilnya sesuai konteks. Angka mungkin memakai titik sebagai pemisah ribuan atau koma sebagai desimal; tanggal seperti 03/04 bisa berarti 3 April atau 4 Maret bergantung format sumber. Jika data keuangan atau tanggal penting, pastikan format dan satuannya dari dokumentasi atau pemilik data, lalu catat berapa nilai yang tidak dapat dikonversi.

Mengonversi teks tanggal dengan aman

import pandas as pd
orders = pd.read_csv("datasets/orders.csv")
orders["order_date"] = pd.to_datetime(orders["order_date"])
print(orders["order_date"].dtype, orders["order_date"].isna().sum())

Tanggal yang gagal diparse tercatat sebagai NaT

datetime64[...] dan 0 tanggal kosong

Kolom berhasil menjadi tipe datetime dan tidak ada tanggal yang gagal diparse. Detail resolusi datetime yang ditampilkan Pandas bisa berbeda menurut versi, jadi fokus pada hal yang dibutuhkan analisis: kolom sudah bertipe tanggal dan jumlah nilai invalid.

Untuk kolom angka, prinsip serupa berlaku. Jangan mengubah teks menjadi angka sebelum memeriksa pemisah ribuan, simbol mata uang, atau nilai seperti -. Konversi yang berhasil hanya menjelaskan tipe hasil; ia tidak membuktikan bahwa satuan atau makna bisnisnya sudah benar.

Cetak dtype sebelum/sesudah konversi dan jumlah NaT agar gagal parsing terlihat.

Coerce tanpa menghitung NaT dapat menyembunyikan tanggal input yang rusak.

Latihan Interaktif

Latihan 01

Konversi order_date di orders.csv dan kembalikan jumlah tanggal valid.

Coerce tanpa menghitung NaT dapat menyembunyikan tanggal input yang rusak.

import pandas as pd
orders = pd.read_csv("datasets/orders.csv")
orders["order_date"] = pd.to_datetime(orders["order_date"], errors="coerce")
result = int(orders["order_date"].notna().sum())
print(result)

Lihat penjelasan hasil

Coercion mengisolasi nilai rusak, tetapi pencatatan jumlah dan pola gagal tetap bagian pembersihan.

Lihat Petunjuk

Coerce tanpa menghitung NaT dapat menyembunyikan tanggal input yang rusak.

Lihat Pembahasan

Coercion mengisolasi nilai rusak, tetapi pencatatan jumlah dan pola gagal tetap bagian pembersihan.

Latihan 02

Mengapa jumlah NaT diperiksa setelah coercion?

Pilih satu jawaban
Lihat Pembahasan

Coercion mengisolasi nilai rusak, tetapi pencatatan jumlah dan pola gagal tetap bagian pembersihan.

Ringkasan

  • Memeriksa tipe kolom, mengonversi tanggal, dan menghitung hasil parsing valid.
  • Catat asumsi yang memengaruhi hasil sebelum menyampaikan kesimpulan.

Bacaan lebih lanjut