Daftar Materi

Membersihkan Data Materi 15

Membersihkan Teks dan Kategori

Tujuan Pembelajaran

  • Merapikan kapitalisasi/spasi dan memetakan sinonim terkonfirmasi.
  • Menjelaskan alasan di balik langkah analisis dan memeriksa hasilnya.

Variasi penulisan dapat menyembunyikan kategori yang sama

Label “completed”, “Completed”, dan “ completed ” tampak berbeda bagi komputer karena huruf besar dan spasi ikut dihitung. Jika menurut aturan bisnis ketiganya bermakna sama, kita dapat merapikan spasi dan huruf pada kolom status. Terapkan aturan itu pada salinan kerja dan catat perubahan agar label asli tetap dapat ditelusuri.

Perbedaan penulisan bisa menyembunyikan kategori yang sebenarnya sama: "completed", " Completed " dan "COMPLETED" mungkin muncul dari sumber input yang berbeda. str.strip() membuang spasi di tepi, sedangkan str.casefold() menormalkan kapitalisasi untuk perbandingan teks yang tidak peka huruf besar-kecil. Keduanya merapikan format, bukan menentukan makna.

Jika ada sinonim yang sudah dikonfirmasi (misalnya selesai memang merujuk ke completed menurut pemilik data) replace() dapat memetakan label itu. Simpan nilai asli sebelum perubahan jika audit diperlukan. Jangan menyamakan kata yang mirip hanya berdasarkan dugaan; pemetaan kategori adalah keputusan substantif yang sebaiknya memiliki sumber atau aturan tertulis.

Pembersihan teks perlu menjaga perbedaan yang memang bermakna. Menghapus spasi di tepi biasanya aman untuk kode kategori, tetapi mengubah kapitalisasi pada nama atau teks bebas dapat memengaruhi cara tampil atau makna. Normalisasi semestinya disesuaikan dengan jenis kolom dan aturan sumber, bukan diterapkan ke semua kolom tanpa pemeriksaan.

Sesudah membersihkan kategori, bandingkan daftar nilai unik dan frekuensinya sebelum serta sesudah perubahan. Pastikan tidak ada label yang berubah menjadi missing akibat pemetaan yang tidak lengkap, dan periksa apakah kategori baru muncul di luar daftar yang telah disetujui. Menyimpan kolom mentah dan kolom bersih berdampingan memudahkan audit, terutama jika hasil dipakai untuk laporan atau keputusan bisnis.

Menormalkan spasi dan huruf pada status

import pandas as pd
orders = pd.read_csv("datasets/orders_dirty.csv")
status = orders["status"].str.strip().str.casefold().replace({"selesai": "completed"})
print(status.value_counts().to_dict())

Normalisasi format dan pemetaan sinonim memiliki tujuan berbeda

completed 9; shipped 2; canceled 1; returned 1

Spasi dan variasi kapitalisasi sudah disatukan, lalu selesai dipetakan ke completed. Frekuensi menunjukkan sembilan baris berstatus completed, dua shipped, satu canceled, dan satu returned.

Angka ini menghitung baris pada file dirty yang masih memuat satu duplikat pesanan. Karena itu, sembilan bukan otomatis berarti sembilan order unik completed. Normalisasi teks memperbaiki konsistensi label, tetapi tidak menghapus duplikasi dan tidak memperbaiki key yang tidak cocok. Periksa tiap jenis masalah secara terpisah.

Lihat unique sebelum/sesudah dan catat mapping sinonim.

Kapitalisasi dan kata berbeda perlu penanganan berbeda.

Latihan Interaktif

Latihan 01

Normalisasi status dan hitung jumlah completed.

Kapitalisasi dan kata berbeda perlu penanganan berbeda.

import pandas as pd
orders = pd.read_csv("datasets/orders_dirty.csv")
status = orders["status"].str.strip().str.casefold()
result = int(status.replace({"selesai": "completed"}).eq("completed").sum())
print(result)

Lihat penjelasan hasil

Sinonim memerlukan aturan domain.

Lihat Petunjuk

Kapitalisasi dan kata berbeda perlu penanganan berbeda.

Lihat Pembahasan

Sinonim memerlukan aturan domain.

Latihan 02

Mengapa normalisasi dan mapping sinonim terpisah?

Pilih satu jawaban
Lihat Pembahasan

Sinonim memerlukan aturan domain.

Ringkasan

  • Merapikan kapitalisasi/spasi dan memetakan sinonim terkonfirmasi.
  • Catat asumsi yang memengaruhi hasil sebelum menyampaikan kesimpulan.

Bacaan lebih lanjut