Daftar Materi

Analisis Data End-to-End Materi 34

Membangun Pipeline Pandas

Tujuan Pembelajaran

  • Merangkai load, filter, join, transform, dan agregasi yang reproducible.
  • Menjelaskan alasan di balik langkah analisis dan memeriksa hasilnya.

Pipeline menyusun transformasi agar dapat ditelusuri

Simpan hasil penting dengan nama yang menjelaskan tahapnya, seperti valid untuk pesanan yang lolos aturan status dan lines untuk rincian item setelah penggabungan. Kita dapat memeriksa shape atau beberapa baris pada setiap hasil itu. Jika jumlah pendapatan akhir berubah tak terduga, pemeriksaan bertahap membantu menemukan apakah penyebabnya filter, merge, atau rumus nilai item.

Pipeline adalah urutan langkah yang mengubah data mentah menjadi jawaban. Daripada melakukan banyak perubahan manual tanpa catatan, susun pekerjaan menjadi tahap yang bisa dibaca dan dijalankan kembali: baca file sumber, periksa kolom dan tipe, tentukan baris yang masuk, gabungkan tabel, hitung ukuran yang diperlukan, lalu ringkas hasil. Jika suatu angka berubah, urutan yang jelas membantu kita menemukan di tahap mana perubahan terjadi.

Pada contoh, empat tabel mempunyai peran berbeda. Tabel orders menyimpan satu baris informasi untuk tiap pesanan, seperti status, tanggal, dan pelanggan. Tabel order_items menyimpan rincian produk dan jumlah unit yang dibeli. Tabel products menambahkan kategori produk, sedangkan customers menambahkan kota pelanggan. Karena satu order dapat memiliki beberapa item, gabungan orders ke order_items menggunakan hubungan one-to-many. Setiap item seharusnya cocok ke satu produk dan satu pelanggan, sehingga dua penggabungan lookup itu divalidasi sebagai many-to-one.

Baris status canceled dan returned disaring sebelum nilai item dihitung. Lalu revenue per baris diperoleh dari jumlah unit dikali harga satuan dikali bagian harga yang tersisa sesudah diskon. Menaruh tahapan ini dalam kode membuat definisi lebih mudah ditinjau dan diulang. Pipeline ini memakai file dataset kursus dan definisinya tertulis dalam kode; ia tidak mengambil data terbaru dari internet. Untuk penggunaan nyata, sumber, tanggal pemutakhiran, aturan pengembalian, dan perlakuan pajak perlu dijelaskan juga.

Merangkai tahap persiapan dan perhitungan

import pandas as pd
orders = pd.read_csv("datasets/orders.csv")
items = pd.read_csv("datasets/order_items.csv")
products = pd.read_csv("datasets/products.csv")
customers = pd.read_csv("datasets/customers.csv")
valid = orders[orders["status"].isin(["completed", "shipped"])]
lines = valid.merge(items, on="order_id", validate="one_to_many")
lines = lines.merge(products[["product_id", "category"]], on="product_id", validate="many_to_one")
lines = lines.merge(customers[["customer_id", "city"]], on="customer_id", validate="many_to_one")
lines["revenue_idr"] = lines["quantity"] * lines["unit_price"] * (1 - lines["discount_pct"])
result = int(lines["revenue_idr"].sum())
print(result)

Nama tahap membuat asumsi alur lebih mudah ditinjau

1076750 IDR

Hasilnya adalah Rp1.076.750 untuk keseluruhan revenue yang dihitung dalam dataset latihan. Status canceled dan returned tidak masuk populasi, dan diskon diterapkan pada setiap baris item sebelum semua nilai dijumlahkan. Penghitungan pada tingkat baris item menjaga agar jumlah dan diskon tiap produk berpengaruh sesuai nilainya sendiri.

validate memeriksa asumsi jumlah pasangan pada saat merge: setiap order boleh memiliki banyak item, sedangkan setiap item harus menemukan paling banyak satu baris produk dan satu baris pelanggan. Namun validasi itu bukan pemeriksaan bahwa semua key berhasil ditemukan. Setelah setiap penggabungan, periksa jumlah baris, key yang tidak cocok, dan nilai kosong yang muncul. Kemudian cocokkan hasil akhir dengan total per kategori atau per bulan. Satu angka total saja tidak cukup untuk menunjukkan tahap mana yang menghasilkan selisih.

Jalankan tiap tahap, inspeksi row count dan hasil merge, lalu hitung line revenue.

Menggabungkan tanpa memeriksa cardinality dapat menggandakan nilai.

Latihan Interaktif

Latihan 01

Gunakan semua dataset bersih untuk menghitung recognized revenue setelah diskon.

Menggabungkan tanpa memeriksa cardinality dapat menggandakan nilai.

import pandas as pd
orders = pd.read_csv("datasets/orders.csv")
items = pd.read_csv("datasets/order_items.csv")
valid = orders[orders["status"].isin(["completed", "shipped"])]
lines = valid.merge(items, on="order_id")
result = int((lines["quantity"] * lines["unit_price"]).sum())
print(result)

Lihat penjelasan hasil

Pipeline yang dapat direproduksi memuat filter, rumus, key, dan pemeriksaan cardinality.

Lihat Petunjuk

Menggabungkan tanpa memeriksa cardinality dapat menggandakan nilai.

Lihat Pembahasan

Pipeline yang dapat direproduksi memuat filter, rumus, key, dan pemeriksaan cardinality.

Latihan 02

Langkah mana menjaga asumsi join eksplisit?

Pilih satu jawaban
Lihat Pembahasan

Pipeline yang dapat direproduksi memuat filter, rumus, key, dan pemeriksaan cardinality.

Ringkasan

  • Merangkai load, filter, join, transform, dan agregasi yang reproducible.
  • Catat asumsi yang memengaruhi hasil sebelum menyampaikan kesimpulan.

Bacaan lebih lanjut