Membangun Pipeline Pandas
Tujuan Pembelajaran
- Merangkai load, filter, join, transform, dan agregasi yang reproducible.
- Menjelaskan alasan di balik langkah analisis dan memeriksa hasilnya.
Pipeline menyusun transformasi agar dapat ditelusuri
Simpan hasil penting dengan nama yang menjelaskan tahapnya, seperti valid untuk pesanan yang lolos aturan status dan lines untuk rincian item setelah penggabungan. Kita dapat memeriksa shape atau beberapa baris pada setiap hasil itu. Jika jumlah pendapatan akhir berubah tak terduga, pemeriksaan bertahap membantu menemukan apakah penyebabnya filter, merge, atau rumus nilai item.
Pipeline adalah urutan langkah yang mengubah data mentah menjadi jawaban. Daripada melakukan banyak perubahan manual tanpa catatan, susun pekerjaan menjadi tahap yang bisa dibaca dan dijalankan kembali: baca file sumber, periksa kolom dan tipe, tentukan baris yang masuk, gabungkan tabel, hitung ukuran yang diperlukan, lalu ringkas hasil. Jika suatu angka berubah, urutan yang jelas membantu kita menemukan di tahap mana perubahan terjadi.
Pada contoh, empat tabel mempunyai peran berbeda. Tabel orders menyimpan satu baris informasi untuk tiap pesanan, seperti status, tanggal, dan pelanggan. Tabel order_items menyimpan rincian produk dan jumlah unit yang dibeli. Tabel products menambahkan kategori produk, sedangkan customers menambahkan kota pelanggan. Karena satu order dapat memiliki beberapa item, gabungan orders ke order_items menggunakan hubungan one-to-many. Setiap item seharusnya cocok ke satu produk dan satu pelanggan, sehingga dua penggabungan lookup itu divalidasi sebagai many-to-one.
Baris status canceled dan returned disaring sebelum nilai item dihitung. Lalu revenue per baris diperoleh dari jumlah unit dikali harga satuan dikali bagian harga yang tersisa sesudah diskon. Menaruh tahapan ini dalam kode membuat definisi lebih mudah ditinjau dan diulang. Pipeline ini memakai file dataset kursus dan definisinya tertulis dalam kode; ia tidak mengambil data terbaru dari internet. Untuk penggunaan nyata, sumber, tanggal pemutakhiran, aturan pengembalian, dan perlakuan pajak perlu dijelaskan juga.
Merangkai tahap persiapan dan perhitungan
import pandas as pd
orders = pd.read_csv("datasets/orders.csv")
items = pd.read_csv("datasets/order_items.csv")
products = pd.read_csv("datasets/products.csv")
customers = pd.read_csv("datasets/customers.csv")
valid = orders[orders["status"].isin(["completed", "shipped"])]
lines = valid.merge(items, on="order_id", validate="one_to_many")
lines = lines.merge(products[["product_id", "category"]], on="product_id", validate="many_to_one")
lines = lines.merge(customers[["customer_id", "city"]], on="customer_id", validate="many_to_one")
lines["revenue_idr"] = lines["quantity"] * lines["unit_price"] * (1 - lines["discount_pct"])
result = int(lines["revenue_idr"].sum())
print(result)
Nama tahap membuat asumsi alur lebih mudah ditinjau
1076750 IDR
Hasilnya adalah Rp1.076.750 untuk keseluruhan revenue yang dihitung dalam dataset latihan. Status canceled dan returned tidak masuk populasi, dan diskon diterapkan pada setiap baris item sebelum semua nilai dijumlahkan. Penghitungan pada tingkat baris item menjaga agar jumlah dan diskon tiap produk berpengaruh sesuai nilainya sendiri.
validate memeriksa asumsi jumlah pasangan pada saat merge: setiap order boleh memiliki banyak item, sedangkan setiap item harus menemukan paling banyak satu baris produk dan satu baris pelanggan. Namun validasi itu bukan pemeriksaan bahwa semua key berhasil ditemukan. Setelah setiap penggabungan, periksa jumlah baris, key yang tidak cocok, dan nilai kosong yang muncul. Kemudian cocokkan hasil akhir dengan total per kategori atau per bulan. Satu angka total saja tidak cukup untuk menunjukkan tahap mana yang menghasilkan selisih.
Jalankan tiap tahap, inspeksi row count dan hasil merge, lalu hitung line revenue.
Menggabungkan tanpa memeriksa cardinality dapat menggandakan nilai.
Latihan Interaktif
Latihan 01
Gunakan semua dataset bersih untuk menghitung recognized revenue setelah diskon.
Menggabungkan tanpa memeriksa cardinality dapat menggandakan nilai.
import pandas as pd
orders = pd.read_csv("datasets/orders.csv")
items = pd.read_csv("datasets/order_items.csv")
valid = orders[orders["status"].isin(["completed", "shipped"])]
lines = valid.merge(items, on="order_id")
result = int((lines["quantity"] * lines["unit_price"]).sum())
print(result)
Keluaran program
Python belum dimuat. Pilih Jalankan Kode untuk memulai.
Keluaran
Pesan diagnostik
Kesalahan program
Pratinjau Pandas
Grafik
Lihat penjelasan hasil
Pipeline yang dapat direproduksi memuat filter, rumus, key, dan pemeriksaan cardinality.
Lihat Petunjuk
Menggabungkan tanpa memeriksa cardinality dapat menggandakan nilai.
Lihat Pembahasan
Pipeline yang dapat direproduksi memuat filter, rumus, key, dan pemeriksaan cardinality.
Latihan 02
Langkah mana menjaga asumsi join eksplisit?
Lihat Pembahasan
Pipeline yang dapat direproduksi memuat filter, rumus, key, dan pemeriksaan cardinality.
Ringkasan
- Merangkai load, filter, join, transform, dan agregasi yang reproducible.
- Catat asumsi yang memengaruhi hasil sebelum menyampaikan kesimpulan.
Bacaan lebih lanjut
Langkah berikutnya