Pre-prosesesing

1. Data Cleaning

Data cleaning (pembersihan data) adalah proses mengidentifikasi dan memperbaiki atau menghapus data yang tidak akurat, tidak lengkap, atau tidak relevan dari dataset. Proses ini penting untuk memastikan kualitas data yang baik sehingga analisis dan model prediktif yang dihasilkan lebih akurat dan dapat diandalkan. Langkah-langkah dalam data cleaning termasuk menghapus atau memperbaiki data yang hilang, menghapus duplikasi, mengubah tipe data, dan menangani outlier.

Langkah-Langkah Data Cleaning

1. Memeriksa Data yang Hilang:

2. Menghapus Duplikasi:

3. Mengubah Tipe Data:

4. Menangani Outlier:

5. Menghapus Kolom yang Tidak Relevan:

Contoh data cleaning :

Result

2. Data Collection

Pengumpulan data (data collection) adalah proses mengumpulkan informasi dari berbagai sumber untuk dianalisis. Data ini dapat berasal dari berbagai sumber seperti survei, database, API, web scraping, dan sebagainya. Berikut adalah langkah-langkah umum untuk pengumpulan data:

1. Menentukan Sumber Data: Identifikasi sumber data yang relevan untuk masalah atau tujuan yang ingin diselesaikan.
2. Mengumpulkan Data: Gunakan alat atau metode yang sesuai untuk mengumpulkan data dari sumber yang telah ditentukan.
3. Menyimpan Data: Simpan data dalam format yang dapat digunakan untuk analisis lebih lanjut, seperti CSV, database, dll.
4. Memastikan Kualitas Data: Pastikan data yang dikumpulkan berkualitas baik, lengkap, dan akurat.

Contoh data collection

Result 

3. Data Transform

Transformasi data adalah proses mengubah format atau struktur data menjadi bentuk yang lebih sesuai atau lebih mudah untuk diproses dalam analisis atau pemodelan. Ini termasuk mengubah tipe data, menggabungkan data dari beberapa sumber, melakukan agregasi, atau menghitung statistik tambahan. Transformasi data sering kali diperlukan setelah proses cleaning untuk mempersiapkan data agar siap digunakan dalam analisis lebih lanjut.

Langkah-Langkah Data Transformation :

1. Mengubah Tipe Data

2. Penggabungan Data

3. Agregasi Data

4. Pivot atau Reshape Data

5. Mengelompokkan Data

Contoh data collection :

Result

4. Data Reduction

Data reduction (pengurangan data) adalah proses mengurangi volume data dengan mempertahankan informasi yang relevan dan signifikan, namun dengan cara yang lebih efisien dan terkelola. Hal ini umumnya dilakukan untuk mengatasi masalah seperti kelebihan dimensi (dimensionality), mengurangi biaya penyimpanan, dan mempercepat waktu pemrosesan data.

Metode Data Reduction

Ada beberapa metode yang umum digunakan untuk melakukan data reduction:

1. Feature Selection (Seleksi Fitur):

   • Memilih subset dari fitur (kolom) yang paling penting atau relevan untuk analisis atau model prediktif.

2. Feature Extraction (Ekstraksi Fitur):

   • Mengubah data menjadi bentuk yang lebih kompak tetapi tetap mencakup informasi yang signifikan. Contohnya adalah Principal Component Analysis (PCA) untuk mengurangi dimensi data.

3. Sampling:

• Mengambil sampel data dari populasi yang lebih besar, yang mewakili keseluruhan populasi tanpa harus mengakses setiap data.

Contoh data collection :

Result

\