RM Simangat data ETL Pipelinee

RM Simangat data ETL Pipelinee

Proyek ini merupakan proyek pembelajaran mengenai data engineering khususnya dalam tahapan ETL (Ekstrak, Transform, Load) yang sederhana menggunakan Apache Airflow, PostgreSQL, dan Docker. Ekstraksi data transaksi dari database MYSQL yang digunakan sebagai backend dari web RM Simangat, mengubahnya agar sesuai untuk kebutuhan analisis, dan meloadnya ke dalam database PostgreSQL sebagai data warehousenya. Disini docker digunakan untuk mengkontainerisasi seluruh tools dan konfigurasi database dan airflow. Penggunaan Apache Airflow untuk memastikan penjadwalan, pemantauan, dan konsistensi data selama proses berlangsung.

Category: Data Engineering

Tech Stack: Python, Apache Airflow, PostgreSQL, Docker Container

Source code: Github Repository