Ada empat langkah umum di mana data mengalir dalam sebuah organisasi.
- Mengumpulkan dan mengambil data, misalnya dari lalu lintas web, survei, atau konsumsi media.
- Data disimpan dalam format mentah. Langkah selanjutnya adalah mempersiapkannya, yang mencakup “membersihkan data”, misalnya menemukan nilai yang hilang atau duplikat, dan mengonversi data ke dalam format yang lebih terorganisir.
- Setelah data bersih dan terorganisir, data dapat dieksplorasi. Kita dapat mempelajarinya, memvisualisasikannya, membangun dashboard untuk melacak perubahan, atau membandingkan dua set data.
- Setelah kita memahami data kita dengan baik, kita siap untuk menjalankan eksperimen, seperti mengevaluasi judul artikel mana yang paling banyak dikunjungi, atau membangun model prediksi.
Data Engineer bertanggung jawab untuk langkah pertama dalam proses ini, mengambil data yang terkumpul dan menyimpannya. Mereka memiliki tanggung jawab besar karena mereka menyiapkan dasar bagi analis data, ilmuwan data, dan insinyur pembelajaran mesin. Jika data tersebar, rusak, dan sulit diakses, tidak banyak yang bisa disiapkan, dijelajahi, atau dieksperimenkan. Tugas data engineer menyampaikan data yang tepat, dalam bentuk yang benar, kepada orang yang tepat, dengan efisien.
Tanggung jawab seorang data engineer :
- Mengambil data dari berbagai sumber
- Mengoptimalkan basis data untuk analisis
- Mengelola data yang rusak
- Mengembangkan, membangun, menguji, dan memelihara arsitektur seperti basis data dan sistem pemrosesan berkapasitas besar untuk mengolah dan mengelola jumlah data yang besar.
Karakteristik Big Data ditandai oleh 5, yaitu:
- Volume, Merujuk pada besarnya jumlah data yang dihasilkan dan dikumpulkan dari berbagai sumber.
- Velocity, Mewakili kecepatan data yang dihasilkan dan diproses.
- Variety, Menandakan beragamnya jenis dan format data yang dikumpulkan.
- Veracity, Merujuk pada keakuratan dan kepercayaan data.
- Value, Menandakan tujuan utama dari analisis Big Data, yaitu untuk mengekstrak wawasan dan nilai berharga dari jumlah data yang besar tersebut.
