6 layer dalam arsitektur Big Data

1. Infrastructure layer adalah lapisan pertama dan mencakup semua perangkat keras, jaringan, dan perangkat lunak yang digunakan untuk mendukung dan mengoperasikan cluster Hadoop. Perangkat lunak berkisar dari versi sistem operasi hingga semua alat yang biasa digunakan untuk memantau dan melaporkan pada cluster Hadoop.
2. Data Repository layer adalah lapisan kedua yang berkaitan dengan pergerakan data dalam lingkungan komputasi terdistribusi. Repository utama di sini adalah sistem file terdistribusi Hadoop. Alat transportasi data seperti Sqoop dan Flume juga disertakan. Semua database NoSQL, seperti Accumulo dan HBase adalah bentuk penyimpanan data.
3. The Data Refinery layer adalah lapisan ketiga dan menyediakan platform untuk manipulasi dan pemrosesan data menggunakan kerangka pemrosesan paralel. Teknologi utama pada data refinery layer termasuk Yarn dan MapReduce.
4. The Data Factory layer. Perangkat lunak di bawah kelas ini disebut pekerja data. Mereka dirancang untuk antarmuka Hadoop dan memungkinkan akses yang lebih mudah ke kekuatan penuh Hadoop. Benar-benar memungkinkan pengguna untuk membuat pekerjaan komputasi dalam bahasa yang mudah dipahami, seperti SQL, dan kemudian mereka menerjemahkan input ini ke dalam pekerjaan MapReduce. Alat-alat di sini termasuk Hive, Pig, Spark, dan Oozie.
5. The Data Fusion adalah lapisan aplikasi dan akhir bisnis sejati dari solusi big data. Analisis data dan alat visualisasi data termasuk dalam lapisan ini dan digunakan untuk membuat aplikasi, mengimplementasikan algoritma, dan memvisualisasikan data. Alat-alat tersebut termasuk teknologi pembelajaran mesin, seperti Mahout, atau alat Visualisasi Data, seperti Datameter atau Pentahoe dan Tableau.
6. The Business Value Layer adalah lapisan terakhir yang menggunakan berbagai alat untuk mengekspresikan persyaratan, tingkat layanan, dan permintaan untuk perubahan, biaya dan pengeluaran untuk bisnis.