Cara kerja, Vendor hadoop dan Cara Install/Setup Hadoop

Selamat datang kembali di 401XD.COM, Blog yang membahas seputar bisnis IT, tutorial VPS, kumpulan VPN premium, SSH gratis, trik dan tutorial, serta informasi dunia IT lainnya.

Pada artikel kali ini penulis akan membahas seputar Cara kerja, Vendor hadoop dan Cara Install/Setup Hadoop.
Artikel terpopuler lainnya :
1. Download SSH premium gratis 1 bulan update terbaru .
2. Trik rahasia internet gratis android.
3. Informasi big data & trik hemat data internet dengan aplikasi android.
4. Update paket promo internet murah terbaru semua operator.
Sebelum membaca artikel ini, mungkin rekan sudah membaca beberapa artikel di luar sana yang membahas tentang hadoop, namun pembahasan yang ditemukan masih terpotong-potong. Sebagai contoh ada artikel yang hanya membahas pengertian hadoop saja, manfaat hadoop saja, sejarah hadoop saja, cara kerja hadoop saja, cara install hadoop saja, dan sebagainya.

Melalui artikel ini saya mencoba menyajikan dalam satu kali bahasan tentang Cara kerja hadoop, artikel ini saya tujukan untuk rekan yang antusias belajar terkait hadoop dan menginginkan kemudahan dalam proses belajar tentang hadoop.
Cara kerja hadoop, Vendor hadoop, Cara Install hadoop, Setup Hadoop hadoop, konfigurasi hadoop
Saya melihat ke dalam diri saya, yang merasa kurang nyaman dengan bahasan yang terpotong-potong ketika proses belajar tentang Hadoop. Saya merasa akan sangat membantu jika ada yang bisa memberikan bahasan tersebut dalam satu artikel saja, namun dengan bahasa yang ringkas.

Atas dasar itulah saya coba buat artikel ini, sehingga rekans yang sama-sama belajar seperti saya mendapatkan kemudahan untuk memahami konsep dasar Cara kerja hadoop.

Bagaimana ? jika merasa sama dengan yang saya rasakan dapat melanjutkan membacanya sampai akhir.

1. Cara kerja Hadoop

Cara kerja Hadoop
Untuk melihat secara umum cara kerja hadoop dalam pemrosesan pada sistem terdistribusi, kita bisa melihat pada cara kerja dari 3 modul utama berikut ini.


Bagaimana cara kerja HDFS

Sebuah kluster HDFS terdiri dari NameNode, yang mengelola metadata dari kluster, dan DataNode yang menyimpan data/file. File dan direktori diwakili pada NameNode oleh inode. Inode menyimpan atribut seperti permission, modifikasi dan waktu akses, atau kuota namespace dan diskspace.

Isi file dibagi menjadi blok-blok file( biasanya 128 MB), dan setiap blok file tersebut direplikasi di beberapa DataNodes. Blok file disimpan pada sistem file lokal dari DataNode.

Namenode aktif memonitor jumlah salinan/replika blok file. Ketika ada salinan blok file yang hilang karena kerusakan pada DataNode, NameNode akan mereplikasi kembali blok file tersebut ke datanode lainnya yang berjalan baik. NameNode mengelola struktur namespace dan memetakan blok file pada datanode.
 Bagaimana cara kerja HDFS

Bagamana cara kerja MapReduce

MapReduce bertugas membagi data yang besar ke dalam potongan lebih kecil dan mengatur mereka kedalam bentuk tupel untuk pemrosesan paralel. Tupel adalah kombinasi antara key dan value-nya, dapat disimbolkan dengan notasi : "(k1, v1)". Dengan pemrosesan bersifat paralel tersebut, tentunya akan meningkatkan kecepatan dan keandalan komputasi pada sistem klustering.

MapReduce terdiri atas tiga tahap, yaitu tahap map, shuffle, dan terakhir reduce. Shuffle dan reduce digabungkan kedalam satu tahap saja yaitu tahap reduce.

1. Map berfungsi memproses data inputan yang umumnya berupa file yang tersimpan dalan HDFS (dapat di baca di Sistem file terdistribusi), inputan tersebut kemudian diubah menjadi tuple yaitu pasangan antara key dan value-nya.

2. Tahap reduce, memproses data inputan dari hasil proses map, yang kemudian dilakukan tahap shuffle dan reduce yang hasil data set baru-nya disimpan di HDFS kembali.
Cara kerja hadoop, Vendor hadoop, Cara Install hadoop

Bagaimana cara kerja Yarn

Tujuan awal Yarn adalah untuk memisahkan dua tanggung jawab utama dari JobTracker/TaskTracker menjadi beberapa entitas yang terpisah.
  • Global ResourceManager di node master, yang berfungsi mengatur semua resource yang digunakan aplikasi dalam sistem.
  • ApplicationMaster di setiap aplikasi, yang berfungsi untuk negosiasi resource dengan ResourceManager dan kemudian bekerja sama dengan NodeManager untuk mengeksekusi dan memonitor tasks
  • NodeManager di Agen-Framework setiap node slave, yang bertanggung jawab terhadap Container, dengan memantau penggunaan resource/sumber daya dari container(cpu, memori, disk, jaringan ) dan melaporkannya pada ResourceManager
  • Container di setiap aplikasi yang jalan di NodeManager, sebagai wadah penyimpanan data/file
Cara kerja hadoop, Vendor hadoop, Cara Install hadoop
 

2. Vendor hadoop yang ada di pasaran

Tentu kurang lengkap rasanya jika kita tidak menyertakan informasi tentang vendor hadoop yang beredar di pasaran saat ini.

Dengan melihat vendor-vendor besar seperti IBM, Microsoft, Amazon yang ikut bermain di dalam menyediakan solusi Big data dengan Hadoop, dapat kita simpulkan bahwa solusi big data dengan hadoop bisa jadi hal yang sangat menjanjikan di masa yang akan datang.

Berikut ini Top 10 Vendor yang menyediakan solusi Big Data dengan hadoop, yang dipaparkan oleh "Bernard Marr" pada artikel di situsnya.
  1. IBM
  2. Cloudera
  3. Amazon Web Service
  4. Hortonworks
  5. MapR
  6. Microsoft HDInsight
  7. Intel Distribution for Apache Hadoop
  8. Datastax Enterprise Analytics
  9. Teradata Enterprise Access for Hadoop
  10. Pivotal HD

3. Cara Install/Setup Hadoop

Setelah mengetahui beberapa konsep dasar hadoop, saat-nya kita mempersiapkan environment untuk kita mempraktekkan.

Cara setup lab termudah adalah dengan menggunakan paket virtual yang biasanya sudah disiapkan oleh sebagian besar vendor hadoop, untuk contoh setup hadoop kali ini, saya gunakan adalah versi free dari Hortonworks.

Berikut ini langkah-langkah persiapan lab dari Hadoop Hortonworks :

1. Download dan Install VMware Player
Dapat didownload di situs VM Ware berikut.
Setup Hadoop hadoop, konfigurasi hadoop

Untuk cara-cara instalasinya sangat mudah, dapat dilakukan bahkan oleh orang awam sekalipun. Yaitu cukup dijalankan file installer hasil download tersebut, dan cukup lanjutkan sampai proses instalasi selesai.

2. Download dan load SandBox dari Hortonworks yang sudah termasuk hadoop di dalamnya.
Dapat didownload di Situs Hostonworks berikut.

3. Tambahkan dan hidupkan image dari SandBox menggunakan VMWare Player

4. Environment untuk uji coba sudah tersedia.

Demikian artikel ini saya tulis, semoga dapat memudahkan pemahaman rekans tentang apa itu hadoop.
Tag : Cara kerja hadoop , Vendor hadoop, Cara Install hadoop, Setup Hadoop hadoop, konfigurasi hadoop.
Artikel terpopuler lainnya
Silahkan komentar pada kolom dibawah ini jika ada yang ingin ditanyakan tentang Cara kerja, Vendor hadoop dan Cara Install/Setup Hadoop.

0 Response to "Cara kerja, Vendor hadoop dan Cara Install/Setup Hadoop"