Gambaran umum lab
Di lab ini, Anda akan men-deploy klaster Hadoop yang berfungsi sepenuhnya yang siap menganalisis data log hanya dalam beberapa menit. Anda akan memulai dengan meluncurkan klaster Amazon EMR dan kemudian menggunakan skrip HiveQL untuk memproses sampel data log yang disimpan di bucket Amazon Simple Storage Service (Amazon S3). HiveQL adalah bahasa scripting seperti SQL untuk pergudangan dan analisis data. Kemudian Anda dapat menggunakan pengaturan serupa untuk menganalisis file log Anda sendiri.
Lab ini didasarkan pada proyek Analyze Big Data with Hadoop.
Tujuan
Di akhir lab ini, Anda akan mampu:
- Meluncurkan klaster Hadoop yang berfungsi sepenuhnya menggunakan Amazon EMR.
- Menentukan skema dan membuat tabel untuk sampel data log yang disimpan di Amazon S3.
- Menganalisis data menggunakan skrip HiveQL dan menulis hasilnya kembali ke Amazon S3.
- Mengunduh dan melihat hasilnya di komputer Anda.
- Menghubungkan ke Hive CLI dan menjalankan skrip kueri HiveQL untuk melihat hasilnya.
Prasyarat pengetahuan teknis
Pengetahuan akan Hadoop direkomendasikan tetapi tidak diwajibkan untuk lab ini. Pengetahuan dasar akan pasangan kunci Amazon S3 dan Amazon EC2 juga direkomendasikan tetapi tidak diwajibkan untuk lab ini.
Durasi
Diperlukan sekitar 60 menit untuk menyelesaikan lab ini.
Kunci ikon
Beragam ikon digunakan di seluruh lab ini untuk menarik perhatian ke berbagai jenis petunjuk dan catatan. Daftar berikut menjelaskan tujuan setiap ikon:
- Perintah: Perintah yang harus Anda jalankan.
- Output yang diharapkan: Output sampel yang dapat Anda gunakan untuk memverifikasi output dari perintah atau file yang diedit.
- Catatan: Petunjuk, tip, atau panduan penting.
- Pelajari selengkapnya: Tempat untuk menemukan informasi selengkapnya.
- Perhatian: Informasi dengan kepentingan khusus (tidak terlalu penting untuk menyebabkan masalah terkait peralatan atau data jika Anda melewatkannya, tetapi dapat mengakibatkan pengulangan langkah-langkah tertentu).
- Isi file: Blok kode yang menampilkan isi skrip atau file yang perlu dijalankan yang sudah dibuat sebelumnya untuk Anda.
- Uji pengetahuan: Kesempatan untuk memeriksa dan menguji pengetahuan yang telah Anda pelajari.
- Jawaban: Jawaban untuk pertanyaan atau tantangan.
- Segarkan: Saat Anda mungkin perlu menyegarkan daftar atau halaman browser web untuk menampilkan informasi baru.
- Salin edit: Saat menyalin perintah, skrip, atau teks lain ke editor teks (untuk mengedit variabel tertentu di dalamnya) mungkin lebih mudah daripada mengedit langsung di baris perintah atau terminal.
- Tugas selesai: Poin kesimpulan atau ringkasan dalam lab.
