Class Central is learner-supported. When you buy through links on our site, we may earn an affiliate commission.

Amazon Web Services

Analyze Big Data with Hadoop (Korean)

Amazon Web Services and Amazon via AWS Skill Builder

Overview

실습 개요

이 실습에서는 완전히 작동하는 Hadoop 클러스터를 몇 분 만에 배포해 로그 데이터를 분석할 수 있습니다. 먼저 Amazon EMR 클러스터를 시작한 다음 HiveQL 스크립트를 사용하여 Amazon Simple Storage Service(Amazon S3) 버킷에 저장된 샘플 로그 데이터를 처리합니다. HiveQL은 데이터 웨어하우징 및 분석을 위한 SQL 유사 스크립팅 언어입니다. 그런 다음 비슷한 설정을 사용하여 자체 로그 파일을 분석할 수 있습니다.

이 실습은 Analyze Big Data with Hadoop 프로젝트를 기반으로 합니다.

목표

본 실습을 마치면 다음을 할 수 있습니다.

  • Amazon EMR을 사용하여 완전히 작동하는 Hadoop 클러스터를 시작합니다.
  • Amazon S3에 저장된 샘플 로그 데이터에 대한 스키마를 정의하고 테이블을 생성합니다.
  • HiveQL 스크립트를 사용하여 데이터를 분석하고 결과를 Amazon S3에 기록합니다.
  • 결과를 컴퓨터에 다운로드 및 확인합니다.
  • Hive CLI에 연결하고 HiveQL 쿼리 스크립트를 실행하여 결과를 확인합니다.

기술 지식 사전 조건

Hadoop에 대해 알고 있는 것이 좋지만 이번 실습에서는 필요하지 않습니다. Amazon S3 및 Amazon EC2 키 페어에 대해 기본적으로 알고 있는 것이 좋지만 이번 실습에서는 필요하지 않습니다.

소요 시간

이 실습을 완료하려면 약 60분이 소요됩니다.

아이콘 설명

이 실습에서는 다양한 유형의 지침 및 참고 사항에 대한 주의를 환기하기 위해 다양한 아이콘이 사용됩니다. 다음은 각 아이콘의 용도에 대한 설명입니다.

  • 명령: 실행해야 하는 명령입니다.
  • 예상 출력: 명령 또는 편집된 파일의 출력을 확인하는 데 사용할 수 있는 샘플 출력입니다.
  • 참고: 힌트, 팁 또는 중요한 지침입니다.
  • 자세히 알아보기: 자세한 정보를 찾을 수 있는 위치를 나타냅니다.
  • 주의: 특별한 관심이 필요한 중요한 정보입니다(놓쳤다고 해도 장비 또는 데이터에 문제가 발생할 정도로 중요하지는 않지만 특정 단계를 반복해야 할 수 있음).
  • 파일 내용: 사용자를 위해 미리 생성되었으며 실행해야 하는 스크립트 또는 파일의 내용을 표시하는 코드 블록입니다.
  • 지식 확인: 이해도를 확인하고 학습한 내용을 테스트할 기회입니다.
  • 정답: 문제 또는 도전 과제의 해답입니다.
  • 새로 고침: 웹 브라우저 페이지 또는 목록을 새로 고침하여 새 정보를 표시해야 하는 경우입니다.
  • 복사 편집: 명령, 스크립트 또는 기타 텍스트를 텍스트 편집기에 복사하여 특정 변수를 편집하는 것이 명령줄 또는 터미널에서 직접 편집하는 것보다 간편합니다.
  • 과제 완료: 실습의 결론 또는 요점입니다.

Reviews

Start your review of Analyze Big Data with Hadoop (Korean)

Never Stop Learning.

Get personalized course recommendations, track subjects and courses with reminders, and more.

Someone learning on their laptop while sitting on the floor.