분석해야 할 빅 데이터 문제를 파악했다면, 빅 데이터 솔루션을 사용해 어떻게 데이터를 수집, 저장 및 정리할 수 있을까요? 이 강의에서는 각 문제에 적합한 다양한 데이터 유형과 관리 도구를 소개합니다. 이 강의를 통해 빅 데이터 관리 시스템과 분석 도구의 관점에서 새로운 빅 데이터 플랫폼이 진화하고 있는 이유를 설명할 있을 것입니다. 이 실습 튜토리얼을 통해 실시간 및 반정형 데이터 사례를 사용한 기술에 익숙해질 것입니다. 여기서 다루는 시스템과 도구에는 다음이 포함됩니다. AsterixDB, HP Vertica, Impala, Neo4j, Redis, SparkSQL. 이 강의는 기존의 미개척 데이터 소스에서 가치를 창출하는 기법과 새로운 데이터 소스를 소개합니다.
이 강의를 마치고 나면 다음을 기대할 수 있습니다.
* 업무 및 실생활 속 문제들에서 다양한 데이터 요소를 식별할 수 있습니다.
* 팀에서 빅 데이터 인프라 계획과 정보 시스템 디자인을 설계해야 하는 이유를 설명할 수 있습니다.
* 다양한 데이터 유형에 요구되는 흔한 데이터 연산을 파악할 수 있습니다.
* 데이터의 성격에 맞는 데이터 모델을 선택할 수 있습니다.
* 스트리밍 데이터를 처리하기 위한 기술을 적용할 수 있습니다.
* 전통적 데이터베이스 관리 시스템과 빅 데이터 관리 시스템의 차이를 알 수 있습니다.
* 데이터 관리 시스템이 왜 이토록 많은지 이해할 수 있습니다.
* 온라인 게임 업체에 사용되는 빅 데이터 정보 시스템을 설계할 수 있습니다.
이 강의는 데이터 과학 분야의 초심자를 위한 강의입니다. 빅 데이터 개요를 수강할 것을 권장합니다. 프로그래밍에 대한 사전 지식은 필요하지 않지만, 실습 과제를 수행하려면 애플리케이션을 설치하고 가상 머신을 활용할 수 있어야 합니다. 전체 하드웨어 및 소프트웨어 요구 사항은 전문 기술 요구 사항을 참조하세요.
하드웨어 요구 사항:
(A) 쿼드코어 프로세서(VT-x, AMD-V 지원 권장), 64비트 (B) 8GB RAM (C) 20GB 여유 디스크 하드웨어 정보를 찾는 방법: (Windows): 시작 버튼을 눌러 System을 여신 후, Computer를 우클릭해 Properties 메뉴를 확인하세요. (Mac): Apple 메뉴를 클릭해 Overview를 열고 “About this Mac”을 클릭하세요. 3년 이내에 구매한 대부분의 컴퓨터는 8GB RAM 최소 사양을 만족할 것입니다. 최대 4GB 용량의 파일을 다운로드해야 하기 때문에 고속 인터넷 연결이 필요합니다.
소프트웨어 요구 사항:
이 강의는 Apache Hadoop을 포함한 몇몇 오픈소스 소프트웨어 도구를 사용합니다. 필요한 모든 소프트웨어는 무료로 다운로드 및 설치할 수 있습니다(인터넷 제공업체에 내는 데이터 사용료는 제외). 소프트웨어 요구 사항은 다음과 같습니다. Windows 7+, Mac OS X 10.10+, Ubuntu 14.04+ 또는 CentOS 6+ VirtualBox 5+
Overview
Syllabus
- 빅 데이터 모델링 및 관리 시스템 개요
- 빅 데이터 모델링 및 관리에 대한 강의에 오신 것을 환영합니다. 데이터 모델링 및 관리는 모든 빅 데이터 프로젝트에 핵심적인 부분입니다. 이 강의에서는 빅 데이터 모델링과 관리의 개념을 소개하고, 강의의 나머지 부분을 소개합니다.
- 빅 데이터 모델링
- 빅 데이터 모델링은 데이터 구조, 데이터에 수행될 연산, 모델에 적용되는 제약조건 등 여러 요소에 따라 달라집니다. 이 강의에서는 빅 데이터 모델링을 자세히 학습하고 자신만의 빅 데이터 프로젝트를 모델링하는 데 필요한 실용적인 기술을 배우게 될 것입니다.
- 빅 데이터 모델링 (파트 2)
- 이 강의에서는 벡터 스페이스 모델, 그래프 데이터 모델 등 특정 접근법으로 빅 데이터 모델링을 계속 살펴봅니다.
- 데이터 모델로 작업하기
- 데이터 모델은 많은 데이터 포맷을 다룹니다. 스트리밍 데이터는 유비쿼터스화되고 있으며, 스트리밍 데이터 작업에는 정적 데이터 작업과 다른 접근법이 필요합니다. 이 강의에서는 날씨 데이터와 Twitter 피드를 포함한 다양한 형태의 스트리밍 데이터로 작업하면서 실용적인 실습 경험을 쌓아 볼 것입니다.
- 빅 데이터 관리: DBMS의 “M”
- 다양한 데이터 구조가 기존 DBMS에 적합하지 않기 때문에, 빅 데이터를 관리하려면 데이터베이스 관리 시스템에 대한 다른 접근법이 필요합니다. 빅 데이터 관리를 돕는 다양한 애플리케이션이 존재합니다. 이 강의는 이러한 애플리케이션 몇 가지를 소개하고, 여러분의 빅 데이터 관리 문제에 이들을 언제 어떻게 사용해야 하는지 설명합니다.
- 온라인 게임을 위한 빅 데이터 관리 시스템 설계하기
- 이 강의에서는 가상의 온라인 게임인 ‘Catch the Pink Flamingo’를 사용하여 빅 데이터 모델링과 관리에 대해 배울 것입니다.
Taught by
Ilkay Altintas