Información general sobre el laboratorio
En este laboratorio, habilitará el cifrado en reposo del lado del cliente mediante la clave administrada por AWS KMS para los datos almacenados en Amazon S3 con el sistema de archivos EMR (EMRFS). Mediante Amazon EMR, creará una configuración de seguridad para cifrar el objeto que se está escribiendo en S3 con cifrado del lado del cliente mediante la clave administrada por AWS KMS que usted especifica y descifrar los objetos con la misma clave que se utilizó para cifrarlos. Esto le permitirá aprovechar con mayor facilidad marcos como Apache Spark, Apache Tez y Apache Hadoop MapReduce en Amazon EMR para ejecutar análisis de big data, procesamiento de flujos, machine learning y cargas de trabajo ETL en datos confidenciales.
Temas tratados
En este laboratorio, aprenderá a hacer lo siguiente:
- crear un bucket de Amazon S3
- crear una clave con AWS KMS
- crear una configuración de seguridad en EMR para habilitar el cifrado del lado del cliente mediante la clave administrada por AWS KMS.
- lanzar un clúster de AWS Elastic MapReduce (EMR) mediante la consola de administración de AWS
- leer objetos desde S3 y escribir en ellos mediante el sistema de archivos EMR (EMRFS) de AWS
- visualizar los datos de salida de EMR directamente desde Amazon S3
Conocimientos técnicos requeridos
Para completar este laboratorio con éxito, debe estar familiarizado con los conceptos básicos de Hadoop y Hadoop File System (HDFS).
También debe estar familiarizado con la administración básica del servidor Linux y sentirse cómodo con las herramientas de línea de comandos de Linux.
Otros servicios de AWS
La política de IAM desactiva los servicios de AWS que no son necesarios para este laboratorio durante su tiempo de acceso al laboratorio. Además, las capacidades de los servicios utilizados para este laboratorio están limitadas según los requisitos de este e incluso, en algunos casos, de forma deliberada como parte del diseño del laboratorio. Es probable que reciba mensajes de error cuando acceda a otros servicios o cuando lleve a cabo acciones que no consten en la guía de este laboratorio.
¿Qué es Amazon EMR?
Amazon EMR es un servicio web que facilita el procesamiento rápido y rentable de grandes cantidades de datos. Amazon EMR simplifica el procesamiento de big data al proporcionar un marco de trabajo de Hadoop administrado que facilita la distribución y el procesamiento de grandes cantidades de datos entre instancias de Amazon EC2 dinámicamente escalables de manera rápida y rentable. También puede ejecutar otros marcos de trabajo distribuidos populares, como Apache Spark y Presto en Amazon EMR e interactuar con los datos de otros almacenes de datos de AWS, como Amazon S3 y Amazon DynamoDB. Amazon EMR administra sus casos de uso de big data con seguridad y fiabilidad, incluidos el análisis de registro, la indexación web, el almacenamiento de datos, machine learning, el análisis financiero, la simulación científica y la bioinformática.
¿Qué es EMRFS?
EMRFS es una implementación de HDFS utilizada para la lectura y escritura de archivos de tamaño normal desde Amazon EMR; directamente en Amazon S3. EMRFS ofrece la comodidad de almacenar datos persistentes en Amazon S3 para su utilización con Hadoop además de ofrecer características como el cifrado del lado del servidor de Amazon S3, coherencia de lectura tras escritura y coherencia de lista.
¿Qué es AWS KMS?
AWS Key Management Service (KMS) es un servicio administrado que facilita la creación y el control de claves de cifrado que se utilizan para cifrar los datos; este servicio usa los módulos de seguridad de hardware (HSM) para proteger la seguridad de las claves. AWS Key Management Service está integrado en otros servicios de AWS para ayudarlo a proteger los datos que almacena con estos servicios. AWS Key Management Service también está integrado con AWS CloudTrail para ofrecerle los registros de uso de todas las claves, con el objetivo de que se ajusten a sus necesidades normativas y de conformidad.
¿Qué es Amazon S3?
Amazon Simple Storage Service (Amazon S3) ofrece a los desarrolladores y los profesionales de TI un almacenamiento en la nube seguro, duradero y altamente escalable. Amazon S3 es un almacenamiento de objetos fácil de utilizar, con una sencilla interfaz de servicios web para almacenar y recuperar la cantidad de datos que desee desde cualquier ubicación en la Web. Con Amazon S3 solo paga por el almacenamiento que realmente usa. En la nube de AWS, Amazon S3 es apropiado para una implementación de lago de datos con el fin de almacenar datos a gran escala para análisis de big data mediante Amazon EMR.
¿Qué es una configuración de seguridad en Amazon EMR?
Puede utilizar una configuración de seguridad para cifrar datos en reposo, datos en tránsito o ambos. Cada configuración de seguridad se almacena en Amazon EMR en lugar de hacerlo en objetos de configuración del clúster, por lo que puede volver a utilizar con facilidad una configuración para especificar ajustes de cifrado de datos cada vez que se crea un clúster.
