Introducción:
En el mundo actual de los datos, las empresas están generando grandes volúmenes de información que necesitan ser procesados, analizados y almacenados de manera eficiente. Para abordar estos desafíos, Azure HDInsight ofrece una solución robusta y completamente administrada que facilita el procesamiento de macrodatos utilizando tecnologías de código abierto como Apache Hadoop y Apache Hive. En este tutorial, aprenderás cómo crear y gestionar clústeres de Hadoop en HDInsight a través de Azure Portal, ejecutar trabajos de Apache Hive para realizar consultas de datos y, finalmente, limpiar los recursos una vez que hayas terminado.
Creación de un clúster de Apache Hadoop
En esta sección, aprenderás cómo crear un clúster de Hadoop en Azure HDInsight utilizando el Azure Portal. Sigue estos pasos para configurar y lanzar tu clúster:
- Inicia sesión en Azure Portal:
- Accede a tu cuenta en Azure Portal.
- En el menú superior, selecciona + Crear un recurso.
Configuración del Grupo de Recursos:
Un grupo de recursos en Azure es un contenedor que agrupa recursos relacionados que se administran como una única unidad. Los recursos dentro de un grupo de recursos comparten el mismo ciclo de vida, es decir, pueden ser creados, actualizados o eliminados de manera conjunta.
¿Para qué sirve un grupo de recursos?
- Organización: Facilita la organización y gestión de los recursos dentro de Azure, agrupando aquellos que son utilizados por una misma aplicación o proyecto.
- Gestión de permisos: Permite establecer permisos de acceso a los recursos dentro del grupo de manera centralizada.
- Gestión de costos: Facilita la asignación de costos y el seguimiento de los recursos asociados a un proyecto específico.
- Facilita la administración: Permite aplicar políticas y configuraciones de forma coherente a todos los recursos dentro del grupo.
- Busca o selecciona "Grupo de recursos" y configúralo de la siguiente manera:
- Damos clic en "Revisar y Crear" ya que no es necesario agregar nada más, si todo va bien se mostrará así:
- Da clic en "Crear".
Crear Source: Azure Data Lake Storage Gen2:
Azure Data Lake Storage Gen2 es una solución de almacenamiento optimizada para grandes volúmenes de datos y análisis avanzados. Combina las capacidades de Azure Blob Storage con un sistema de archivos jerárquico, permitiendo almacenar, administrar y analizar datos a gran escala de forma eficiente. Al crear un "Source" en Azure Data Lake Storage Gen2, estableces una ubicación centralizada para almacenar y procesar grandes cantidades de datos no estructurados, ideales para análisis y machine learning.
Creación de Cuentas de Almacenamiento:
Las cuentas de almacenamiento en Azure se crean para proporcionar un espacio seguro y escalable donde almacenar y administrar diferentes tipos de datos. Estas cuentas permiten almacenar archivos, blobs, colas, tablas y discos virtuales, entre otros.
- Buscamos o seleccionamos "Cuentas de Almacenamiento".
Datos Básicos:
Avanzado:
Redes:
Protección de Datos:
Cifrado:
Etiquetas:
Las puedes dejar en blanco, no es necesario agregar ninguna etiqueta.
Crear:
Damos clic a "Revisar y Crear" y si todo va bien damos en "Crear"
Crear servicio de SQL Server:
SQL Server ofrece una versión gestionada en la nube a través de Azure SQL Database, permitiendo a las organizaciones operar bases de datos sin necesidad de gestionar el hardware o la infraestructura subyacente. Proporciona características avanzadas como alta disponibilidad, recuperación ante desastres, seguridad integrada y escalabilidad automática, facilitando la administración de bases de datos con un mínimo esfuerzo.
- Buscamos o seleccionamos "SQL Database".
- Damos clic en "Crear".
Creando un Servidor Database:
Ahora vamos a configurar SQL Database. Para eso primero tenemos que crear un "Servidor", así que antes de guardar las configuraciones nos deslizamos hasta Detalles de la base de datos > Servidor y da en Nuevo.
- Creamos el servidor con las siguientes configuraciones:
- En "Configurar administrar de Microsoft Entra", establecemos el administrador con nuestra cuenta Estudiantil: