Implantación de un sistema de archivos distribuidos en arquitecturas tradicionales disponibles, en un laboratorio de la Facultad de Ingeniería en Sistemas Electrónica e Industrial de la Universidad Técnica de Ambato
No Thumbnail Available
Files
Date
2025-02
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Large volumes of data invariably end up being a big data problem. Big data is defined as data that has a large volume and size over which a traditional IT (Information Technology) system cannot be used. To mitigate this problem, tools such as distributed file systems have been developed. These tools are usually implemented in cloud computing architectures. However, the use of cloud architecture is limited by their variable costs. In addition, public institutions such as the Universidad Técnica de Ambato store their data in physical structures located in the immediate vicinity of the institution. For this reason, the institution seeks to acquire physical architecture, causing that the budget cannot meet the costs of cloud architecture providers.
The purpose of this project is the implementation of a distributed file system in traditional architectures of a laboratory of the Faculty of Electronic and Industrial Systems Engineering of the Technical University of Ambato. Providing a tool to manage big data.
For the implementation of the system, HDFS has been used as a distributed file system. For the cluster administration Docker has been used to deploy Arenadata Enterprise Data Platform as cluster administrator. The methodology used was an adaptation of ITILv3 adjusted to the guidelines of the institution. Finally, a technical interview based on the IEEE std 830-1998 standard was used for the information gathering.
Description
Los grandes volúmenes de datos invariablemente terminan siendo un problema de big data. Big data se define como los datos que poseen un gran volumen y tamaño sobre los cuales no se puede utilizar un sistema TI (Tecnología de Información) tradicional. Para mitigar este problema se han desarrollado herramientas como los sistemas de archivos distribuidos. Estas herramientas por lo general son implementadas en arquitecturas de computación en la nube. Sin embargo, el uso de las arquitecturas en la nube está limitado por sus costos variables. Además, las instituciones públicas como la Universidad Técnica de Ambato almacenan sus datos en estructuras físicas implantadas en las inmediaciones de la institución. Por esta razón la institución busca adquirir arquitecturas físicas, provocando que el presupuesto no pueda suplir los costos de los proveedores de arquitecturas en la nube.
El propósito del presente proyecto es la implantación de un sistema de archivos distribuido en arquitecturas tradicionales de un laboratorio de la Facultad de Ingeniería en Sistemas Electrónica e Industrial de la Universidad Técnica de Ambato, proporcionando una herramienta para manejar big data.
Para la implantación del sistema se ha utilizado HDFS como sistema de archivos distribuidos. Para la administración del clúster se ha utilizado Docker para desplegar Arenadata Enterprise Data Platform como administrador del clúster. La metodología utilizada fue una adaptación de ITILv3 ajustada a los lineamientos de la institución. Finalmente, para el levantamiento de información se utilizó una entrevista técnica basada en el estándar IEEE std 830-1998
Keywords
HDFS, ARENADATA, BIG DATA, CLÚSTERES, YARN, JAVA, UBUNTU