Análisis de métodos de Deduplicación de datos aplicados en repositorios Linux para la Facultad de Ingeniería en Sistemas Electrónica e Industrial

Abstract

RESUMEN El presente trabajo de Tesis describe la investigación sobre la Deduplicación de datos, procedimiento de análisis de contenidos que realiza un procedimiento de no almacenamiento de datos cuando estos se encuentren repetidos, las técnicas y métodos basados en Software Libre existentes en el mercado, su funcionamiento en entornos de servidores de almacenamiento, su implementación en un prototipo de repositorio virtual dedicado para el almacenaje de Distribuciones de Sistemas Operativos Linux, repositorio en donde se verifica la Deduplicación, recuperando espacio de almacenamiento en discos duros mediante la eliminación y no almacenamiento de información que se consideren redundantes o duplicados. Se logró realizar un análisis en tiempo real de los procesos de Deduplicación, los sistemas de archivos para deduplicar se encargan de revisar y analizar la información que contienen cada uno de los procesos, realizando un procedimiento transparente para el usuario, en el mismo busca la información a nivel de archivo comparando contenido y verificando que sea único en el directorio, al existir duplicidad físicamente no almacena el archivo en el disco, pero virtualmente en el entorno del usuario se muestra tal y como si el archivo este almacenándose con normalidad. Para llevar a cabo esta investigación práctica se utilizó un computador portátil el mismo que será considerado servidor de nuestras máquinas virtuales que poseen las mismas características virtuales en cuanto a hardware y software. Cada uno de los sistemas de archivos analizados tienen un funcionamiento similar, la Deduplicación, sin embargo uno de los 3 sistemas de archivos (File System) escogidos para su análisis no puede ser instalado debido a problemas de compatibilidad, en primera instancia con sus paquetes y librerías de dependencia, así también con las versiones de Java y finalmente el problema más relevante recae en el Sistema Operativo usado para el proyecto, CentOS. Los 2 restantes seleccionados para el análisis, SDFS y ZFS, son instalados, configurados y puestos en marcha. Su instalación conlleva a analizar los requerimientos técnicos tales como librerías, paquetes dependientes, los mismos que son descargados e instalados para no tener complicaciones durante la instalación y configuración de los FS. Cada una de los servidores virtuales ejecuta a su vez servicios tales como HTTP y FTP, los que son usados para el funcionamiento del prototipo de Mirror. Las pruebas de funcionamiento fueron satisfactorias, SDFS y ZFS llegaron a funcionar en los servidores, cada una realizando su trabajo de Deduplicación que es similar, sin embargo las velocidades de lectura, escritura y descarga son las que definen las diferencias entre cada uno de ellos, ZFS por un lado realiza una Deduplicación en tiempo real más rápida que la de su rival SDFS, los márgenes de tiempo a pesar de que son cortos nos da una idea de que herramienta es la mejor para ser aplicada a futuro en los repositorios virtuales de SO Linux instalados a la Facultad de Ingeniería en Sistemas Electrónica e Industrial de la Universidad Técnica de Ambato. ABSTRACT This thesis work describes a research on data deduplication, content analysis method that takes a no-data storage when they are repeated, techniques and based on existing Software Libre in the market methods, their operation storage server environments, its implementation in a prototype dedicated virtual repository for storing Linux operating system distributions, repository where deduplication takes place, recovering storage space by removing hard drives and no storage files deemed redundant or duplicated. It was achieved to analyze real-time systems to deduplicate files are responsible for reviewing and analyzing the information contained in each of the processes, making a transparent process for the user, on the same level information searches Photo comparing and verifying content that is unique to the directory, to be physically duplicity does not store the file on disk, but virtually in the user environment shown as if the file is stored normally. A laptop was used, these equipment will be considered server of virtual machines that have the same characteristics in terms of virtual hardware and software to perform the fieldwork. Each file systems analyzed have similar performance, deduplication, but nevertheless 1 of the 3 FS chosen for analysis can’t be installed because of compatibility issues in the first instance with their packages and libraries dependence well with versions of Java and finally the most important problem lies with the operating system used for the project, CentOS. The remaining 2 selected for analysis, SDFS and ZFS are installed, configured and implemented. Its installation leads to analyze the technical requirements such as libraries, dependent packages, etc., they are downloaded and installed to avoid complications during the installation and configuration of the FS. Each of the virtual servers running at the same time services such as HTTP and FTP, which are used for the operation of our prototype Mirror. Performance tests were satisfactory, SDFS and ZFS came to work on servers, each doing their Deduplication jobs is similar, however the speeds of reading, writing and download are those that define the differences between each of them, ZFS makes a deduplication faster real time than its rival SDFS, the timeframes although they are short gives us an idea of which tool is the best to apply to future virtual Linux OS repositories installed at the Faculty of Engineering in Systems Electronics and Industrial at the Technical University of Ambato.